在我自己进行数据分析项目的时候通常会涉及以下六个步骤,对应使用的工具如下:
- 数据清洗:Python
- 数据存储:Hive、Mysql
- 描述性统计分析:R
- 数据分析与数据挖掘:R、Python
- 数据可视化:R
- 写报告:OFFICE
之所以进行这样的划分,主要也是想将各个部分的工作和代码模块化,以提升工作效率,或者提升自己做"工程"的能力。本部分我们就先来谈论一下数据存储。
Hive的迷人之处在于对于海量的数据我们依然可以优雅的使用SQL语言进行查询,并且如果你早已熟练使用SQL语言的话,你将会发现学习Hive将 会是一件很愉悦的事情。
此项目主要包括两个部分:第一部分是我学习Hive时的一些总结;第二部分是我在参与项目的过程中的一些实战。当然,写此项目的目的主要是管理自己的代码,如果此份笔记能够帮助到更多的初学者,也是善莫大焉~~
- 熟练操作Linux系统
- 熟练使用SQL查询语言
- hive:hive基本操作
- project1:美国航空项目代码
- project2:杭州公共自行车项目代码
- project3:GDELT项目代码