kingzuo / bigdataarchitect

BigDataArchitect

注意：

同学们请先浏览下面的课程模块顺序和课程视频顺序。学习到相关模块请在该项目目录中去到子目录查看具体的README描述！

大数据架构师课程导读

1.  bigdata_hadoop
2.  bigdata_hive
3.  bigdata_hbase
4.  bigdata_hadoop_project
5.  bigdata_redis
6.  bigdata_zookeeper
7.  bigdata_spark

课程大纲目录，持续更新中。。。

hadoop阶段：

1.	hadoop-大数据启蒙-初识HDFS
2.	hadoop-HDFS理论基础读写流程
3.	hadoop-HDFS集群搭建-伪分布式模式
4.	hadoop-HDFS集群搭建-HA模式概念
5.	hadoop-HDFS集群搭建-HA模式验证
6.	hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS
7.	hadoop-MapReduce原理精讲、轻松入门
8.	hadoop-MapReduce调度原理，Yarn原理
9.	hadoop-MapReduce-Yarn集群搭建、idea开发MR的WC程序
10.	hadoop-MapReduce作业提交方式、源码-客户端提交源码
11.	hadoop-MapReduce源码-MapTask-input源码精讲
12.	hadoop-MapReduce源码-MapTask-output和ReduceTask精讲
13.	hadoop-MapReduce开发-分组取TopN-API精炼
14.	hadoop-MapReduce开发-推荐系统-大数据思维模式

hive阶段：

15.	Hive的架构介绍及远程数据库模式安装
16.	Hive的远程元数据服务模式安装及Hive SQL
17.	Hive Serde、HiveServer2、Hive函数
18.	Hive参数设置、运行方式、动态分区、分桶
19.	Hive视图、索引、权限管理
20.	Hive优化、文件类型、HiveServer2高可用

hbase阶段：

21.	HBase架构介绍、数据模型
22.	HBase伪分布式及完全分布式安装、HBase 基本命令
23.	HBase Java API、Protocol Buffer简单介绍
24.	HBase与MapReduce整合、Hbase表设计
25.	Hbase优化及LSM树

hadoop项目阶段：

26.	Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图
27.	Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍
28.	Hadoop项目-Flume讲解及数据清洗模块准备工作
29.	Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路
30.	Hadoop项目-手敲用户新增指标模块代码
31.	Hadoop项目-MR输出数据到mysql的输出格式化类、sqoop的简单介绍
32.	Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写

redis阶段：

33.	redis 介绍及NIO原理介绍
34.	redis的string类型&bitmap
35.	redis的list、set、hash、sorted_set、skiplist
36.	redis的消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
37.	redis的持久化RDB、fork、copyonwrite、AOF、RDB&AOF混合使用
38.	redis的集群：主从复制、CAP、PAXOS、cluster分片集群01
39.	redis的集群：主从复制、CAP、PAXOS、cluster分片集群02
40.	redis开发：spring.data.redis、连接、序列化、high/low api

zookeeper阶段：

41.	zookeeper介绍、安装、shell cli 使用，基本概念验证
42.	zookeeper原理知识，paxos、zab、角色功能、API开发基础
43.	zookeeper案例：分布式配置注册发现、分布式锁、ractive模式编程

spark阶段：

44.	scala语言、语法、基础
45.	scala语言、函数式编程、数据集处理
46.	scala语言、iterator设计模式实现
47.	scala语言、高级、隐式转换、样例类、模式匹配
48.	spark基础：对比MapReduce复习、java/scala开发spark版wordcount
49.	spark基础算子源码、基础api分类
50.	spark算子进阶：集合类操作、排序取topN
51.	spark算子进阶：聚合类操作、分区优化
持续更新中。。。。