yangjf2019 / learning-spark-group

Learning spark

#学习计划

1 Spark 框架介绍
1.1 Spark 介绍
1.1.1 Spark 是什么？
1.1.2 为什么使用 Spark？
1.1.3 应用场景有哪些？
1.1.4 参考
1.1.5 小结

1.2 Spark core
1.2.1 spark 技术栈
1.2.2 spark 是怎样工作的
1.2.3 RDD 是什么？有哪些特点？RDD 在哪里？
1.2.4 RDD 有哪些 Operator ?
1.2.5 小结

1.3 Spark 实践
1.3.1  开发环境搭建
1.3.2  编译 Spark 源码
1.3.3  运行第一个实例
1.3.4  小结

1.4 Spark 运行架构
1.4.1 Spark 运行模式（本地& 集群）
1.4.2 集群管理器（Standalone、Yarn、Mesos和 K8S）
1.4.3 运行架构介绍
1.4.3.1 本地模式(Local)
1.4.3.2 伪分布式(Local-Cluster)
1.4.3.3 Standalone
1.4.3.4 Yarn 运行模式
1.4.3.5 Mesos 运行模式
1.4.3.6 K8s 运行模式
1.4.4 演示
1.4.5 小结

2 Spark SQL
2.1 简介
2.2 Spark SQL 运行原理
2.3 Hive on Spark 
2.4 演示
2.5 小结

3 部署 Spark 应用
3.1 交互式运行Spark 程序
3.2 创建和提交 Spark 应用
3.3  配置 Spark 应用
3.4 监控 Spark 应用
3.5 小结

4 优化 Spark 应用程序
4.1 Spark 执行模型
4.2 调优方法
4.2.1 减少Shuffle
4.2.2 分区和并行性（Task 数）
4.2.3 数据的序列化和压缩
4.2.4 Spark SQL 查询优化
4.2.5 缓存数据
4.2.6 广播变量
4.8 小结

5 FAQ