km1994 / sparkstudy

spark 学习

Spark Study Readme

目录

1、wordCount

内容：运行原理，RDD设计，DAG，安装与使用 第1章 Spark的设计与运行原理（大概了解） 1.1 Spark简介 1.2 Spark运行架构 1.3 RDD的设计与运行原理 1.4 Spark的部署模式 第2章 Spark的安装与使用（主要内容） 2.1 Spark的安装和使用 （如果想在window上安装，参考https://blog.csdn.net/SummerHmh/article/details/89518567，之后可以用pyspark或者jupyter上进行学习）（地址有问题，可以使用这个https://www-eu.apache.org/dist/spark/spark-2.4.3/） 2.2 第一个Spark应用程序：WordCount

2、RDDStudy

内容：RDD编程，熟悉算子，读写文件 第3章 Spark编程基础 3.1 Spark入门：RDD编程 3.2 Spark入门：键值对RDD 3.3 Spark入门：共享变量（提升-分布式必备） 3.4 数据读写 3.4.1 Spark入门：文件数据读写

3、sparkSQLStudy

内容：DataFrame,SparkSQL 第4章 4.1 Spark SQL简介 4.2 DataFrame与RDD的区别 4.3 DataFrame的创建 4.4 从RDD转换得到DataFrame

4、Parquet_JDBC_IO_Study

5、MLlibStudy

内容：MLlib流设计，特征工程 第6章 Spark MLlib 6.1 Spark MLlib简介 6.2 机器学习工作流 6.2.1 机器学习工作流(ML Pipelines) 6.2.2 构建一个机器学习工作流 6.3 特征抽取、转化和选择 6.3.1 特征抽取：TF-IDF 6.3.4 特征变换：标签和索引的转化 6.3.5 特征选取：卡方选择器

资源文件：resources