and1zx / smart

项目介绍

smart-algorithm：   数据结构和leetcode算法模块
smart-crawler：       Java 语言爬虫模块 (可忽略)
smart-magic：       Java 语言爬虫模块 (可忽略)
smart-scala：         Spark Demo 模块
smart-streaming：    Spark Streaming模块
smart-ml：           Spark ML模块

smart-algorithm 模块

1. com.smart.algorithm.leetcode:          leetcode算法题
   
2. com.smart.algorithm.sort:               常见的排序算法
   
3. com.smart.algorithm.tree:               树算法
   
4. com.smart.algorithm.queue:            队列
   
5. com.smart.algorithm.links:               链表
   
6. com.smart.algorithm.stack:              栈
   
7. com.smart.algorithm.design:            设计模式
   
8. com.smart.algorithm.atomic:            JAVA原子类测试
   
9. com.smart.algorithm.lon2latDistance：  计算经纬度两个点的之间的距离的算法
   
10. com.smart.algorithm.hanzi2pinyin：     汉字转拼音算法
    
11. com.smart.algorithm.strSimilarity：      两个拼音字符串之间的相似度算法
    
12. com.smart.algorithm.strSearch：       字符串搜索
    
13. com.smart.algorithm.design：           设计模式
    
14. com.smart.algorithm.coor_conver：     地图坐标经纬度转换
    
15. com.smart.algorithm.baiduAI:            百度AI，相同图片检索
    
16. com.smart.algorithm.https:              HTTPS操作
    

JAVA爬虫模块

1. 使用原始解析html页面和HttpClient方式爬虫
   
2. WebMagic方式爬虫
   

(可忽略)

请看epoch    python爬虫项目

smart-scala模块

1. com.smart.spark.KafkaOffsetLauncher:    MySQL方式自定义管理kafka offset偏移量
   
2. com.smart.spark.ZKOffsetLauncher:     ZK方式自定义管理kafka offset偏移量
   
3. com.smart.spark.email:            发送异常邮件
   
4. com.smart.spark.quartz:          定时任务，实时监控sparkStreaming APP Id
   
5. com.smart.spark.sparkSQL:          sparkSQL测试Demo
   
6. com.smart.spark.logging:           log工具类
   
7. com.smart.scala.actor_test.* :         Actor测试类
   
8. com.smart.utils.Log4JTest :           Log4J按照业务存储日志测试
   

smart-streaming模块

1. com.smart.apps.Base_Launcher:          基本函数测试
   
2. com.smart.apps.UpdateStateByKey_Launcher:   updateStateByKey测试
   
3. com.smart.compress.GzipCompress:        Spark程序HDFS数据压缩，并删除HDFS源数据
   
4. com.smart.spark.Rdd_Test1:              Spark RDD 原子操作测试
   
5. com.smart.hadoop.RunJob:               本地运行Hadoop MapReduce程序
   
6. com.smart.apps.SparkStreamingLocal:        SparkStreaming 本地运行程序
   

smart-ml

1. com.smart.bayes：       贝叶斯网络
2. com.smart.breeze：       Breeze函数库测试
3. com.smart.cf：         协同过滤
4. com.smart.features：       特征工程
5. com.smart.FPGrowth：       FPGrowth关联规则
6. com.smart.house_portrayal：   房源画像热搜特征处理
7. com.smart.kmeans：        房源画像之热搜房源 && Demo
8. com.smart.recommend:       推荐系统
9. com.smart.regression：       逻辑回归&&线性回归
10. com.smart.tf_idf：         TF_IDF归一化处理