joanwei / python_for_data_science

python_for_data_science

Python与数据科学实战

==================================

课程影片与投影片

• https://edu.hellobi.com/course/159

课程大纲

1 Python与数据科学应用

• 数据科学简介与应用
• Python与数据科学
• 安装Anaconda
• 使用Jupyter Notebook
• Python 3语法快速简介
• 数据科学步骤详解
• 实战范例 - 使用Python计算文章中的字词频率

2 搜集实务

• 数据型态
• 结构化vs半结构化vs非结构化数据
• Python IO与档案处理
• 处理CSV, Excel格式资料
• 处理JSON, XML格式数据
• 撰写网路爬虫搜集网路资料
• 实战范例 - 房天下(Fang.com)屋价资料搜集

3 资料清理(I)

• 资料清理概论
• 简介Pandas -使用Pandas处理资料
• 资料筛选
• 侦测遗失值
• 补齐遗失值
• 实战范例 - 房屋资料处理

4 资料清理(II)

• 资料转换
• 处理时间格式资料
• 重塑资料
• 学习正规表达式
• 实战范例 - 新闻资料处理

5 资料探索与资料视觉化

• 使用Pandas产生叙述性统计
• 如何使用Pandas绘制统计图表
• 实战范例 - 网页浏览纪录资料分析

6 资料储存实务

• 关联式资料库- SQLite简介
• 将资料储存至资料库中
• 使用SQL Query分析结构化资料
• 实战范例 - 汇率资讯储存与管理

7 使用机器学习建立数据模型(回归模型)

• 机器学习基础
• Scikit-Learn套件简介
• 监督式学习与非监督式学习
• 回归分析
• 回归模型评估
• 实战范例 - 使用回归模型分析房屋价格

8 使用机器学习建立数据模型(分类模型)

• 资料分类-决策树
• 资料分类- Logistic Regression
• 资料分类- SVM
• 资料分类-类神经网路
• 资料分类-随机森林
• 实战范例 - 使用分类模型预测客户流失

9 使用机器学习建立数据模型(验证模型)

• 混淆矩阵（Confusion Matrix )与其意义
• 交叉验证(Cross Validation)
• 使用ROC评估不同分类模型
• 实战范例 - 评估不同客户流失分析模型

10 使用机器学习建立数据模型(资料分群)

• 分群方法-阶层式分群
• 分群方法- Kmeans分群
• 分群方法- DBScan分群
• 分群结果评估
• 实战范例 - 利用分群找出文章主题

11 使用机器学习建立数据模型(特征筛选与降低维度)

• 特征筛选(Feature Selection)
• 特征萃取-PCA
• 特征萃取-SVD
• 实战范例 - 使用SVD 压缩图档

12 使用机器学习建立数据模型(关联与频繁样式分析篇)

• 关联分析(Association Rule)
• 频繁样式探勘(Frequent Pattern Mining)
• 实战范例 - 购物篮分析实例

参考资料

• 大數學堂 http://largitdata.com