leafy-lee / dive-into-prml

深入理解 Pattern Recognition and Machine Learning

  本项目是基于 Bishop 的《Pattern Recognition and Machine Learning》（以下简称 PRML）的学习笔记和导读教程，也是作者学习过程中对模式识别、机器学习作出的系统性总结资料。

  机器学习是当下最热门的方向之一，很多从事相关工作研究的伙伴都希望能在该领域更进一步，而对基础知识的掌握程度往往决定了个人能企及的成就上限，正所谓水之积也不厚，则其负大舟也无力。于是我选择了素有机器学习领域“圣经”之称的 Bishop 的 PRML 作为主要资料，并坚持进行学习笔记的写作整理，后来逐渐决定做一个基于 PRML 的开源项目。 本项目取名 Dive into PRML，以一个初学者的角度，深入浅出，构建系统性的知识框架。一方面 PRML 毫无疑问是一本值得深究的经典之作；另一方面，本项目也不局限于 PRML 这本书，会引入一些近年来相关的方法作补充，努力打造一个新的机器学习教程。

  项目计划分为试行版，完整版，发行版三个版本，具体可参见项目实施，先以 PRML 学习笔记的形式呈现，而后精益求精，结合其他资料融会贯通，自成体系，做出一份完整的教程，作为我学术生涯的一项重要成果而收官。 行远自迩，笃行不怠，希望自己能把这份初心坚持到底，有所建树，同时也能为**开源事业贡献绵薄之力。

参考目录

• 前言 Preface

  • 写作初衷 Original Intention
  • 项目实施 Project Implementation

• 基础篇 Basis

  • 1 线性回归 Linear Regression
    • 1.1 线性基函数模型 Linear Basis Function Model
      
    • 1.2 最大似然估计 Maximum Likelihoood Estimation
      
    • 1.3 最小均方差 Minimum Square Error
      
    • 1.4 梯度下降法 Gradient Desent
      
    • 1.5 解析法 Analytic Method
      
  • 2 线性分类 Linear Classification
    • 2.1 线性判别分析 Linear Discriminate Analysis
      
    • 2.2 Fisher分类器 Fisher Classifier
      
    • 2.3 感知器算法 Perceptron Algorithm
      
    • 2.4 判别式 Logistic 回归 Discrminate Logistic Regression
      
    • 2.5 生成式 Logistic 回归 Generative Logistic Regression
      
    • 2.6 广义线性模型 Generalized Linear Model
      
  • 3 学习理论 Learning Theory
    • 3.1 过拟合 Overfitting
    • 3.2 正则化 Regularization
    • 3.3 模型特征选择 Model Feature Selection
    • 3.4 偏差与方差 Bias and Variance
  • 4 信息论 Information Theory
    • 4.1 信息熵 Information Entropy
    • 4.2 熵的物理意义 Entropy in Physics
    • 4.3 相对熵 Relative Entropy
    • 4.4 互信息 Mutual Information
  • 5 概率分布 Probability Distribution
    • 5.1 贝叶斯概率 Bayes Probability
    • 5.2 Beta分布 Beta Distribution
    • 5.3 狄利克雷分布 Dirichlet Distribution
    • 5.4 高斯分布 Gaussian Distribution

• 进阶篇 Advance

  • 6 神经网络 Neural Networks
  • 7 核方法 Kernel Method
  • 8 支持向量机 Support Vector Machine
  • 9 图模型 Graph Models
  • 10 期望最大化算法 EM Algorithm
  • 11 变分推断 Variational Inference
  • 12 蒙特卡罗采样 Monte Carlo Sampling
  • 13 主成分分析 Principal Component Analysis
  • 14 隐马尔科夫模型 Hidden Markov Model
  • 15 主题模型 Topic Models
  • 16 生成模型 Generative Model

参考资料

  项目主要以 PRML 为根据，但由于该书成书较久，很多知识点近年的发展未能充分涵盖，尤其是在一些机器学习模型基础上发展的深度学习模型，因此我也参考了 Bengio《Deep Learning》花书以及周志华老师《机器学习》西瓜书的相关部分作为扩充，引入近些年炙手可热的深度学习方法，为 PRML 注入一些新鲜血液。

① Pattern Recognition and Machine Learning   作者：Christopher M. Bishop
② Deep Learning   作者：Ian Goodfellow, Yoshua Bengio, Aaron Courville
③ 机器学习   作者：周志华

贡献名单

成员	简介	主页
薛博阳	项目负责人，香港中文大学博士在读	Github, 知乎

  由于项目规划工程量较大，时间线预计较久，我平日精力能力有限，非常期望能遇到对此项目以及 PRML 感兴趣或者正在学习的伙伴，希望你能参与部分章节的编辑，或对完成的内容进行检查斧正，或对项目提出合理建议，有意者欢迎联系。

关注我们

扫描下方二维码关注公众号：Datawhale

  Datawhale，一个专注于AI领域的学习圈子。初衷是 for the learner，和学习者一起成长。目前加入学习社群的人数已经数千人，组织了机器学习，深度学习，数据分析，数据挖掘，爬虫，编程，统计学，Mysql，数据竞赛等多个领域的内容学习，微信搜索公众号Datawhale可以加入我们。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。