xrosliang / machine_learning_resources

:fish::fish::fish: 机器学习面试复习资源

👉 此repo主要是为了整理机器学习面试相关知识点的有用链接 （注：目前不打算将一些基础算法的内容加入这个repo里，比如LR、SVM算法在《统计学习方法》里已经得到了很好的解释，面试时可能考到的手推公式在书里已经写的很好了，所以推荐直接看书即可。）

一、特征工程

（一）特征预处理

• 标准化、归一化、异常特征清洗、不平衡数据
• 不平衡数据的处理方法

（二）特征表达

• 缺失值、特殊特征(eg.时间)、离散特征、连续特征
• 连续特征离散化的好处
• 什么样的模型对缺失值更敏感？

（三）特征选择

• 过滤法、包装法、嵌入法
• Kaggle中的代码实战

二、算法相关

（一）评价指标

• PR曲线和F1 & ROC曲线和AUC

（二）正则项

• 正则化与数据先验分布的关系
• L1在0点处不可导怎么办？可采用坐标轴下降、最小角回归法

（三）损失函数

• 常见回归和分类损失函数比较

（四）模型训练

• 经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证

（五）机器学习算法

1. 线性回归、逻辑回归、SVM

• LR优缺点
• SVM、logistic regression、linear regression对比
• LR和最大熵模型的关系
• 为什么LR要用对数似然，而不是平方损失？

2. 树模型

• 逻辑回归与决策树在分类上的区别
• 回归树、提升树、GBDT
• GBDT、XGBOOST、LightGBM讲解(强烈推荐看一下)
• 随机森林 GBDT XGBOOST LightGBM 比较

3. 其他

• 各种机器学习算法的应用场景

（六）NLP相关

• word2vec
• fasttext
• Transformer
• Bert 零基础入门，prerequisites很全
• Bert / Elmo
• XLNet
• nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
• NLP/AI面试全记录

（七）CTR预估 & 推荐系统 相关

• FM算法:讲的蛮细的
• FM算法结合推荐系统的讲解

（八）其他

• 判别模型 vs 生成模型
• 参数模型 vs 非参数模型
• 参数估计 最大似然估计与贝叶斯估计
• 梯度下降法、牛顿法和拟牛顿法
• 最小二乘法 和 最大似然估计的对比联系
• 最大似然估计 和 EM
• 浅谈最优化问题的KKT条件
• 交叉熵
• KL散度

三、其他

• 向量间距离度量方式

四、推荐书籍/笔记/代码实现

• 统计学习方法 (注意这个pdf是第一版，其中的勘误可在这里查看)（代码实现及ppt）
• 西瓜书的公式推导细节解析
• deeplearning.ai深度学习课程的中文笔记
• 机器学习训练秘籍 (Andrew NG)
• 推荐系统实战

五、推荐专栏

• 刘建平Pinard：很多高质量文章
• 美团技术团队：美团的技术博客，新技术与实际应用相结合
• 华校专：基础算法讲解，多而全（其实还没怎么看
• 王喆的机器学习专栏：结合论文+工业界的推荐应用，讲的很清晰
• 北冥乘海生：计算广告一书的作者（好像不怎么更新了
• 计算广告小觑
• 深度学习前沿笔记：NLP相关较多，预训练技术讲解的多
• 荐道馆：讲推荐相关，文章写的比较透

六、面试问题汇总

• 牛客网面经总结

七、其他面试常考

• 海量数据判重
• 常考智力题/逻辑题
• 常考概率题