本文作为自己在网易云课堂上学习由吴恩达老师讲授的《神经网络和深度学习》的学习笔记，整个专题共包括五门课程：
1.神经网络和深度学习；
2.改善深层神经网络-超参数调试、正则化以及优化；
3.结构化机器学习项目；
4.卷积神经网络；
5.序列模型。
吴恩达老师作为机器学习的布道师，一直致力于以清晰简洁的方式向大众推广机器学习理论；故作为机器学习领域内的入门者，我也选择此课程开启自己的深度学习之旅。
下面就是从我个人角度出发，记录的主要知识点。
第一周：深度学习概述
课程主要内容：
神经网络的概念、深度学习兴起的原因等；
第二周：神经网络基础
课程主要内容：
逻辑回归的神经网络表示？损失函数的定义？梯度下降法？链式法则？
对于逻辑回归的向量化的表示；为什么要向量化？
Python相关：什么是广播？Numpy库的应用等;
第三周：浅层神经网络
课程主要内容：
单隐层神经网络的向量化表示；
各类激活函数介绍，优缺点，适用场景等；
为什么需要非线性的激活函数？
参数的随机初始化的重要性；
第四周：深层神经网络
课程主要内容：
深层神经网络的向量化表示；
深层神经网络维数的确定；
深层神经网络的前向传播和反向传播；
深层神经网络中的参数和超参数；
第一周：深度学习的实用层面
课程主要内容：
训练集、测试集和验证集；
方差和偏差的概念以及应对策略；
正则化方法：L1正则、L2正则、Dropout;
为什么正则化可以减少过拟合？
梯度消失和梯度爆炸;
第二周：优化算法
课程主要内容：
介绍了若干优化算法来提升训练速度；
Mini-Batch梯度下降算法；
指数加权平均以及偏差修正；
RMSprop算法；
Adam算法;
课程主要内容：
众多超级参数调优策略和技巧;
Mini-Batch Norm归一化介绍、实现方法以及背后的原理;
softmax多分类模型的介绍;
第一周：机器学习策略一
课程主要内容：
正交化概念；
单一数字评估指标；
训练、测试集划分；
偏差和方差；
人的表现；
改善模型表现；
第二周：机器学习策略二
课程主要内容：
误差分析；
错误样本清除；
数据分布不匹配问题；
迁移学习；
多任务学习；
端到端的深度学习等；
第一周：卷积神经网络基础
课程主要内容：
计算机视觉都有哪些应用？
边缘检测示例；卷积核；
卷积神经网络示例；
Padding、Strid；
池化等；
第二周：深度卷积网络：实例探究
课程主要内容：
经典的卷积网络介绍
- LeNet-5
- AlexNet
- VGG
- ResNet
- Inception
迁移学习；
开源实现；
数据扩充；
第三周：目标检测
课程主要内容：
目标定位；
目标检测；
卷积的滑动窗口实现；
Bounding Box预测；
交并比；
非极大值抑制；
Anchor Box；
YOLO算法；
第四周：特殊应用：人脸识别和神经风格转换
第五课 序列模型
课程主要内容：
为什么选择序列模型？
循环神经网络模型；
不同类型的循环神经网络；
循环神经网络的梯度消失问题；
GRU
LSTM网络
双向循环神经网络；
深层循环神经网络；
在整理自己的笔记的时候，参考了如下内容，在此一并表示感谢：
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent