pengxiaoxiao / boyustudy.github.io

动手学习深度学习(伯禹学习平台)第二次

一、多层感知机 1.多层感知机的基本知识 2.使用多层感知机图像分类的实现 3.使用pytorch简洁实现

与前面感知机的区别：多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层与输出层之间。

1.多层感知机的基本知识：（multiply perceptron, MLP）

如图所示，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，图中的多层感知机的层数为2。隐藏层中的神经元和输入层中各个输入完全链接，输出层的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。

In special, 给定一个小批量样本 ，其批量大小为n, 输入个数为d。假设多层感知机只有一个隐藏层，其中隐藏单元个数为h。记隐藏层的输出（也称隐藏层变量和隐藏变量）为H, 有 。因为隐藏层和输出层全为全连接层，可以设隐藏层的权重参数和偏差参数分别为 ，输出层的权重和偏差参数分别为 。