激活函数
前馈型神经网络
主要是函数映射,用于模式识别和函数逼近
反馈型神经网络
按对能量函数的所有极小点的利用情况,可将反馈型神经网络分两类:
一类是能量函数的所有极小点都起作用,主要用作各种联想存储器;
另一类只利用全局极小点,主要用于求解优化问题。
神经网络的学习
学习方法
有监督学习
无监督学习
再励学习
学习规则
Hebb学习规则:“当某一突触(连接)两端的神经元同步激活(同为激活或同为抑制)时,该连接的强度应为增强,反之应减弱”。
Delta学习规则
梯度下降学习规则
Kohonen学习规则
后向传播学习规则
概率式学习规则
竞争式学习规则