Task04 神经网络

1. 神经元模型

1. 神经元接收到来自n个其他神经元传递过来的输入信号
2. 这些输入信号通过带权重的连接进行传递
3. 神经元接收到的总输入值将与神经元的阈值进行比较
4. 通过“激活函数”[模拟"抑制"和"激活"]处理以产生神经元的输出

单个M-P神经元：感知机（sgn作激活函数）、对数几率回归（sigmoid激活函数)

多个M-P神经元：神经网络

2. 感知机Perceptron

• 分类模型

模型

• 求得能对数据T中的正负样本完全正确划分的超平面

策略

1. 随机初始化

   

   ,将全体训练样本代入模型找出误分类样本，并记为集合

   

2. 则以下公式恒成立

   

故，最小化损失函数可以为

算法

梯度

利用随机梯度下降法，更新如下：

• 

  为学习率；

  

  为感知机的输出
• w通常不唯一

• 神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”

  

3. 多层前馈网络

• 每层神经元与下一层神经元全互连，不存在同层连接与跨层连接

• 获得后，再套一个回归/分类 的神经元

4. 反向传播算法(BP 算法）

• 基于梯度下降策略，以目标的负梯度方向对参数进行调整
• 随机梯度下降法不能保证一定能到全局最小值点 ，所以很多都走到了局部极小值点

how to 缓解BP网络的过拟合

• 早停： 将数据分为训练集和验证集
• 正则化

5. 全局最小与局部极小

使用以下策略试图“跳出”局部极小，进一步接近全局最小（启发式，理论上尚缺乏保障）

• 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数
• 使用“模拟退火”（simulated annealing）技术
• 使用随机梯度下降
• 遗传算法

6. 其他常见神经网络

.1 RBF（径向基函数）网络

• 是一种单隐层前馈神经网络
• 使用径向基函数作为隐层神经元激活函数
• 输出层是对隐层神经元输出的线性组合

假定输入为d维向量x，输出为实值，则RBF网络可表示为

.2 ART（Adaptive Resonance Theory 自适应谐振理论）网络

7. 参考

1. 周志华《机器学习》
2. 第5章-神经网络_哔哩哔哩_bilibili