Task04 吃瓜教程——第五章神经网络

最新推荐文章于 2026-06-30 00:47:10 发布

原创最新推荐文章于 2026-06-30 00:47:10 发布 · 426 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

机器学习

本文介绍了神经网络的起源，详细讲解了神经元模型、激活函数，特别是Sigmoid函数。接着阐述了感知机的工作原理，包括与、或、非逻辑运算的实现，并讨论了其在处理线性可分问题上的局限性。误差逆转传播（BP）算法作为多层神经网络学习的关键被提及。最后，提到了全局最小和局部极小的概念，以及深度学习在解决复杂问题中的重要性。

神经网络(neural networks)是仿照动物的神经系统而来，期望机器可以获得类似人类的学习的能力。

一、神经元模型

神经网络中最基本的模型叫做神经元（neuron）或者（unit）。1943年， McCulloch and Pitts 按照生物神经元的功能（兴奋的接受，传递）抽象出神经元模型，即"M-P神经元模型"。

上图中， $x_1,x_2, ...,x_i,x_n$ 表示来自n个其他神经元的输入信号， $w_!,w_2,...,w_i,...,w_n$ 为这个n信号的权重。神经元收到这些输入之后，会计算总输入值 $\sum_{i=1}^{n}w_ix_i$ ,并将总输入值与当前神经元的阈值 $\theta$ 进行比较，然后通过激活函数（activation function） $y=f\left ( \sum_{i=1}^{n}w_ix_i-\theta \right )$ 处理以产生神经元的输出。

激活函数的理想形态应该是如下图所示的阶跃函数，即将输出映射成“0”（表示神经元兴奋）或者“1”（表示神经元抑制）。

$y(z) = \left\{\begin{matrix} 1, &z\geqslant 0 \\ 0 & z< 0 \end{matrix}\right.$

但是阶跃函数不连续，不光滑，在实际数据计算中不太友好。所以常用Sigmoid函数作为激活函数。

$sigmoid(x) = \frac{1}{1+e^{-x}}$

整个神经元模型可以表示为：

$y = \frac{1}{1+e^{-(\sum_{i=1}^{n}w_ix_i-\theta)}}$

二、感知机与多层网络

感知机（perceptron）由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”(threshold logic unit)。

感知机能够方便的实现与或非逻辑运算。假定激活函数为阶跃函数，即

$y=f(x) =\left\{\begin{matrix} 1 &x \geqslant 0\\ 0 &x < 0 \end{matrix}\right.$

与运算：
- 什么是与运算：
  - 输入取值范围{1,0}
  - 运算： $\left\{\begin{matrix} 1\&1=1\\ 0\&1=0\\ 1\&0=0\\ 0\&0=0 \end{matrix}\right.$
- 设定，感知机可以表示为。验证与运算的情况：
  - 输入为[1, 1], $y=1$
  - 输入为[0,1], $y=0$
  - 输入为[1,0], $y=0$
  - 输入为[0,0], $y=0$
- 只有输入为[1,1]的时候，感知机的输出为1。其余输入条件下，感知机输出为0
或运算
- 什么是或运算
  - 输入取值范围是{1,0}
  - 运算： $\left\{\begin{matrix} 1|1 = 1\\ 1|0 = 1\\ 0|1 = 1\\ 0|0=0\end{matrix}\right.$
- 设定感知机可以表示为，验证或运算的情况：
  - 输入为[1, 1], $y=1$
  - 输入为[0,1], $y=1$
  - 输入为[1,0], $y=1$
  - 输入为[0,0], $y=0$
- 输入 $x_1,x_2$ 有一个为1时，输出为1。否则感知机输出为0.
非运算
- 输入取值范围{1,0}
- 运算： $\left\{\begin{matrix} \neg1=0\\\neg0=1 \end{matrix}\right.$
- 设,感知机可以表示为，验证非运算情况：
  - 输入为1，输出为 $y=0$
  - 输入为0，输出为 $y=1$
感知机的权重学习过程（ $-\theta$ 可以看做是 $x_{n+1}$ 的权重 $w_{n+1}$ ）: