神经网络笔记——反向传播算法

最新推荐文章于 2023-07-27 19:16:25 发布

原创最新推荐文章于 2023-07-27 19:16:25 发布 · 603 阅读

本内容遵循CC 4.0 BY-SA版权协议

神经网络输出的矩阵表示

a l j = σ (\sum k w l j k a l - 1 k + b l j),

$\begin{eqnarray} a^{l}_j = \sigma\left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right), \end{eqnarray}$

a l = σ (w l a l - 1 + b l) .

$\begin{eqnarray} a^{l} = \sigma(w^l a^{l-1}+b^l). \end{eqnarray}$
上式中，令:

z l \equiv w l a l - 1 + b l

$z^l \equiv w^l a^{l-1}+b^l$

关于cost函数的两个条件

条件1：cost函数可以被写成如下形式：

$C = 1 n \sum x C x$ $C = \frac{1}{n} \sum_x C_x$
，其中x是单个训练样本，n为样本总数。

对于均方误差函数：

C = 1 2 n \sum x ∥ y (x) - a L (x) ∥ 2,

$\begin{eqnarray} C = \frac{1}{2n} \sum_x \|y(x)-a^L(x)\|^2, \end{eqnarray}$
满足条件1：

C=1n∑xCx,其中Cx=12∥y−aL∥2 $C = \frac{1}{n} \sum_x C_x,其中C_x =\frac{1}{2} \|y-a^L \|^2$

条件2：cost函数是神经网络最终层输出值 $a^L$ 的函数。

可知均方误差函数也满足条件2:

$C = 1 2 ∥ y - a L ∥ 2 = 1 2 \sum j (y j - a L j) 2,$ $\begin{eqnarray} C = \frac{1}{2} \|y-a^L\|^2 = \frac{1}{2} \sum_j (y_j-a^L_j)^2, \end{eqnarray}$

Hadarmard乘积

[12] ⊙ [34] = [1 * 3 2 * 4] = [38] .

$\begin{eqnarray} \left[\begin{array}{c} 1 \\ 2 \end{array}\right] \odot \left[\begin{array}{c} 3 \\ 4\end{array} \right] = \left[ \begin{array}{c} 1 * 3 \\ 2 * 4 \end{array} \right] = \left[ \begin{array}{c} 3 \\ 8 \end{array} \right]. \end{eqnarray}$

四条等式

$a l j = σ (\sum k w l j k a l - 1 k + b l j),$ $\begin{eqnarray} a^{l}_j = \sigma\left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right), \end{eqnarray}$
$a l = σ (w l a l - 1 + b l) .$ $\begin{eqnarray} a^{l} = \sigma(w^l a^{l-1}+b^l). \end{eqnarray}$
$z l \equiv w l a l - 1 + b l$ $z^l \equiv w^l a^{l-1}+b^l$

后向传播算法过程

输入 $x$ ：对输入层 $a^1$ 赋值。
前馈：对于每个 $l = 2, 3, \ldots, L$ ,计算 $z^{l} = w^l a^{l-1}+b^l$ 和 $a^{l} = \sigma(z^{l})$
计算误差 $\delta^L$ :计算 $\delta^{L}= \nabla_a C \odot \sigma'(z^L)$
反向传播误差：对于每个 $l = L-1, L-2,\ldots, 2$ ,计算 $\delta^{l} = ((w^{l+1})^T \delta^{l+1}) \odot\sigma'(z^{l})$
输出：计算每个 $\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j,\frac{\partial C}{\partial b^l_j} = \delta^l_j$