反向传播固定模型公式

1： 初始化前向传播结果

首先，执行前向传播，计算每一层的激活值 A[L] 和线性输出 Z[L]，将这些中间结果存储起来，以便在反向传播时使用。

2：计算输出层的损失函数的导数
如果是Sigmoid 激活函数
$$d{Z}^{\left[l\right]}=A^{\left[l\right]}-Y$$

3: 对每一层逐层向后计算梯度

$$d{W}^{\left[l\right]}=\frac{1}{m}d{Z}^{\left[l\right]}{A}^{\left[l-1\right]T}$$

$$d{b}^{\left[l\right]}=\frac{1}{m}np.sum(d{z}^{\left[l\right]},axis=1,keepdims=True)$$

$$d{Z}^{\left[1\right]}=W^{\left[2\right]T}d{Z}^{\left[2\right]}\ast g[1{]}^{\prime }(Z^{[1]})$$

4: 若使用的tanh， 则$g[1{]}^{\prime }(Z^{[1]})==(1-np.power(A1,2))$