揭开这个神秘的面纱，探索其中的数学奥秘

BP神经网络概念

　　首先从名称中可以看出，BP神经网络可以分为两个部分，BP和神经网络。BP是Back Propagation的简写 ，意思是反向传播。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法也称为梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

　　其主要的特点是：信号是正向传播的，而误差是反向传播的。

　　举一个例子，某厂商生产一种产品，投放到市场之后得到了消费者的反馈，根据消费者的反馈，厂商对产品进一步升级，优化，一直循环往复，直到实现最终目的——生产出让消费者更满意的产品。产品投放就是“信号前向传播”，消费者的反馈就是“误差反向传播”。这就是BP神经网络的核心。

训练一个BP神经网络的核心步骤

　　这张图基本反应了训练一个BP神经网络的核心步骤，很容易懂，不过多解释了。下面，我们以一个最简单的BP神经网络为例，来推导其计算过程。见下图：

前向传播

隐含层输入节点：

$$\begin{array}{r}{h}_1=W_{11}\cdot x_1+W_{21}\cdot x_2+b_{h1}\\ h_2=W_{12}\cdot x_2+W_{22}\cdot x_2+b_{h2}\\ h_3=W_{13}\cdot x_3+W_{23}\cdot x_2+b_{h3}\end{array}$$

隐含层输出节点：
经过激活函数$f\left(x\right)={\displaystyle \frac{1}{1+e^{-x}}}$运算得到：

$$\begin{array}{r}{h}_{o1}=f\left(h_1\right)\\ h_{o2}=f\left(h_2\right)\\ h_{o3}=f\left(h_3\right)\end{array}$$

这里提一点激活函数的导数，后面会用到：

$$f^{{}^{\prime }}(x)=\frac{0-(-e^{-x})}{(1+e^{-x}{)}^2}=\frac{1}{1+e^{-x}}\times (1-\frac{1}{1+e^{-x}})=f(x)(1-f(x))$$

输出层输入节点：

$$\begin{array}{r}{y}_1=W_{ho1}\cdot h_{o1}+W_{ho2}\cdot h_{o2}+W_{ho3}\cdot h_{o3}+b_o\end{array}$$

输出层输出节点：

$$y_o=f\left(y_1\right)$$

反向传播

需要明白微积分中的链式法则，设$x$是实数，$f$和$g$是从实数映射到实数的函数。假设$y=g(x)$并且$z=f(g(x))=f(y)$。那么链式法则就是：

$$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$$

在算法中，会计算实际输出$y_o$和期望输出$d_o$的误差，如果这个误差大于设定的阈值，那么就会进行误差的反向传播。
定义损失函数：

$$f_{error}={\displaystyle \frac{1}{2}}\sum {(d_o-y_o)}^2$$

损失函数中的$1/2$是为了后面求导计算方便而添加的。

🎯目标：更新$W$、$b$使$f_{error}$更小

输出层→隐藏层的更新

先看输出层，假设更新后的$b_o$为$b_o^{{}^{\prime }}$，即$b_o^{{}^{\prime }}=b_o+\mathrm{\Delta }{b}_o$，只要求出$\mathrm{\Delta }{b}_o$，就能得到$b_o^{{}^{\prime }}$。
根据梯度下降的原则，可以知道：

$$\mathrm{\Delta }{b}_o=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial b_o}}$$

根据上面的推导，可以知道：

$$f_{error}={\displaystyle \frac{1}{2}}{(d_o-y_o)}^2={\displaystyle \frac{1}{2}}(d_o-f(W_{ho1}\cdot h_{o1}+W_{ho2}\cdot h_{o2}+W_{ho3}\cdot h_{o3}+b_o){)}^2$$

根据链式法则：

$${\displaystyle \frac{\partial f_{error}}{\partial b_o}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial b_o}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial y_1}}\cdot {\displaystyle \frac{\partial y_1}{\partial b_o}}$$

下面单独求解各个偏导：

$${\displaystyle \frac{\partial f_{error}}{\partial y_o}}={\displaystyle \frac{\partial ({\displaystyle \frac{1}{2}}{(d_o-y_o)}^2)}{\partial y_o}}=-(d_o-y_o)$$

$${\displaystyle \frac{\partial y_o}{\partial y_1}}={\displaystyle \frac{\partial ({\displaystyle \frac{1}{1+e^{-y_1}}})}{\partial y_1}}=y_o(1-y_o)$$

$${\displaystyle \frac{\partial y_1}{\partial b_o}}={\displaystyle \frac{\partial (W_{ho1}\cdot h_{o1}+W_{ho2}\cdot h_{o2}+W_{ho3}\cdot h_{o3}+b_o)}{\partial b_o}}=1$$

所以：

$${\displaystyle \frac{\partial f_{error}}{\partial b_o}}=-(d_o-y_o)\cdot y_o\cdot (1-y_o)$$

所以：

$$\mathrm{\Delta }{b}_o=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial b_o}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)$$

对于$W$，这里以$W_{ho1}$为例子，其他同理可得。
由链式法则：

$${\displaystyle \frac{\partial f_{error}}{\partial W_{ho1}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial W_{ho1}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial y_1}}\cdot {\displaystyle \frac{\partial y_1}{\partial W_{ho1}}}$$

式中的${\displaystyle \frac{\partial f_{error}}{\partial y_o}}$和${\displaystyle \frac{\partial y_o}{\partial y_1}}$已经计算过，无需再次计算。

$${\displaystyle \frac{\partial y_1}{\partial W_{ho1}}}={\displaystyle \frac{\partial (W_{ho1}\cdot h_{o1}+W_{ho2}\cdot h_{o2}+W_{ho3}\cdot h_{o3}+b_o)}{\partial W_{ho1}}}=h_{o1}$$

所以：

$$\mathrm{\Delta }{W}_{ho1}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{ho1}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot h_{o1}$$

这样就把输出层的$W$、$b$更新完成了，更新后的结果：

$$b_o^{{}^{\prime }}=b_o+\mathrm{\Delta }{b}_o=b_o-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)$$

$$\begin{array}{r}{W}_{oh1}^{{}^{\prime }}=W_{oh1}+\mathrm{\Delta }{W}_{oh1}=W_{oh1}-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot h_{o1}\\ W_{oh2}^{{}^{\prime }}=W_{oh1}+\mathrm{\Delta }{W}_{oh2}=W_{oh2}-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot h_{o2}\\ W_{oh3}^{{}^{\prime }}=W_{oh1}+\mathrm{\Delta }{W}_{oh3}=W_{oh3}-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot h_{o3}\end{array}$$

隐藏层→输入层的更新

这里以$b_{h1}$为例子。
此时：

$$\begin{array}{rl}{f}_{\text{error}}& =\frac{1}{2}{(d_o-y_o)}^2\\ & =\frac{1}{2}(d_o-f(W_{ho1}\cdot f(x_1\cdot W_{11}+x_2\cdot W_{21}+b_{h1})+W_{ho2}\cdot f(x_1\cdot W_{12}+x_2\cdot W_{22}+b_{h2})\\ & {+W_{ho3}\cdot f(x_1\cdot W_{13}+x_2\cdot W_{23}+b_{h3})+b_o))}^2\end{array}$$

由链式法则：

$${\displaystyle \frac{\partial f_{error}}{\partial b_{h1}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial b_{h1}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial y_1}}\cdot {\displaystyle \frac{\partial y_1}{\partial h_{o1}}}\cdot {\displaystyle \frac{\partial h_{o1}}{\partial b_{h1}}}$$

式中的${\displaystyle \frac{\partial f_{error}}{\partial y_o}}$和${\displaystyle \frac{\partial y_o}{\partial y_1}}$已经计算过，无需再次计算。

$${\displaystyle \frac{\partial y_1}{\partial h_{o1}}}={\displaystyle \frac{\partial (W_{ho1}\cdot h_{o1}+W_{ho2}\cdot h_{o2}+W_{ho3}\cdot h_{o3}+b_o)}{\partial h_{o1}}}=W_{ho1}$$

$${\displaystyle \frac{\partial h_{o1}}{\partial b_{h1}}}={\displaystyle \frac{\partial (f(W_{11}\cdot x_1+W_{21}\cdot x_2+b_{h1}))}{\partial b_{h1}}}=h_{o1}(1-h_{o1})$$

所以：

$$\mathrm{\Delta }{b}_{h1}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial b_{h1}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho1}\cdot h_{o1}(1-h_{o1})$$

同理，可以得到：

$$\mathrm{\Delta }{b}_{h2}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial b_{h2}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho2}\cdot h_{o2}(1-h_{o2})$$

$$\mathrm{\Delta }{b}_{h3}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial b_{h3}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho3}\cdot h_{o2}(1-h_{o3})$$

对于$W$，这里以$W_{11}$为例子，其他同理可得。
由链式法则：

$${\displaystyle \frac{\partial f_{error}}{\partial W_{11}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial W_{ho1}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial h_{o1}}}\cdot {\displaystyle \frac{\partial h_{o1}}{\partial W_{11}}}={\displaystyle \frac{\partial f_{error}}{\partial y_o}}\cdot {\displaystyle \frac{\partial y_o}{\partial y_1}}\cdot {\displaystyle \frac{\partial y_1}{\partial h_{o1}}}\cdot {\displaystyle \frac{\partial h_{o1}}{\partial W_{11}}}$$

式中的${\displaystyle \frac{\partial f_{error}}{\partial y_o}}$、${\displaystyle \frac{\partial y_o}{\partial y_1}}$和${\displaystyle \frac{\partial y_1}{\partial h_{o1}}}$已经计算过，无需再次计算。

$${\displaystyle \frac{\partial h_{o1}}{\partial W_{11}}}={\displaystyle \frac{\partial h_{o1}}{\partial h_1}}\cdot {\displaystyle \frac{\partial h_1}{\partial W_{11}}}=h_1(1-h_1)\cdot x_1$$

所以：

$$\mathrm{\Delta }{W}_{11}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{11}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho1}\cdot h_1(1-h_1)\cdot x_1$$

同理，可以得到：

$$\mathrm{\Delta }{W}_{12}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{12}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho2}\cdot h_2(1-h_2)\cdot x_1$$

$$\mathrm{\Delta }{W}_{13}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{13}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho3}\cdot h_3(1-h_3)\cdot x_1$$

$$\mathrm{\Delta }{W}_{21}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{21}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho1}\cdot h_1(1-h_1)\cdot x_2$$

$$\mathrm{\Delta }{W}_{22}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{22}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho2}\cdot h_2(1-h_2)\cdot x_2$$

$$\mathrm{\Delta }{W}_{23}=\eta \cdot {\displaystyle \frac{\partial f_{error}}{\partial W_{23}}}=-\eta (d_o-y_o)\cdot y_o\cdot (1-y_o)\cdot W_{ho3}\cdot h_3(1-h_3)\cdot x_2$$

这样就把输入层的$W$、$b$更新完成了。

下一篇开始手撕代码！