BP 神经网络就是那些用来“学”本事的机器，说白了就是个不断试错然后自我修正的生理学家。它的工作原理就像是在一个大房间里扔石头，石头砸出去哪儿，墙就裂哪儿；墙裂了，人再扔一块更大的石头，就往新裂口里砸。
这个房间就是神经网络，人就是那些不断扔石头的工程师。当石头刚扔出去，墙裂了，人再敲，效果肯定不如第一次好，出于石头可能会多跑几米，墙可能裂得更深要么形状都不一样。
这时候人就意识到刚刚那石头扔得有点偏，便调整了力气和角度，下一块石头扔得准点多了。
这就叫迭代，叫训练，叫优化，BP 神经网络就是靠这个“扔石头-看后果-改力气”的循环，把它的反应从“瞎搞”变成“精准”。 第一步得把石头往哪扔。神经网络有个集合矩阵，里面装着所有的参数，就像人的骨架，骨架对了，人长起来才有样子。扔石头的力气，就是这些参数的值。扔石头的时候，人得有个目标，比如扔个球进个篮子，这就是“目标”。
这个目标就是你的正向传播。假设你的键盘拼出"ABC"，但屏幕上的字是"BCD"，这时候你就知道哪儿错了，BCD 比 ABC 差，你就把力气往 A 的方向调。在神经网络里，正传播就是算得准不准。我们把输入数据扔进去，经过一堆算子，算出个结局。
要是这个结局跟目标一样好，说明参数摆得对；要是结局差，说明参数摆得偏，力气没对准。
这时候咱们就要拿这个结局跟刚刚扔的石头比，石头扔了墙裂了，咱们看看目前的墙裂得对不对，对不对？不对就调。调好之后，扔下一块更大的石头，看看效果。
这就叫反向传播。 反向传播实际上就是个“看回照”。刚刚扔的是正传播，算出的结局跟目标比；目前扔的是负传播，算出的结局跟刚刚那个结局比。
为啥要跟刚刚比？出于刚刚那一撞，把参数撞偏了。刚刚撞偏了，说明那个参数该调了。反向传播就是让参数跟着刚刚撞得方向调，直到撞得没料想那么重，结局跟目标差不多。
这就好比刚刚打篮球撞墙了，墙裂了，人再砸墙，发现撞得重了，墙裂得更久，人就要学会撞轻点，这样下一块石头就能扔进去了。BP 神经网络就是如此个过程，一层一层地往后传，每层都算出一堆数据，然后往回传。传到最终一层的时候，发现跟实际输入数据不一样，就把所有层的信息都传回去，让每一层都重新算一次。 但这事儿不能光靠人类去试，靠人类试是忒慢了，并且好办撞偏。人工神经网络得一个人一个参数，试过一百次才出一张图，并且这张图可能一辈子学不会新情况。BP 神经网络不一样，它是个集合体，所有人一起扔石头，大家互相帮忙调整力气。它有个自动纠错系统，扔了墙裂了，它自己就能调整参数，不用人动手。它还有个记忆系统，刚刚撞得轻了，它就把“撞轻了”这个经验存下来，赶明儿遇到相似的情况就照做。它不像人工网络那样是一步一步的，BP 神经网络是波动的，它待会儿调重一点，待会儿调轻一点，待会儿还往回走，待会儿又往前冲。它不是线性关系，它是非线性的，这全靠那些复杂的算子，比如马氏距离、高斯函数，还有那些导数，把石头扔得歪歪扭扭也能修成正果。 举个例子，咱们假设一个神经网络要猜一个数。输入是 1，目标也是 1。前期训练的时候，参数摆得乱七八糟，扔石头扔进去，结局输出是 0.9，跟目标差 0.1。
这时候反向传播就启动工作，发现输出跟目标差，就调整参数，让它更接近 1。
接着输入 2，目标还是 1。
这次参数调整后，输出是 1.8，跟目标差 0.8。
这时候又反向传播，发现差得多了，参数又调整，这次调整得更狠了。
就这样，这一次一个，下一次一个，扔石头、看结局、调参数，直到输出跟目标一样接近。
这时候你看到网络，对，它就学会了。它不是猜得准一下子，而是猜多了，然后猜得少，最终猜得准。 自然，这个过程不是一成不变的。
有时候扔石头重了，有时候扔得轻了，有时候还得往回调，有时候还得往前推。
这就像人骨头长了，得磨一磨；人骨头短了，得切一截。BP 神经网络就是靠着这种不断的磨、切、长、短，把参数调整得刚好。它不像人工网络那样，一个参数一个参数地变，而是把整个参数集搭伙为一个整体，扔进去，让它自己变。它靠的是集合里的每个元素相互影响，扔一块石头，墙裂了，整个墙就变了，扔下一块，又换个样子。它不是好办的加法，它是乘法，是乘法里的乘法，是各种各样的组合。它能把好办的规则变成复杂的逻辑，比如“要是 A 形成且 B 形成，那么 C 就形成”，这种逻辑在人工网络里得写一堆条件语句，在 BP 神经网络里，只要参数摆对，逻辑自己就出来了。 人工网络是“人算的”，人摆个参数，人算出结局，人再改参数。BP 神经网络是“自动算的”，参数自己变，算结局，结局又反推参数。它不是确实自动，它是有人的影子，它是人设计的，人扔的石头，人设定的目标，人定义的算子，人建立的规则。但它把这些规则又变成了一种“自动”的本事，让人不用再操心参数如何调，也不用再操心规则如何改，它自己就能干这个活。它就像是一个拥有无限耐心、无限记忆、无限弹性的对手，专门对抗那些拿不准的参数。它能把那些看似凌乱无章的数据，通过不断的扔石头、看后果、调力气，变成一种清楚、准、能预测未来的本事。它不要求你懂数学，只要求你扔得准，看得远，调得狠。
最终，它就能在复杂的迷宫里，找到那条最优的路，把扔石头变成一种高效的策略。
