功底理论

2019-11-30 作者:篮球竞猜文学文章   |   浏览(73)

害怕学数学?不如再来尝试一次。喜欢学数学?那可以拓展下相关的知识和典故。这本活泼的科普书知难而上,目标是拆解让不少人闻之色变的数学知识。 1+1=2在书中的解说下变得复杂,但麦克斯韦方程组、质能方程、德布罗意方程、玻尔兹曼公式是实打实地变得简单了。了解这些公式有什么用?是的,读完这些趣味讲解并不能直接用来解习题,也未必能提高数学成绩。但它提供了一个亲切的界面,让读者能感知到数学的奇妙与美丽,体会到人类通过数学认识世界乃至宇宙的方式,让数学的形象变得有血有肉。

“一种难以解释的黑箱模型”

一般使用Sigmoid(x) = 1/(1+ e^-z)作为神经元激活函数

感知机由两层神经元组成,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元

单层感知机能解决线性可分的 与,或,非问题,但不能解决非线性可分的抑或


多层神经网络: 多层前馈神经网络

前馈并不意味着网路中的信号不能向后传,而是指网络拓扑结构中不存在环或回路


误差拟传播算法(BackPropagation)

最小化训练集上的累积误差,假设样本有N个,每一轮迭代进行N次参数调整

迄今为止最成功的神经网络学习算法

BP算法基于梯度下降策略,以目标的负梯度方向对参数进行调整,根据链式法则推导

详见西瓜书P103

学习率控制了算法每一轮的更新步长,太大容易振荡,太小则收敛过慢


累积BP算法

标准BP算法每次针对一个训练样例进行权重调整,如果基于累积误差最小更新规则,得到累积BP算法。

标准BP算法的缺点:参数更新频繁,可能出现抵消现象,因此需要大量迭代

累积BP算法的做法是一轮迭代只作一次参数调整

本文由篮球竞猜-篮球竞猜开奖结果发布于篮球竞猜文学文章,转载请注明出处:功底理论

关键词: