2.3.4　Dropout

Dropout（辍学）是Srivastava等人在2014年的一篇论文中提出的针对神经网络的正则化方法。Dropout是在深度学习训练中较为常用的方法，主要用于克服过拟合现象。Dropout的思想是在训练过程中，随机地忽略部分神经元。比如可以在其中某些层上临时关闭一些神经元，让它们在正向传播过程中对下游神经元的贡献效果暂时消失，在反向传播时也不会有任何权值的更新，而在下一轮训练的过程中再临时关闭一些神经元，原则上都是随机性的。如图2-14所示。

这样一来，每次训练其实相当于网络的一个子网络或者子模型。这个想法很简单，会在每个epoch（训练周期）得到较弱的学习模型。弱模型本身具有较低的预测能力，然而许多弱模型的预测可以被加权并组合为具有更强预测能力的模型。

图2-14　深度学习中随机Dropout