训练大规模神经网络经常遇到的一个问题就是过拟合(overfitting),也就是训练结果对训练样本很友好,但对于测试集不行,也就是说,模型的泛化效果不理想.

基于此,科学家发明了dropout操作,这个操作随机选择一些权重,将他们赋值为0.

这个方法最大的优势就是避免了所有的神经元,同步的优化他们的权重.这种操作避免了所有的神经元收敛到同样的结果,从而达到”解关联”的作用.

dropout的第二个优点就是能使隐藏单元的激活变得稀疏,这是一个非常好的特性.