2021
08-06
08-06
解决BN和Dropout共同使用时会出现的问题
BN与Dropout共同使用出现的问题BN和Dropout单独使用都能减少过拟合并加速训练速度,但如果一起使用的话并不会产生1+1>2的效果,相反可能会得到比单独使用更差的效果。相关的研究参考论文:UnderstandingtheDisharmonybetweenDropoutandBatchNormalizationbyVarianceShift本论文作者发现理解Dropout与BN之间冲突的关键是网络状态切换过程中存在神经方差的(neuralvariance)不一致行为。试想若有图一中的神经响应X...
继续阅读 >