2021
07-17
07-17
解决Pytorch中Batch Normalization layer踩过的坑
1.注意momentum的定义Pytorch中的BN层的动量平滑和常见的动量法计算方式是相反的,默认的momentum=0.1BN层里的表达式为:其中γ和β是可以学习的参数。在Pytorch中,BN层的类的参数有:CLASStorch.nn.BatchNorm2d(num_features,eps=1e-05,momentum=0.1,affine=True,track_running_stats=True)每个参数具体含义参见文档,需要注意的是,affine定义了BN层的参数γ和β是否是可学习的(不可学习默认是常数1和0).2.注意BN层中含...
继续阅读 >