分类：eval模式

2020
10-08

踩坑:pytorch中eval模式下结果远差于train模式介绍

首先，eval模式和train模式得到不同的结果是正常的。我的模型中，eval模式和train模式不同之处在于BatchNormalization和Dropout。Dropout比较简单，在train时会丢弃一部分连接，在eval时则不会。BatchNormalization，在train时不仅使用了当前batch的均值和方差，也使用了历史batch统计上的均值和方差，并做一个加权平均（momentum参数）。在test时，由于此时batchsize不一定一致，因此不再使用当前batch的均值和方差，仅使用历史... 继续阅读 >