分类：PyTorch标签平滑

2020
09-25

在PyTorch中使用标签平滑正则化的问题

什么是标签平滑？在PyTorch中如何去使用它？在训练深度学习模型的过程中，过拟合和概率校准(probabilitycalibration)是两个常见的问题。一方面，正则化技术可以解决过拟合问题，其中较为常见的方法有将权重调小，迭代提前停止以及丢弃一些权重等。另一方面，Platt标度法和isotonicregression法能够对模型进行校准。但是有没有一种方法可以同时解决过拟合和模型过度自信呢?标签平滑也许可以。它是一种去改变目标变量的正则化... 继续阅读 >