分类：float64训练

2021
07-09

pytorch 如何使用float64训练

pytorch默认使用单精度float32训练模型，原因在于：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。可使用torch的一个函数，轻松地把模型参数转化为float64torch.set_default_dtype(torch.float64)输入类型可使用tensor.type(... 继续阅读 >