2021
07-09
07-09
pytorch 使用半精度模型部署的操作
背景pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外，最近也把pytorch应用在了部署上.在部署时，为了减少计算量，可以考虑使用16位浮点模型，而训练时涉及到梯度计算，需要使用32位浮点，这种精度的不一致经过测试，模型性能下降有限，可以接受.但是推断时计算量可以降低一半，同等计算资源下，并发度可提升近一倍具体方法在pytorch中，一般模型定义都继承torch.nn.Moudle，torch.nn.Module基类...
继续阅读 >