分类：训练网络

2021
07-22

Pytorch 如何训练网络时调整学习率

为了得到更好的网络，学习率通常是要调整的，即刚开始用较大的学习率来加快网络的训练，之后为了提高精确度，需要将学习率调低一点。如图所示，步长（学习率）太大容易跨过最优解。代码如下：表示每20个epoch学习率调整为之前的10%optimizer=optim.SGD(gan.parameters(),lr=0.1,momentum=0.9,weight_decay=0.0005)lr=... 继续阅读 >

2021
07-22

使用Pytorch训练two-head网络的操作

之前有写过一篇如何使用Pytorch实现two-head（多输出）模型在那篇文章里，基本把two-head网络以及构建讲清楚了（如果不清楚请先移步至那一篇博文）。但是我后来发现之前的训练方法貌似有些问题。以前的训练方法：之前是把两个head分开进行训练的，因此每一轮训练先要对一个batch的数据进行划分，然后再分别训练两个头。代码如下：f_out_y0,_=net(x0)_,f_out_y1=net(x1)#实例化损失函数... 继续阅读 >