分类：学习率

2020
10-08

pytorch实现查看当前学习率

在pytorch训练过程中可以通过下面这一句代码来打印当前学习率print(net.optimizer.state_dict()['param_groups'][0]['lr'])补充知识：Pytorch：代码实现不同层设置不同的学习率，选择性学习某些层参数1，如何动态调整学习率在使用pytorch进行模型训练时，经常需要随着训练的进行逐渐降低学习率，在pytorch中给出了非常方面的方法：假设我们定义了一个优化器：importtorchimporttorch.nnasnnoptimizer=torch.optim(model.para... 继续阅读 >

2020
10-08

在pytorch中动态调整优化器的学习率方式

在深度学习中，经常需要动态调整学习率，以达到更好地训练效果，本文纪录在pytorch中的实现方法，其优化器实例为SGD优化器，其他如Adam优化器同样适用。一般来说，在以SGD优化器作为基本优化器，然后根据epoch实现学习率指数下降，代码如下:step=[10,20,30,40]base_lr=1e-4sgd_opt=torch.optim.SGD(model.parameters(),lr=base_lr,nesterov=True,momentum=0.9)defadjust_lr(epoch):lr=base_lr*(0.1**np.sum(epoch... 继续阅读 >