分类：optimizer

2021
07-26

聊聊pytorch中Optimizer与optimizer.step()的用法

当我们想指定每一层的学习率时：optim.SGD([{'params':model.base.parameters()},{'params':model.classifier.parameters(),'lr':1e-3}],lr=1e-2,momentum=0.9)这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所有的参数。进行单次优化所有的optimizer都实现了step()方法，这个方法会更... 继续阅读 >

2020
10-08

keras中的loss、optimizer、metrics用法

用keras搭好模型架构之后的下一步，就是执行编译操作。在编译时，经常需要指定三个参数lossoptimizermetrics这三个参数有两类选择：使用字符串使用标识符，如keras.losses，keras.optimizers，metrics包下面的函数例如：sgd=SGD(lr=0.01,decay=1e-6,momentum=0.9,nesterov=True)model.compile(loss='categorical_crossentropy',optimizer=sgd,metrics=['accuracy'])因为有时可以使用字符串，有时可以使用标识符，令人很想... 继续阅读 >