在PyTorch的torch.optim包提供了非常多的可实现参数自动优化的类（SGD、Adam..）及学习率调整的类 lr_scheduler
class torch.optim.lr_scheduler.stepLR(optimizer, step_size,gamma=0.1,last_epoch=-1)
参数：
optimizer —要更新学习率的优化器
step_size — 每经step_size个epoch,更新一次学习率lr
gamma — 更新lr的乘法因子
last_epoch — 默认为-1表示从头开始训练
代码示例：
import torch.nn as nn
import torch.optim as optim
from torch.optim import lr_scheduler
from cnn_finetune import make_model
”’模型定义”’
model = make_model(model_name=’vgg16′, pretrained=True, num_classes=2,input_size= 224,224))
lr = 0.1
optimizer = optim.Adam(model.parameters(), lr=lr) # 用Adam优化算法更新权重
criterion = nn.CrossEntropyLoss() # 损失函数
scheduler = lr_scheduler.StepLR(optimizer, 8, gamma=0.1, last_epoch=-1)
for epoch in range(25):
optimizer.zero_grad()
optimizer.step()
print(“第%d轮的学习率：%f”%(epoch, optimizer.param_groups[0][‘lr’]))
scheduler.step()
输出结果：
Original: https://blog.csdn.net/maly_Sunshine/article/details/123225799
Author: maly_Sunshine
Title: 学习率调整之stepLR
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/706137/
转载文章受原作者版权保护。转载请注明原作者出处！