1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 人工智能

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

• 人工智能 • 阅读 84

权重衰退是一种解决过拟合的方式

  • 正则项：在训练参数化机器学习模型时， 权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为L2 正则化。 这项技术通过函数与零的距离来衡量函数的复杂度
  • 使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。 这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。 在实践中，这可能使它们对单个变量中的观测误差更为稳定。

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

惩罚项的加入，是得最优值向着原点方向靠近。。原来的最优点会受到罚值的影响。

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

参数更新法则：

因为λ的引入，使得每次更新权重参数时，先让原来的权重值先乘以一个小于1的正数（1-n-λ），再减去梯度的负方向

  • *正则项权重是控制模型复杂度的超参数

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

代码实现：

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

生成人工数据集：

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

初始化参数：

def init_params():
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    return [w, b]

L2范数惩罚项：

#定义 L2范数
def l2_penalty(w):
    return torch.sum(w.pow(2)) / 2

#定义 L1范数惩罚
def l1_penalty(w):
    return torch.sum(torch.sum(w))

定义训练代码：

代码将模型拟合训练数据集，并在测试数据集上进行评估。 从之前以来，线性网络和平方损失没有变化， 所以我们通过 d2l.linreg和 d2l.squared_loss导入它们。 唯一的变化是损失现在包括了惩罚项。

def train(lambd):
    w, b = init_params()
    net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
    num_epochs, lr = 100, 0.003
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
                            xlim=[5, num_epochs], legend=['train', 'test'])
    for epoch in range(num_epochs):
        for X, y in train_iter:
            # 增加了L2范数惩罚项，
            # 广播机制使l2_penalty(w)成为一个长度为batch_size的向量
            l = loss(net(X), y) + lambd * l2_penalty(w)
            l.sum().backward()
            d2l.sgd([w, b], lr, batch_size)
        if (epoch + 1) % 5 == 0:
            animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
                                     d2l.evaluate_loss(net, test_iter, loss)))
    print('w的L2范数是：', torch.norm(w).item())

忽略正则项直接训练：

现在用 lambd=0禁用权重衰减后运行这个代码。 注意，这里训练误差有了减少，但测试误差没有减少， 这意味着出现了严重的过拟合。

train(lambd=0)

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

使用权重衰减:

train(lambd=3)

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

Original: https://blog.csdn.net/weixin_42067873/article/details/123517518
Author: Star星屹程序设计
Title: [动手学深度学习(PyTorch)]——权重衰退（Weight decay）

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/710145/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球