4.4 权重衰减

定义L2范数w.pow(2)是 PyTorch 中的一个张量方法，用于计算张量中每个元素的平方。参数lambd就是我们的。下面的代码我们应该很熟了，这里重要介绍一下我们没有见过的。lambda创造了一个匿名函数，所需要参数为特征X。输出：d2l.linreg(X, w, b)的结果。# 增加了L2范数惩罚项，# 广播机制使l2_penalty(w)成为一个长度为batch_size的向量plt.pause(0.001) # 添加短暂暂停让图形更新。

前一节我们描述了过拟合的问题，本节我们将介绍一些正则化模型的技术。我们总是可以通过去收集更多的训练数据来缓解过拟合。但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。我们继续思考多项式回归的例子，考虑高维输入可能发生的情况。多项式对多变量数据的自然扩展称为单项式（monomials）， 也可以说是变量幂的乘积。单项式的阶数是幂的和。回想一下，在多项式回归的例子中， 我们可以通过调整拟合多项式的阶数来限制模型的容量。在同一训练代码实现中，不同的参数集可以有不同的更新行为。

使用𝐿2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。具体来说，通过计算函数权重向量的某个范数，将它作为惩罚项加入到最小化损失的问题中。print('w的L2范数：', net[0].weight.norm().item())A：为了便于计算，通过平方范式，我们可以去掉平方根，留下权重向量每个分量的平方和。（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为𝐿2。（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为𝐿2。在训练参数化机器学习模型时

权重衰减的理论：硬性限制W, 柔性限制W, 理解参数更新的过程 代码从零实现：定义L2范数惩罚，训练，⭐⭐\lambdaλ的选择

L2L_2L2​训练函数的定义和线性回归模型基本相同，只是增加了一个超参数lambd，用于控制正则项的强弱。最后我们以动画形式输出训练过程和www的L2L_2L2​泛数用于比较。print('w的L2范数是：', torch.norm(w).item())

整节理论，详见书本。

范数是衡量向量或矩阵大小的一种度量，它是更一般的LpL_pLp​范数的特殊情况。在机器学习中，范数可以用来衡量模型参数的大小。L2L_2L2​范数：是向量中各元素平方和的平方根，用于衡量向量的大小。L1L_1L1​范数：是向量中各元素绝对值的和，用于衡量向量的稀疏性。L2L_2L2​下面的代码将模型拟合训练数据集，并在测试数据集上进行评估。从 3节以来，线性网络和平方损失没有变化， 所以我们通过d2l.linreg和导入它们。唯一的变化是损失现在包括了惩罚项。

李沐老师《动手学深度学习（PyTorch版）》4.5 权重衰减-笔记&练习详解

随机初始化模型参数#定义范数惩罚def train(lambd): #lambd为超参数net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss #线性网络和平方损失# 增加了L2范数惩罚项，# 广播机制使l2_penalty(w)成为一个长度为batch_size的向量d2l.sgd([w, b], lr, batch_size) #sgd随机梯度下降优化器。

4.权重衰减(weight decay)

权重衰减是DINO模型训练中至关重要的超参数，直接影响模型的泛化能力和最终性能。作为自监督学习的代表，DINO通过Vision Transformer架构实现了出色的特征提取能力，而权重衰减值的优化则是确保模型稳定收敛的关键因素。 ## 为什么权重衰减对DINO如此重要？ 权重衰减（Weight Decay）作为L2正则化的一种形式，在DINO模型的训练过程中发挥着双重作用：一方面防止模型过拟

d2l-4.5 权重衰减 通俗讲解，细致代码分析

动手深度学习笔记（十九）4.5. 权重衰减4. 多层感知机4.5. 权重衰减4.5.1. 范数与权重衰减4.5.2. 高维线性回归4.5.3. 从零开始实现4.5.3.1. 初始化模型参数4.5.3.2. 定义 L2L_2L2​ 范数惩罚4.5.3.3. 定义训练代码实现4.5.3.4. 忽略正则化直接训练4.5.3.5. 使用权重衰减4.5.4. 简洁实现4.5.5. 小结4.5.6. 练习 4. 多层感知机 4.5. 权重衰减 前一节我们描述了过拟合的问题，本节我们将介绍一些正则化模型的技术。 我们总是

代码学习笔记（含详细注释）。通过一个简单的例子来演示权重衰减。正则化是处理过拟合的常用方法：在训练集的损失函数中加入惩罚项，以降低学习到的模型的复杂度。

这里初始化出train_iter test_iter 可以查一下之前的获取Fashion数据集后的数据格式与此对应。

关于一点点正则化的小知识

李牧深度学习4.5权重衰减知识梳理以及课后习题

无

项目使用的是0 → 喜悦1 → 愤怒2 → 厌恶3 → 低落每条数据由两部分组成：第一列为标签（0-3的数字），第二列为微博文本内容。数据集为字符级处理，无需分词，直接按汉字拆分即可。为什么使用字符级而非词语级？对于中文短文本（如微博），字符级处理可以规避分词错误带来的误差，且词表规模更小，模型训练更快，非常适合入门级情感分类任务。函数定义与文档字符串函数接收三个参数：语料文件路径、词表最大尺寸、最低词频。文档字符串清晰说明了函数功能和参数含义，这是工程化代码的好习惯。