从头训练小模型: 4 lora 微调

1. LoRA (Low-Rank Adaptation)

LoRA是一种高效的参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法，原理是通过低秩分解的方式对预训练模型进行微调。

相比于全参数微调（Full Fine-Tuning），LoRA 只需要更新少量的参数。 LoRA 的核心思想是：在模型的权重矩阵中引入低秩分解，仅对低秩部分进行更新，而保持原始预训练权重不变。

其实这个也是我最开始研究的一块的东西, 这个是我们现实应用场景最广的的一种情况, 因为我们大部分的都不会去自己完整训练一个模型, 大部分都是微调, 而且自己训练的成本多高, 并且自己训练的效果很差, 数据集处理也非常麻烦 (我自己训练这个小模型,虽然是很小,但是在训练的轮数和数据集不优化的情况下,回答都是不太好的,但我确实也是主要是学成分高)

为啥要使用微调:(优势):

1. 领域知识补充：比如医学或安全领域的知识欠缺，可以在原有模型基础上添加相关领域知识，从而提升模型性能。
2. **防止灾难性遗忘：这是一个专业术语，**简单来说就是希望在学习新的领域知识时，不损失模型原有的基础能力。LoRA能很好地解决这个问题。 (下面技术原理里解释一下)
3. 极大减少参数量：相比全参数微调，LoRA可减少97%以上的可训练参数
4. 降低显存需求：只需要存储和更新少量参数，大幅降低GPU内存需求

2. LoRA的技术原理

数学原理 低秩适配

LoRA 的核心思想是：在模型的权重矩阵中引入低秩分解，仅对低秩部分进行更新，而保持原始预训练权