选择篇| 微调 VS RAG

随着技术的不断进步，LLM 带来了前所未有的机遇，吸引了开发者和组织纷纷尝试利用其强大的能力构建应用程序。然而，当预训练的 LLM 在实际应用中无法达到预期的性能水平时, 人们就会思考到底使用什么样技术进行改善特定场景LLM的表现, 其中微调和RAG方案都是优化LLM的重要方案。

微调和RAG都是作为现在LLM优化的重要技术, 孰优孰劣?一直是开发者们常常争论的话题, 同时作为一名刚入门的开发者也分不清要使用微调还是RAG来优化自己的应用场景, 也有一些初学者常常将这两个概念混淆起来。在对比之前,我们先简单了解微调和RAG。

01 微调

微调（Fine-Tuning）过程的核心，是在新的任务和数据集上对预训练模型的参数进行微小的调整，使其能精准契合目标场景的需求。不同于完全从头训练一个全新模型，Fine-Tuning （微调）巧妙地利用了 PLM 在大规模语料上学习到的通用语义表征，在此基础上进行"权重调校"，从而大幅提高了模型收敛的速度和效率, 微调本质是将特定领域知识记忆纳入到模型的参数中, 经过微调后，模型可以为你提供更准确、更接近你特定领域的答案。

之前《