快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型

1.为什么要对Yuan2.0做微调？  

Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yuan2.0已经开源参数量分别是102B、51B和2B的3个基础模型，以供研发人员做进一步的开发。

LLM（大语言模型）微调方案是解决通用大模型落地私有领域的一大利器。基于开源大模型的微调，不仅可以提升LLM对于指令的遵循能力，也能通过行业知识的引入，来提升LLM在专业领域的知识和能力。当前，学界和业界已经基于LLM开发及实践出了众多的微调方法，如指令微调、基于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）、直接偏好优化（DPO，Direct Preference Optimization）等。内存和计算资源是制约LLM微调的两大瓶颈，通过使用高效微调（PEFT，Parameter-Efficient Fine-Tuning）方案可以有效缓解上述问题，当前业界已经出现了LoRA和QLoRA等高效微调技术，可以实现在单张GPU上完成千亿参数的微调训练。因此，一个能够实现上述功能的简洁、高效、易用、与时俱进的微调框架是开展LLM微调工作的最佳抓手。

LLaMA-Factory（https://github.com/hiyouga/LLaMA-Factory）是零隙智能（SeamLessAI）开源的低代码大模型训练框架，它集成了业界最广泛使用的微调方法和优化技术，并支持业界众多的开源模型的微调和二次训练，开发者可以使用私域数据、基于有限算力完成领域大模型的定制开发。LLaMA-Factory还为开发者提供了可视化训练、推理平台，一键配置模型训练，实现零代码微调LLM。自2023年5月开源以来，成为社区内最受欢迎的微调框架，github星数已超9K。

目前LLaMA-Factory已完成与Yuan2.0的适配微调，通过使用LLaMA-Factory可以方便快捷的对不同尺寸的Yuan2.0基础模型进行全量微调及高效微调。本文将介绍如何使用alpaca中文数据集、ShareGPT数据集和llama-factory提供的模型认知数据集，对Yuan2.0进行微调，来构建自己的人工智能助手。

2.资源需求评估和环境准备

下面的表格给出了使用llama-factory微调Yuan2.0模型的最低显存需求。大家可以根据手头GPU资源的显存情况来评估使用的模型以及对应的微调算法。比如选择Yuan2.0-2B模型，使用QLoRA微调方法，只需要最小5GB显存，当前业界绝大多数的GPU都可以满足。

表格2‑1：Yuan2.0不同微调策略所需要的最低显存需求评估。

Llama-factory的部署可以参考其github上的部署文档，yuan2.0的github上也提供了完整的llama-factory的环境部署流程（https://github.com/IEIT-Yuan/Yuan-2.0/blob/main/docs/Yuan2_llama-factory.md）可供参考。在本文的部署实践中，使用了ngc-torch2308作为基础docker镜像。

3.Yuan2.0 Lora微调Step by step流程

下面以Yuan2.0-2B模型的LoRA微调为例，进行step by step的流程介绍。