研究篇| 一款深入浅出的微调框架

对于初入算法的童鞋来说，有的可能还不知道llama-factory是什么，只知道大模型用到了这个框架，这是不行的。LLaMA-Factory 是一个低代码的大规模语言模型（LLM）训练框架，它主要面向研究人员和开发者，旨在简化大型语言模型的微调、评估和部署过程。白话说就是集合了当下LLM领域各种好用的开源或者自研的框架以及工具，进行封装以及优化，简化使用方法，方便大家对大模型进行微调和评估部署等工作，降低了使用难度。包括推理框架vllm等（具体可以看官网哈，下面有地址）易用性 vs. 性能。

Alpaca 格式由斯坦福大学的研究人员提出，主要用于单轮指令微调任务。针对不同任务，数据集的格式要求不同。应用场景：- 适用于单轮任务，如问答、文本生成、摘要、翻译等。- 结构简洁，任务导向清晰，适合低成本的指令微调。

•开源框架百花齐放：LLaMA-Factory 综合实力最强，Unsloth 快速实验首选•商业平台服务完善：SiliconCloud等提供一站式解决方案•技术路线趋于统一：LoRA/QLoRA 成为主流，多模态和量化训练成为标配•工具链日益完善：从数据处理到模型部署，全链路工具成熟2026年AI行业最大的机会，毫无疑问就在应用层！字节跳动已有7个团队全速布局Agent大模型岗位暴增69%，年薪破百万！腾讯、京东、百度开放招聘技术岗，80%与AI相关……

近日，源2.0开源大模型与LLaMA-Factory框架完成全面适配，用户通过LLaMA-Factory，即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调，轻松实现专属大模型。

记录本人安装llamafactory过程中遇到的问题。希望对您有所帮助！

LLaMA-Factory常见报错信息及解决方法整理

然而，随着这些模型作为代理（agents）在复杂的网络环境中的应用日益广泛，如何有效评估它们的鲁棒性和文化、社会意识成为了一个亟待解决的问题。然而，不幸的是，在中国文化中，送钟的行为与“送终”同音，因此被认为是不吉利的。实验结果表明，当前的 LLM 代理在应对复杂网络环境时，文化和社会意识表现较弱，尤其是在面对误导性信息时，表现尤为欠佳。然而，通过提示和微调，LLM 代理在这些场景中的表现可以得到显著提升。，并比较了这些模型在非代理环境（如传统对话任务）和代理环境（如真实的网络任务）中的表现。

《DeepSeek赋能职场办公与科学研究开发实践》震撼上市！本书由多位行业专家联合编写，获多位AI专家和互联网大佬倾情推荐，全彩印刷、图文并茂，收录200+真实实用的大模型案例，干货满满，覆盖职场办公、科研创新、创意设计及智能开发等全场景应用。

推荐文章：深入浅出triplet-ReID-pytorch，开启人物重识别的高效之旅 在当今这个人工智能飞速发展的时代，人物重识别（Person Re-Identification, ReID）作为一个关键任务，广泛应用于视频监控、智能零售等领域。今天，我们要介绍的是一款基于PyTorch实现的高效人物重识别开源项目——triplet-ReID-pytorch，它依托于论文《In Defense ...

1.git clone llama_factory到本地。4.数据文件放在data里面，仿照模板里的格式。5.进入llama_factory微调页面。2.记得安环境，在clone后。3.多显卡要设置一下。

LLaMA-Factory项目的目标是整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。

提供了一套完整的工具和接口，使得用户能够轻松地对。

llamafactory-cli的常用功能与使用方法。该工具支持模型微调、评估、部署全流程，提供多种交互方式，包括命令行对话、API服务和网页界面。

LLM 微调，也叫做 Fine-tuning，是深度学习领域中常见的一种技术，用于将预先训练好的模型适配到特定的任务或数据集上。这个过程包括几个主要步骤：基础模型选择：选择一个通用文本数据的基础语言模型，使其能够理解基本的语言结构和语义。准备训练数据集：选择一个与目标任务相关的较小数据集。微调：在此数据集上训练模型，但通常使用较低的学习率，以保留基础模型学到的知识，同时学习目标任务的特定知识。评估：在目标任务的验证集上评估模型的性能，需要准备评估数据集。

注：如果你的模型比较大，一台显卡无法加载你的模型，你可以选择使用deepspeed单机多卡，DeepSpeed stage选择zero3，如果你一张显卡能够微调，但你有多张显卡的话，这里建议你使用zero2，可以提高接近两倍的训练速度，也就是节省一半的时间。如果你的模型参数比较大，一张卡无法加载你的模型参数，那么你就需要使用单机多卡来训练模型，你可选择deepspeed的zero3，如果你的一张显卡能够加载模型参数，你又有多张卡，可以选择zero2，使数据并行，这样可以大大减少训练时间。

│├── data/│└── saves/其中data文件夹下面的 [your_dataset].json 是自定义微调任务中训练集，dataset_info.json用于定义数据集名称examples文件夹下面的train_lora、train_qlora和train_full表示不同的微调方式，相应文件夹下面存在微调任务的配置文件；inference表示使用训练好的模型来进行推理saves文件夹需要自己新建，用于保存微调后的模型。

现有的获得这种可控性的方法是收集人工对模型生成相对质量的标签，并且通过人类反馈强化学习（RLHF）对无监督的 LM 进行微调，以使其与人类偏好相一致。然而，RLHF 是一个复杂且经常不太稳定的过程，它首先拟合一个反应人类偏好的奖励模型，然后通过强化学习对大型无监督 LM 进行微调以最大化评估奖励，并避免与原始模型相差太远。值得注意的是，用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力，同时在实现和训练时的难度大大降低。，从本质上解决了人类偏好数据上的分类问题。

使用`web_demo.py`，部署网页端示例，报错`RuntimeError: probability tensor contains either `inf`, `nan` or element < 0` · Issue #1642 · hiyouga/LLaMA-Factory · GitHub。（2）另一种说法是，要更新代码，当前测试的是0.4.0版本的源码，未更新，大家有兴趣可以尝试一下，放在评论区。（1）一种说法是，原因是双卡推理，当前的确也出现该问题，A100上正常，双4090有问题。

在人工智能领域，大型语言模型(LLM)微调（Fine-Tuning）是当下最热门的话题之一。总体来说LLaMA Factory 是一个非常优质的工具，在LLM微调中帮助用户节省了大量的精力。这些模型拥有惊人的语言理解和生成能力，但要微调和部署它们以适应特定任务，往往需要大量计算资源和专业知识，代码调试还得有深厚的技术功底。