怎样搭建公司内部知识库的大模型小助手？

原创 于 2025-03-19 10:40:50 发布 · 663 阅读 · 20 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#大模型 #RAG #LLM #知识库 #人工智能
#程序员 #Dify

需求

之前给领导画饼，说是要搞个智能大模型助手，这不就得实现这个饼了。 简单讲讲这个需求：

  1. 能根据喂给它的文件的内容进行回答
  2. 能进行编排（温度，敏感词过滤等）
  3. 能暴露成API和WebApp

技术选型

经过综合考量，LLM部署和推理框架选用 (Xinference)

image.png

LLMOps平台选用Dify.AI · The Innovation Engine for Generative AI Applications

这个是国人写的，支持企业级部署

image.png

大模型使用 智谱清言 (chatglm.cn)

不多说，清华的

安装

基础环境

基础环境需要Python39 pip、docker

Xinference

安装可以参考：部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！_大模型部署框架-CSDN博客

以及官方文档安装 — Xinference

值得注意的是，安装Xinference之后会安装会自动安装PyTorch，和对应的CUDA，此时你需要自己检查下是否安装正确

Dify

这个直接用Docker-compose即可

  1. 将源码拉下来
  2. 找到源码对应的docker目录，使用docker-compose启动

image.png

简单使用

这里会简单搞1个Node小助手

首先进入Xinference把模型跑起来,启动命令

xinference-local

之后找到想要的模型，点击run，初次会需要下载，建议最好跑在Nvidia的GPU上。

image.png

跑起来后，通过左侧RunningModels菜单，可以看到正在跑的模型 点击右侧即可进入WebApp（就是日常使用GPT的聊天窗）

image.png

想要进一步得出想要的小助手，需要对模型进行编排，这时候就需要请出Dify，启动后，进入到Nginx容器的地址，进入设置，对接好Xinference。

之后创建应用

image.png

可以看到这里用了知识库，先在Xinference里跑起Embedding 模型，作用是将文本转换为向量

image.png

然后跑Rerank 模型，用来对文本进行排序

image.png

最后回到Dify，创建知识库，选择好对应的模型，

image.png

之后在回到模型编排，将对应的知识库放进上下文里，提示词写上按上下文回答。

发布后打开概览，可以看到你的APP和API

image.png

点击APP的预览，进入到熟悉的聊天窗

image.png

至此，本地部署大模型就完成了，当然这套也可以部署在服务器上，只需要选择对应的Linux的版本，以及确保网络的通畅。

值得提醒的是：硬件一定要好，否则不但达不到你对大模型的预期，搭建过程也会困难重重

image.png

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

Llama-Turbo
关注
dify基于文本模型实现微调Fine-tune语料构造工作流
最新发布
susu1083018911的博客
05-21 2017
dify基于文本模型实现微调Fine-tune语料构造工作流
如何搭建公司内部知识库的大模型小助手
EnjoyEDU的博客
06-07 1425
之前给领导画饼，说是要搞个智能大模型助手，这不就得实现这个饼了。
dify案例分享-基于文本模型实现Fine-tune 语料构造工作流
Code1994的博客
01-18 9978
微调（Fine-tuning）是指在已经预训练好的大规模模型基础上，通过进一步训练来适应特定任务或数据集的过程。这一过程体现了迁移学习的思想，即利用预训练模型在通用数据上学习到的知识，通过微调使其更好地服务于特定的应用场景.
Dify 基于 ChatGPT 构建本地知识库问答应用
小毕超博客
06-23 1万+
不仅能够处理事实性问题，还能理解和生成情感色彩更浓厚的对话内容，能够识别用户的情感倾向，并据此作出相应的回应。例如在学校的场景下，我们需要打造一个学习需求问答系统，问一周的课程，可以回答出：周一需要上。就可以帮助我们低成本的实现上述的功能 ，使其可以精准回答专业领域的知识。课，周三上其他课等，对于类似这种私有化的知识库，如果不对。横空出世之后，其极高的语言理解和交互能力不仅让人惊呼，可以看到已经有了我们想要的效果，最后感觉不错的话，简单实现下上述的场景，由于我们是基本。支撑，所以你需要有一个。
Dify中创建知识库操作和实现过程
NLP工程化
07-15 7258
方式一：先创建知识库，然后上传文件；方式二：直接上传文件，然后创建默认知识库。
AIGC：【LLM（六）】——Dify：一个易用的 LLMOps 平台
u013010473的博客
08-18 7147
Dify 是一个易用的 LLMOps 平台，旨在让更多人可以创建可持续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排，应用可开箱即用，也能以后端即服务的 API 提供服务。
一文彻底搞懂大模型 - Dify（Agent + RAG）
热门推荐
m0_59163425的博客
09-19 26万+
该平台结合了后端即服务（Backend as Service, BaaS）和LLMOps的理念，为开发者提供了。
深度解析：常见本地大模型知识库工具部署、微调与对比，个人高效选型指南！
2401_85373691的博客
08-23 2910
这里先盘点一下最近比较火爆的几个工具，将从知识库侧和大模型侧分别介绍。这六种。AnythingLLM 是 Mintplex Labs Inc. 开发的一款可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。其采用MIT许可证的开源框架，支持快速在本地部署基于检索增强生成（RAG）的大模型应用。在不调用外部接口、不发送本地数据的情况下，确保用户数据的安全。
DeepSeek+Xinference搭建本地知识库应用
xiangzhihong8的专栏
02-13 5419
Xinference (Xorbits Inference) 是一个通用的推理平台，旨在为各种模型（可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理）提供统一的接口和服务。模型多样性: 支持多种模型类型，包括语言模型 (LLMs)、 embedding 模型、图像模型、音频模型等。硬件加速: 支持 CPU、GPU (NVIDIA, AMD, Intel) 和 Apple Silicon 等多种硬件加速。易于部署: 提供简单的命令行界面和 Python API，方便本地和云端部署。
【AI Agent 教程】使用Dify搭建智能体——入门教学
m0_59164304的博客
09-16 9449
点击创建空白应用选择聊天助手选择基础编排（基础编排很适合新手入门学习）给自己的助手简单的区个名字（中英互译助手），以及对应用进行简单的描述当编排完左边的所有功能之后，就可以通过右边对话框进行测试效果，单个模型测试，多个模型测试都可以。如果效果可行，就可以选择发布，发布的意思也就是保存好你之前的所有编排。！！！如果不发布，直接退出编排界面，之前所有的编排都将功亏一篑。发布之后，就能看到一个完整的AI Bot应用了。接着，再次点击打开这个Bot1.为编排页面2.可以调用API的形式去使用Bot。
【AI实践】Dify调用本地和在线模型服务
AI_Gump的博客
06-16 4785
Ollama可以本地部署模型，如何集成私有数据、如何外部应用程序对接，因此需要有一个应用开发框架。ip地址需要换成自己电脑的IP地址；模型名称需要和Ollama模型名称保持一致；docker是虚拟环境的主机，Ollama部署在本地主机，无法通过本机访问。找到Ollama，配置本地Ollama已经验证的模型，如phi3。在docker页面里面，也可以看到running。docker已经安装完成的情况下。，打开dify，注册登录后。在工作区选择调用即可。
基于Dify的智能分类方案：大模型结合KNN算法（附代码）
06-24 3586
市民需将自己的问题凝炼成标题和文字内容进行上交，政务服务人员需要根据市民上交内容判断负责处理该问题部门进行指派。该方法系统应用提示词和思维链技术，并利用大量历史案例动态生成样本指导模型，且无需过分依赖模型推理能力。基于该需求特点，可设计基于大模型和历史案例驱动的指派算法，利用大模型的语义理解和逻辑推理能力，结合历史案例进行指派实现。2.分类的标准不够清晰，部门之间存在一定的职能重复或问题本身涉及多部门(只是权重不同)。首先对问题范围进行限定，并压缩用户输入（过长的token对后续的词嵌入有所影响）。
用Dify构建本地知识库（上）
wbsu2004的博客
05-21 1万+
Dify 是一个开源 LLM 应用程序开发平台。
Dify学习笔记-手册（三）
大数据知识梳理
01-23 4万+
Dify学习笔记-手册
使用Dify搭建企业知识库聊天机器人
bagell的博客
09-02 7204
如果你的知识库文档比较复杂，或者每一段的内容都很多，就需要你手动操作了。我准备了一份文档给大家练练手### 如何创建新项目？要创建一个新项目，您需要首先登录到您的项目管理平台并进入主界面。在右上角，通常会有一个“新建项目”或“创建项目”的按钮。点击这个按钮后，系统会引导您进入一个新的页面或弹出一个窗口，要求您填写项目的基本信息。1. **项目名称**：首先，您需要为项目命名。项目名称应该简洁明了，同时具备描述性，以便您和团队成员能够轻松识别项目的目的或内容。
本地部署知识库——大模型框架xinference的本地架设
lxszyj的博客
06-27 6324
断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值