【LLM相关知识点】 LLM关键技术简单拆解，以及常用应用框架整理（二）

【LLM相关知识点】 LLM关键技术简单拆解，以及常用应用框架整理（二）

一、市场调研：业界智能问答助手的标杆案例

关于垂直领域智能问答助手标杆案例及技术细节：

1、技术方案共性特征

1. ​架构选型：普遍采用 “预训练模型（DeepSeek）+ RAG增强 + 垂直领域插件” 的三层架构

   参考 DeepSeek 接入 MaxKB 知识库问答系统，真的太香了！

2. ​核心创新：

   • 医疗领域采用动态知识图谱校验机制

   • 法律系统开发时空维度法条追踪模块

   • 电商客服引入方言增强型BERT模型 这产品经理：基于DeepSeek手搓AI智能客服（附案例）

3. ​性能优化：

   • 使用LlamaIndex实现长文档O(1)时间复杂度检索

   • 通过MoE架构将激活参数控制在总参数量5%-8% 必看！万字长文为你深度解析DeepSeek

   • 采用MLA注意力机制减少30% KV缓存 漫谈DeepSeek及其背后的核心技术_腾讯新闻

2、典型瓶颈与突破

1. ​长文本处理：通过分段注意力机制和层次化检索，将医疗文献处理速度提升4倍

2. ​多模态融合：金融领域结合LayoutLM实现表格结构识别准确率达92%

3. ​实时性要求：使用vLLM的连续批处理技术，使投研报告生成延迟降低至3秒内 深度剖析：DeepSeek四大热门部署框架全方位对比

4. ​安全合规：政务系统采用国密SM4算法实现知识库加密，通过等保三级认证

更多技术细节可参考DeepSeek官方生态集成指南DeepSeek官方整理的R1/V3 LLM生态实用集成工具「AI技术选型必备 及MaxKB开源项目文档 DeepSeek 接入 MaxKB 知识库问答系统，真的太香了！

3、案例关键技术流程图分析

东莞水务系统

• 采用双通道处理架构：文档处理通道集成格式校对（LayoutLM技术） 和智能审核模块，数据通道实现时序预测（Prophet算法）与可视化（Echarts）
• 知识库检索响应时间 < 3秒 参考东莞水务集团上线DeepSeek AI智能助手_腾讯新闻

教育系统

• 错题分析采用动态特征提取技术（TF-IDF优化算法）

• 知识拓扑构建融合图神经网络（GNN）和TransE嵌入模型

​智能客服：

• RAG检索层使用Hybrid Search混合检索（BM25+Embedding）
• 安全模块集成正则表达式和规则引擎双重过滤

二、LLM关键步骤和关键技术 - LLM基座的黑箱拆解

1、LLM关键步骤（文本输入 - LLM（DS / TY / ChatGPT） - 文本输出的过程）

参考 从黑箱到透明：深度拆解LLM的8个关键步骤

表面上看，大型语言模型（LLMs）似乎非常直接——你输入一些内容，它们生成一个回应。简单的输入，简单的输出。但在幕后，这是一个复杂的转换链——原始文本被分解成数字，通过神经计算的多层处理，最终，模型生成的内容听起来非常接近人类的语言。从根本上说，这一切都归结为一件事：预测下一个词。

输入处理（如何为模型准备文本） -> 神经网络处理（LLMs如何思考）-> 输出处理与解码（生成下一个标记） -> 训练与优化（LLMs如何学习） -> 记忆与上下文处理（LLMs如何“记住”事物）-> 定制与推理（LLMs如何部署与使用） -> 评估与安全性（我们如何衡量和改进LLMs）-> 扩展与未来改进（LLMs的未来是什么？）

1）第一步：输入处理（如何为模型准备文本）

LLMs并不“阅读”文本——它们处理数字。标记化是这一过程中的第一个关键步骤。

目标：将原始用户文本转换为模型可以理解的格式。

原始文本 → 标记化 → 标记ID → 模型的结构化输入

关键步骤：

• 原始文本 → 预处理文本：清理输入（去除多余空格、统一大小写、格式化特殊字符）。

• 文本 → 标记：使用标记器（BPE、WordPiece、Unigram）将输入拆分为单词/子单词。

• 标记 → 标记ID：根据模型的词汇表，将每个标记映射到唯一的数字ID。

• 标记ID → 对话模板（如果适用）：将输入结构化为系统、用户和助手角色，用于对话式AI。

• 标记ID → 模型输入：将标记打包为带有填充、截断和注意力掩码的格式。

• 传递到神经网络：将编码后的输入传递到模型的嵌入层进行进一步处理。

import tiktoken

tokenizer = tiktoken.encoding_for_model("gpt-4")
text = "I want to learn about LLMs"
tokens = tokenizer.encode(text)

print("Token IDs:", tokens) # [40, 1390, 311, 4048, 922, 445, 11237, 82]
print("Decoded Tokens:", [tokenizer.decode([t]) for t in tokens])
#['I', ' want', ' to', ' learn', ' about', ' L', 'LM', 's']