LLM企业应用落地场景中的问题概览

三个问题

1. AI思维
2. 快速工具：需要对接LLM的API、控制幻觉、管理知识库。
3. POC验证

四个难点

1. 私有化部署的环境：包括网络和服务器环境。
2. 交互友好
3. 意想不到的情况
4. 方向选择：让客户做目标和方向的选择

问题

一、RAG

多跳问题

通常发生在报告编写的数据整理环节，比如要从一堆报表中找出企业近三年的复合增长率，要和竞对比较发展情况等。解决多跳问题的方案：通常使用图数据库，也可以采用理解意图，然后拆分实体和意图的方式进行RAG。

路由问题

路由问题：外部MoE。

例如：获取公司2021年的财报和2022年的财报中某项数据，有时候只在文件名和某些大标题才有年份，就造成了chunking之后失去年份等关键信息，造成最终结果的错误。

这种问题可采用在文件处理时收录元数据，如标题、时间、区域等。然后在检索的时候，首先对问题进行拆解，识别年份等关键信息，直接路由到相应的年份知识库或目录进行检索，不仅提升效率还解决了内容混淆的问题。

二、数据

结构化数据处理

结构化数据无法逃避，比如企业想把自己的产品数据库加入到基于LLM的应用中，在问答、统计分析等场景中就可以使用这些结构化数据。

对结构化数据的处理，提取结构化数据的资源名录和说明内容，或者是数据里面的表名、表描述和schema等元数据，只做元数据的embedding，然后加入