大模型应用编排工具Dify之常用编排组件

1.前言

dify的核心能力有：支持接入常见的 LLM、工作流编排、知识库和聊天助手等，架构图如下：

本文将结合实际项目落地经验，针对工作流编排中的常用编排组件进行介绍，以及如何在后端调用工作流编排。

2.落地案例

某 DevOps智能助手，可以通过自然语言对话回答常见运维问题和自动查询模型关联的跑数任务状态，工作流编排如下：

上图中，省略了开始组件，直接从意图识别开始。

在意图识别这里需要借助 LLM的能力识别用户想问什么，在这里最主要的是问模型管理的跑数任务状态，其次询问运维问题和通用业务问题。其中运维问题和业务问题都需要项目地提供对应的知识库作为支撑，否则大模型只会回答通用的内容，作用不大。

重点说一下问跑数任务分支：首先，从用户问题提取模型名称、日期批次和平台类型作为参数；其次，需要对模型名称进行校验，通过后继续；然后，根据平台类型调用需要的接口；最后，把查询结果作为提示词的一部分给 LLM，拿到答复后进行格式化输出。

3.编排组件

这里对工作流编排中常用的：LLM、问题分类器、知识检索和代码执行等组件进行介绍。

3.1 LLM

调用大语言模型回答问题或者对自然语言进行处理，需要设置模型、选择上下文、系统提示词和用户提示词等。

系统