在 Power Automate、Power Apps 和 Logic Apps 中使用认知服务和其他 AI 模型
1. Power Automate 与认知服务
Power Automate 可用于处理 Microsoft Graph、Azure 以及 Power Platform 及其 Dataverse 数据层的操作,包括与认知服务等 AI 服务协同工作。
- API 与连接器 :若服务有 API,可通过预构建连接器或自定义连接器在 Power Automate 中使用。部分基于 AI 的服务并非显而易见,如微软的 AI 翻译器以应用程序端点形式捆绑。若使用 Azure 机器学习模型构建器创建自定义模型,可将 API 定义转换为自定义连接器。
- 自定义连接器的优势 :在像 Power Automate 这样的低代码和无代码开发工具中使用自定义连接器,有助于控制使用情况,特别是结合 API 管理工具时。
- Power Automate 桌面工具 :微软提供免费的 Power Automate 桌面工具,可在本地 PC 上运行流,具备基本免费连接器和付费订阅计划,提供部分 Azure 认知服务 API,可作为云托管 Power Automate 流的触发器。
- 认知服务连接器 :Power Automate 提供一系列认知服务连接器,部分仍处于预览阶段。使用需认知服务账户密钥,且有使用限制。例如,计算机视觉连接器每次连接最多使用 1200 次,每 60 秒重置限制。各连接器提供与 Azure API 类似的服务,应将每个连接器视为单一功能应用。
- 模板简化开发 :微软提供一组模板,由微软或 Power Automate 社区开发,涵盖常见场景,可作为快速入门,用于实验服务并构建自己的应用。
-
当前可用的预配置连接器 :
- 计算机视觉
- 内容审核器(预览)
- 自定义视觉(预览)
- 人脸 API(预览)
- LUIS(预览)
- 翻译器 V2(预览)
- QnA Maker(预览)
- 表单识别器(预览)
- 文本分析(预览)
- 视频索引器(预览)
-
创建 AI 驱动的 Power Automate 流步骤 :
- 登录 Power Automate 并创建流,命名并选择初始触发器,如 OneDrive for Business 文件创建。
- 在 Power Automate 图形编辑器中,登录 OneDrive 并选择要监控的文件夹。
- 在“新步骤”对话框中搜索并添加计算机视觉连接器,在 Azure 账户中创建资源,复制认证密钥和端点 URL 以配置连接器。
- 选择“检测对象”,选择图像源和图像内容,关联上传图像的文件名。
- 添加最终连接器,发送包含识别对象和文件句柄的电子邮件。
- 使用流检查器确保流结构正确并进行测试。
以下是创建流的流程图:
graph LR
A[登录 Power Automate 创建流] --> B[选择触发器]
B --> C[选择 OneDrive 文件夹]
C --> D[添加计算机视觉连接器]
D --> E[创建 Azure 资源]
E --> F[复制密钥和 URL 配置连接器]
F --> G[选择检测对象]
G --> H[选择图像源和内容]
H --> I[添加发送邮件连接器]
I --> J[使用流检查器测试]
2. 自定义连接器
若找不到预构建连接器或想使用自定义 AI 模型,可使用自定义连接器调用 API(需 Power Apps 高级订阅)。Power Automate、Power Apps 和 Logic Apps 共享相同的自定义连接器模型。
-
创建自定义连接器步骤
:
- 打开自定义连接器向导。
- 导入 API 定义,检查生成的连接器。
- 添加认证细节,如使用 Azure 托管的 AI 服务,可能需要其 API 密钥。
- 审查连接器的整体设置,控制用户创建流时可见内容。
- 深入审查请求和响应部分。
- 完成后,使用 Power Apps 或 Power Automate 测试。
3. 在 Power Apps 中使用认知服务
若 AI Builder 中无所需 AI 服务,Power Apps 可集成认知服务,支持与 Power Automate 相同的连接器,但使用方式不同。
-
配置步骤
:
- 在 Azure 门户创建认知服务 API 账户,使 Power Apps 中的连接器可用。
- 在设计工具的数据部分搜索要使用的服务,添加账户密钥和端点 URL。若已在其他应用或流中配置,无需再次添加。
- 认知服务 API 连接器作为数据源,与其他数据源集成,平台自动处理数据转换。
- 构建 Power Apps :在在线工作室构建,支持拖放式控件布局,可附加公式和操作。有移动和桌面两种画布选项,可在 iOS 和 Android 应用中运行。
- 使用 Power Fx 语言 :处理认知服务需了解 Power Fx 语言,与 Excel 工具相关,结合 SQL 元素和 .NET 的 XAML GUI 环境元素,可使用 ClearCollect 函数简化数据处理。
- 结合 Power Apps 和 Power Automate :可将 Power App 作为 Power Automate 流的触发器和端点,实现无代码处理认知服务,构建用户友好的应用前端,还可解决 Power App 的一些限制。
以下是在 Power Apps 中使用认知服务的步骤列表:
1. 创建认知服务 API 账户
2. 搜索并添加连接器
3. 构建应用 UI
4. 添加应用逻辑
5. 使用集合处理数据
6. 结合 Power Automate 流
4. Logic Apps 与 AI
乍一看,Azure Logic Apps 和 Power Automate 很相似。与 Power Automate 一样,Logic Apps 是一个业务应用集成工具,旨在通过低代码可视化编程环境自动化常见工作流,连接不同应用程序的 API,甚至提供许多相同的连接器。但实际上,Logic Apps 更类似于微软最初的工作流集成工具 BizTalk,并且被设计为与 Azure 的无服务器函数以及其不断发展的基于消息的应用开发工具(如 Event Grid)协同工作。
-
消息编程模型的重要性 :基于消息的编程模型历史悠久,是任何分布式编程环境(如 Azure)中的关键元素。消息队列有助于管理连接,确保一致性并维持处理顺序。这使其成为构建应用程序工作流的理想模型,可将数据从一个连接器传递到另一个连接器,并在必要时修改消息内容,并且已成为微软 Azure IoT 工具中的重要组成部分。像 CloudEvents 标准和发布 - 订阅 Event Grid 这样的技术为管理消息和触发事件驱动的应用程序提供了框架。
-
Azure Logic Apps 的作用 :Azure Logic Apps 是这种方法的重要组成部分,提供了一种快速建立连接的方式,添加工作流和基本处理以响应事件,并触发其他应用程序中的操作。机器学习在这种情况下发挥着重要作用,可向复杂数据流添加智能过滤器或提高应用程序输入的质量。通过使用预测模型识别重要数据,Logic App 可以快速发出警报甚至触发补救措施。
-
Logic Apps 的认知服务连接器 :微软为 Logic Apps 提供了一系列认知服务连接器,基于与 Power Automate 类似的连接器模型。相关的 Logic Apps 连接器如下表所示:
| 连接器名称 | 状态 |
| — | — |
| 计算机视觉 | 可用 |
| 内容审核器 | 可用 |
| 自定义视觉 | 可用 |
| 人脸 API | 可用 |
| 表单识别器 | 可用 |
| LUIS | 可用 |
| 微软翻译器 V2 | 可用 |
| QnA Maker | 可用 |
| 文本分析 | 可用 |
| 视频索引器 V2 | 可用 |
这些预构建的连接器为构建基于机器学习的基本应用程序提供了一种快速方法,特别是在文本和计算机视觉方面。这些服务不需要实时操作,并且可以轻松用于基于流的应用程序。虽然它们没有涵盖所有可能的认知服务,但可以使用自定义连接器与其他服务的 REST API 以及使用 Azure 机器学习工具开发的自定义机器学习模型进行交互。
-
在 Azure Logic Apps 中使用认知服务的步骤
:
- 开始使用包含与所需认知服务 API 连接的资源组的订阅。
- 在同一资源组中创建新的 Logic App,这将打开 Logic Apps 设计器,这是一个基于 Web 的图形工具,用于选择和配置触发器和连接器。
- 选择一个连接器,引入要在 Logic App 中使用的数据,例如用于计算机视觉的上传文件、用于文本分析的带有 JSON 文档的 HTTP 连接,甚至是与另一个应用程序输出的连接。
- 选择流触发器,例如将文件上传到 Azure 存储博客或更新数据库中的记录。
- 构建 Logic App 流,添加基本流逻辑,然后添加所选认知服务的连接器。
- 配置连接器,使用服务订阅中的数据,首先添加名称,然后添加认知服务账户密钥和应用程序将使用的服务端点的 URL,这些信息可以在 Azure 门户中找到并复制到连接器配置中。
- 配置连接详细信息后,点击“创建”以构建认知服务连接器。
- 构建应用程序的其余部分,从服务输出添加新步骤。
以下是在 Logic Apps 中使用认知服务的流程图:
graph LR
A[选择订阅和资源组] --> B[创建 Logic App]
B --> C[打开设计器选择连接器]
C --> D[选择数据来源]
D --> E[选择流触发器]
E --> F[构建流逻辑]
F --> G[添加认知服务连接器]
G --> H[配置连接器]
H --> I[创建连接器]
I --> J[构建应用其余部分]
-
使用自定义机器学习模型 :如果在 Logic Apps 中使用自定义机器学习模型,需要创建一个 HTTP 连接器向服务发送查询。微软的工具使构建 REST 连接变得容易,使用 POST 方法向机器学习 API 端点发送查询。无需构建调用的 JSON,Logic App 连接器会使用 API 架构处理所有这些。可以从 Azure 机器学习工具中获取端点 URL 和任何所需的密钥。在将 API 添加到 Logic App 流之前,建议使用像 Postman 这样的 API 测试工具测试任何 API,使用测试结果确保发送正确的查询数据。自定义调用需要使用 Logic App 连接器解析返回的 JSON,使用已知架构设置流变量,这些变量可用于驱动应用程序的其余部分。解析后的数据可以写入数据库或用于构建消息,传递给其他应用程序或无服务器函数。
-
Logic Apps 的优势 :Logic Apps 是构建机器学习应用程序的低成本选择。每个操作和连接器的价格仅为几美分,企业许可的连接器比标准连接器成本更高。大多数基于 Azure 机器学习的连接器属于标准价格范围,因此如果构建相对简单的机器学习应用程序(例如作为呼叫中心工作流的一部分),每天的成本可能只需几美分。此外,Logic Apps 是一种无代码方法,与 Power Apps 和 Power Automate 一样,降低了构建机器学习应用程序的风险。结合低代码方法,只需最少的培训,就可以轻松填补应用程序组合中的空白,同时帮助内部团队在必要时构建自己的工具。
综上所述,Power Automate、Power Apps 和 Logic Apps 都为使用认知服务和其他 AI 模型提供了强大的功能和便捷的途径。无论是创建简单的自动化流程,还是构建复杂的机器学习应用程序,这些工具都能满足不同的需求,并且通过低代码或无代码的方式,降低了开发门槛,提高了开发效率。

225

被折叠的 条评论
为什么被折叠?



