什么是ModelArts
魔坊(ModelArts)模型训推平台是华为云提供的面向开发者的一站式人工智能AI开发平台,致力于将AI技术转化为高效、易用的生产力工具。提供数据准备、算法开发、模型训练、部署上线、实时对比、资源管理的全生命周期工具链,旨在显著降低AI应用开发的技术门槛与时间成本,让开发者能更专注于业务创新本身。同时,ModelArts底层兼容多种异构计算资源,并提供多元化的资源调度能力,并全面支持MindSpore、TensorFlow、PyTorch、Ascend-vLLM、LLamaFactory、Verl等主流框架,使得开发者无需深究底层基础设施,即可灵活调用强大算力。
产品架构
ModelArts产品架构请参考图1。
- 算力层提供全系列昇腾硬件,万卡级大规模集群管理能力,提供资源负载调度管理能力,兼容业界主流AI开发调试、训练推理框架。
- AI平台层提供端到端的AI开发工具链,支持开发者一站式完成模型开发和上线,并提供高效的资源管理能力,支持自动化故障恢复,提升AI模型开发、训练、上线全流程效率。
- AI开发工具链层提供端到端的大模型开发工具链,支持主流优质开源大模型“开箱即用”,提供大模型开发套件,提升大模型开发效率并缩短开发周期。
产品优势
ModelArts服务具有以下产品优势。
智能易用的一站式数据准备工具
- 支持多源数据便捷连接,多类型/格式的数据通感导入,提升数据连接的易用性
- 通过大模型增强多模态数据标注和合成能力,建立反馈链路增强模型主动学习能力
- 高质量数据集提升行业大模型增训效果,沉淀行业增训配比经验
极简高可靠的模型训练
- 零代码/低代码开发:支持本地IDE+ModelArts插件远程开发能力,内置多种主流机器学习框架的镜像,线上线下协同开发,开发训练一体化架构,支持大模型分布式部署及推理
- 高效能训练优化:支持运行超大规模的分布式任务,内置多种开源框架,提供性能分析诊断、故障诊断等运维能力。提供稳定、灵活、高性能的机器学习训练环境
高性能模型部署与运维
- 通过PD弹性伸缩及超密部署,提高资源使用效率
- 提供多级流控、Token级快恢等可靠性能力,提升推理服务整体可用率
- 支持在线推理、批量推理、边缘推理多形态部署
高性价比算力资源
提供对类型高性价比的算力资源,支持按需计费、包年/包月等多种计费模式,实现资源调度、任务管理、查看资源利用率等功能,提升整体资源利用率
高效的开发调试工具
支持本地IDE+ModelArts 插件远程开发能力,内置了多种主流机器学习框架的镜像,线上线下协同开发,开发训练一体化架构,支持大模型分布式部署及推理。
开放的AI资产社区(AI Gallery)
集成了模型、算法、数据、案例等丰富资产。开发者可以学习、使用他人共享的资源,也可以将自己的成果发布到社区,促进知识共享与协作创新。
访问方式
ModelArts基于不同的产品形态提供了多种访问方式。
- 管理控制台方式
ModelArts支持通过管理控制台访问,包含数据连接、开发环境、模型训练、模型部署、模型评测等功能,您可以在管理控制台端到端完成AI开发。
- API方式
如果您需要将ModelArts集成到第三方系统,用于二次开发,请使用API方式访问ModelArts,具体操作和API详细描述,请参见《API参考》。
- 云原生方式
如果您使用的是轻量算力节点,您可以通过弹性公网IP直接访问云主机,详情请参见《ModelArts轻量算力节点用户指南》。
如果您使用的是轻量算力集群,您可以通过k8s原生接口操作集群,详情请参见《ModelArts轻量算力集群用户指南》。
