设计一个LLMops的端到端业务流程需要哪些存储技术

最新推荐文章于 2026-06-29 21:19:11 发布
原创 最新推荐文章于 2026-06-29 21:19:11 发布 · 1.1k 阅读 · 23
标签
#人工智能 #机器学习 #agi #深度学习
本文探讨了设计一个大模型端到端业务流程中所需的存储技术，涵盖了从数据处理、训练到推理的不同阶段。重点讲述了不同存储介质的作用，如SRAM、DRAM、NAND和Web存储，并分析了它们在训练过程中的应用，提出了一种分级存储系统的设计方案，以提高效率和降低成本。

  周五晚上老哥们儿hengzi给我打电话说有没有大模型相关的存储相关的设计，答：没有现成的，后来我甩过去一个TP,PP,DDP的文档。仔细想想也对，也不对。对的是，确实是存储，但是只有显存里的存储，不对的是其实他想问的是端到端的，主要还是磁盘上的存储

      然后我翻内网也没什么现成的，那没有我就自己写呗

Image

     其实简单可以把大模型的端到端分成以上3个部分吧，如果按这个group去划分，每个部分需要的存储类型或者说磁盘类型区别还是挺大的

     这里面存的东西又有啥区别呢？

     先说第一部分，其实主要是数据处理，比如数据清洗，去重，精选这些步骤

     第二部分就是训练了

     第三部分推理，满打满算把边角料Agent啥的也都算进来

     存储介质：

     上一个老图，图中我给拿红框给框起来的部分就是大模型会用到的存储介质，没框的就不会用到，大家也不用研究了

    

Image

        相关的介质我们从上到下捋一遍

最低0.47元/天 解锁文章
周博洋K
关注
多子品牌、多产品线实体区分，避免站内权重互相稀释
SEO_juper的博客
06-26 2795
2026 年谷歌 AI 实体检索、知识图谱体系下，多子品牌、多产品线站点天然存在权重稀释、实体模糊、关键词内耗三大运营隐患，很多站点盲目扩充产品与品牌页面，却忽略实体隔离底层优化，导致外链、内容投入无法转化为对应流量收益。整套实体区分、权重收拢体系逻辑分为四层递进动作：第一，搭建二级分层隔离 URL 架构，从页面存放路径切割不同业务实体；第二，配置差异化 Organization、ProductGroup 结构化数据，给谷歌提供机器可读的独立实体标识，搭配 LinkedIn 外部档案完成交叉核验；
15_项目实战一_用LangChain搭建个人知识库问答助手
最新发布
yang13739765227的博客
06-29 568
文档 -> 切分 -> 向量化 -> 向量库 -> 检索 -> 拼 Prompt -> 模型生成答案但真正做一个个人知识库问答助手时，你会发现问题不止这些。用户不是只放一个.txtPDF 论文。Word 需求文档。Markdown 技术笔记。会议纪要。项目说明。API 文档。个人学习资料。这篇文章讲了什么？根据我上传的所有资料，LangGraph 和 LangChain Agent 的区别是什么？支持多格式文档加载。自动切分长文档。为每个 chunk 保存来源信息。
详解AI-Agent中的MCP（Model Context Protocol），与function call的区别与联系
m0_60827485的博客
06-24 561
摘要： MCP（Model Context Protocol）与Function Call在工业级AI-Agent架构中存在本质差异。Function Call是模型调用工具的具体动作（如结构化指令执行），而MCP是管理工具调用与上下文的协议层，相当于AI Agent的“操作系统”。 核心区别： 抽象层级：Function Call关注单次工具调用（动作层），MCP管理多轮调度、状态、权限等（协议层）。 能力范围：MCP涵盖上下文治理、工具路由、记忆管理等，Function Call仅解决“调用哪个函数”。
【架构实战】基于 Docker 与异构计算的企业级 AI 视频管理平台：打破 GB28181/RTSP 协议壁垒，全源码交付的私有化部署方案
tt120326的博客
06-29 310
本文探讨了泛安防与边缘智能融合背景下传统视频监控系统的重构需求。作者作为资深安防架构师，指出当前行业面临协议异构、硬件适配难等核心痛点，提出通过容器化微服务架构和统一流媒体中台实现技术突破。重点介绍的企业级AI视频管理平台具有三大创新：1）支持多协议高并发接入的流媒体中台；2）异构计算三层解耦架构；3）全源码交付赋能二次开发。该方案可降低95%开发成本，提供从算法部署到数据标注的全栈能力，并开放演示环境供技术评估。文章为安防系统智能化转型提供了切实可行的架构参考。
企业级AI网关技术方案：统一大模型访问与治理平台的设计与实践
技术引领业务创新
06-26 1453
本文提出了一种企业级AI网关技术方案，旨在解决大模型在企业应用中面临的治理挑战。该平台采用三层架构设计：接入层支持多样化调用入口，网关层实现统一治理中枢功能，模型层连接多种模型资源。核心功能包括统一协议入口、精细权限控制、智能路由调度、容灾fallback机制、成本治理和全链路审计。平台通过虚拟Key管理实现组织隔离，基于语义路由和策略引擎实现多模型智能调度，同时提供预算护栏等风控措施。典型应用场景包括组织级流量统一治理和多源模型统一纳管
机器学习周报五十一
weixin_60864619的博客
06-28 291
本周阅读了论文Animatable 3D Gaussian，对LBS如何将高斯点映射到观测空间有了了解，形成对完整的高斯泼溅重建人体的流程的认识。3D gaussian Animate中的很多流程都比较复杂，但是其中的deformer模块还一直被继续使用到现在，已经对LBS蒙皮等操作的描述，让我了解到高斯泼溅重建人体的完整流程。
从“AI焦虑“到“AI从容“：欢娱影视“AI万象剧库“战略的技术伦理与产业路径解析
ruhilong的博客
06-29 360
2026年Q1微短剧市场分析：AI量产繁荣下的品质困境与技术伦理思考 核心数据： 行业AI短剧占比达95%，但播放量破亿作品仅占0.6% 真人短剧以2%的产量占比贡献25倍于AI剧的播放总量 欢娱影视推出"AI万象剧库"，坚持"真人实拍+AI辅助"模式 关键发现： 技术效率与内容品质出现结构性矛盾 AI在叙事原创性、审美体系、表演本真性方面存在明显局限 欢娱模式确立"4K实拍基底+AI视觉优化"技术边界 行业将分层为流量型AI剧、标准实拍剧和精品复
破局异构算力与多协议接入：基于 Docker 与 GB28181/RTSP 的边缘计算 AI 视频管理平台架构解析
m0_65443681的博客
06-25 1418
该平台针对行业痛点提出三大创新解决方案：1）异构算力解耦，通过容器化技术实现X86/ARM架构及GPU/NPU芯片的跨平台适配，硬件抽象层设计使算法迁移效率提升95%；2）多协议流媒体融合引擎，支持GB28181/RTSP等主流协议及H.265/4K视频解析，实现品牌设备统一接入；3）闭环AI生态，集成算法商城、数据标注、可视化大屏及全渠道告警系统，提供从标注到推理的完整工作流。平台采用微服务架构，支持源码交付和OEM定制，显著降低二次开发成本，适用于智慧城市、工业视觉等场景的私有化部署需求。
2026政策加码下的制造企业碳监测：边缘计算本地部署方案，打通碳交易数据底座
SaturnCloud的博客
06-26 1431
与此同时，工信部启动 2026 年度工业节能降碳诊断服务，聚焦钢铁、电解铝、炼油、化工等重点行业，将碳排放核算与节能改造深度绑定，叠加中央 20% 改造投资补助、差别化电价、碳排放量置换等激励政策，制造企业的碳管理已从合规需求延伸为碳资产经营需求。碳交易的核心是数据可信。碳排放核算涉及电、气、煤、蒸汽等多品类能源数据，叠加生产工况、烟气浓度、物料参数等多维信息，传统方案仅能采集单一维度数据，无法在本地完成数据清洗、校验与融合核算，数据上传云端后再处理，既占用带宽，也容易出现数据偏差。
物理AI赋能智能制造：从感知到决策的工业智能体架构
qq_32181623的博客
06-29 356
物理AI（Physical AI）正在重塑智能制造的底层逻辑——从在数字空间处理符号，到在物理世界中感知、推理和行动。本文从物理AI的四维能力模型出发，提出知识图谱增强的制造智能体架构：以知识图谱为语义底座，以神经符号AI为推理引擎，以数字孪生为交互桥梁，构建面向工业场景的感知-推理-决策闭环。结合工业5G专网、具身机器人量产等产业趋势，本文分析了该架构在预测性维护、工艺优化、质量管控等场景的应用路径，并探讨了从自动化到智能化的演进方向。
2025-TMM《Tensor-Based Late Fusion Incomplete Multiview Clustering》
Christo的博客
06-24 1498
2025年（收稿日期 2024-05-20；录用日期 2025-01-04；正式发表日期 2025-05-07；当前版本日期 2025-09-24）：Xiaoxing Guo, Ming Yang, Gui-Fu Lu（通讯作者：Gui-Fu Lu）：安徽工程大学计算机与信息学院；哈尔滨工程大学数学科学学院。
#RAG系统混合检索
2602_95606446的博客
06-26 1212
*踩坑提醒**：script_score方式会对全库做cosine计算，数据量大了之后单次查询可能超过30秒。**方案一：批处理。** 单次推理改成batch推理，30对一起过，延迟从1.2秒降到0.4秒。** 30个候选减少到20个，rerank延迟降到0.25秒。m=16，ef_construction=100是平衡召回率和索引速度的参数，实测这个配置下索引速度约800条/秒，召回率比flat检索下降不到1%。faiss本地索引每天凌晨从ES同步一次，查询延迟约100ms，召回率约0.75，能用。
最新量化工具怎么选，先看自己的能力短板
2601_95631988的博客
06-25 1233
读者应理解，工具选择不是越复杂越好，而是要贴合当前能力和任务阶段；同时，回测、模拟和实盘验证的问题不同，工具也应服务于这些不同判断。
关于高维数据下的最近邻搜索算法性能分析的技术7
平头的博客
06-24 1085
格式说明：
2024-TIP《Spectral Embedding Fusion for Incomplete Multiview Clustering》
Christo的博客
06-24 1148
2024年（Manuscript received 24 October 2022；：Jie Chen, Yingke Chen, Zhu Wang, Haixian Zhang, Xi Peng（四川大学计算机学院；英国 Northumbria University 计算机与信息科学系；四川大学法学院）
基于 Node.js + 大模型的 AI 客服系统
Eucalyptus's blog
06-29 207
本文介绍了如何为博客部署AI智能助手，解决内容查找难、互动少的痛点。该助手具备四项核心功能：智能对话、文章搜索推荐、FAQ自动匹配和多模型切换（支持文本/图像生成）。技术实现上采用Node.js+Express框架，通过直接解析Hexo源文件实现文章索引，使用JSON格式存储FAQ优先匹配常见问题以降低API成本。系统包含IP级限流保护，前端深度集成Hexo主题。部署方式支持pm2进程管理，平均响应时间500ms~2秒。项目将静态博客升级为交互平台，作者在Node.js服务开发和大模型应用方面获得实践经验。
显存爆炸解决方法之梯度累积：是什么、为什么、怎么做？从数学原理到代码落地的全流程指南
qq_62634342的博客
06-23 718
显存爆炸（OOM）是深度学习训练中的高频痛点，而梯度累积（Gradient Accumulation）作为最核心的显存优化手段之一，却常被误用或理解不深。本文按照“是什么-为什么-怎么做”的结构化逻辑，系统梳理梯度累积技术的完整知识体系：从数学本质出发，推导reduction='sum'/'mean'对梯度的影响及Loss缩放的必要性；深入剖析PyTorch标准实现范式、BatchNorm层在累积步数下的行为陷阱，以及TensorFlow/PyTorch混合训练中Loss对齐的工程细节；最后结合大模型训练场
Loop Engineering ：从提示词工程到循环工程，AI 编程的范式革命
2401_87662859的博客
06-24 607
摘要：2026年6月，AI编程领域迎来范式革命——LoopEngineering（循环工程），由ClaudeCode之父Boris Cherny等人提出。该理念主张从"提示词编写"转向"循环设计"，将AI编程分为六大组件：自动化触发、工作树隔离、技能沉淀、连接器集成、子Agent协作和外部记忆层。文章详细阐述了完整循环的工作流程、14步构建路线图，并警示三大陷阱：验证债务、理解债务和认知投降。LoopEngineering不是否定提示词，而是将人的角色升级为AI系统架
当AI接管618，真人直播成为最硬的骨头？
2401_84038765的博客
06-23 182
如果说过去直播电商是靠着“全网最低价”来吸引观众们，那么近年来，很多头部主播都在围绕“综艺化”和“陪伴化”来聚拢流量，比如东方甄选们的双语带货，比如老罗的脱口秀式直播，又比如遥望科技的明星聊天带货……所以接下来，李佳琦、遥望科技们可能就需要化被动为主动了，将真人直播的不可替代性，转化为可被量化的商业叙事，将“人”的价值从成本项重新定义为核心资产，从而开启下一个增长十年……：也许AI数字人可以把效率推向极致，但直播电商的底色从来不是效率，而是人与人的相逢、话语与话语的交织、信任与信任的传递。
向量嵌入检索（Vector Embedding Search）vs 传统关键词搜索引擎（倒排索引 / BM25）核心区别
tongbowen_123的博客
06-28 256
传统搜索是找 “字长得一样” 的内容，靠关键词字面匹配；向量 Embedding 搜索是找 “意思相近” 的内容，靠 AI 把内容翻译成数字向量、计算语义远近。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值