VIT, LLM, VLM, VLA的区别

Vision Language Action（VLA）模型VLA模型是机器人领域的“感知-理解-执行”一体化框架，通过Transformer架构融合视觉、语言、动作模态，核心目标是让机器人在自然语言驱动下，自主完成复杂操控任务。其定义的核心在于“跨模态统一”与“具象化行动”——不仅能“看懂”“听懂”，更能“做出正确的动作”，是实现通用机器人智能的关键方向。提供通用序列建模骨架，让视觉、语言、动作能以“序列”形式统一处理；ViT将视觉输入转换为序列特征，提供“看”的能力；LLMs。

在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。

LLM只能说，VLM能看能说，VLA能看能说还能动手干活。本文从LLM工程师视角出发，帮你30分钟建立对VLA的完整认知：四类模型对比、传统Pipeline痛点、架构三大模块拆解、从RT-2到pi0.5的里程碑速览。动作token就是新的文本token，你的LLM经验可以直接迁移。

随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。

摘要：视觉语言动作模型(VLA)已成为自动驾驶和机器人领域的前沿AI技术，其通过融合视觉和语言信号实现场景理解与智能决策。VLA具有预训练高效、人机交互自然、端到端统一训练等优势，最早由Google RT-2项目提出。当前机器人领域已实现VLA双层专家系统架构，而汽车领域Wayve、理想、小鹏等企业正加速应用落地。文章详细解析了VLA的技术原理、发展历程及产业应用现状，指出VLA是Physical AI的核心实现路径，但强调先进技术需转化为良好用户体验。文末提供大模型学习资源获取方式。（149字）

24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。

在人工智能的发展历程中，通用人工智能（AGI）一直是研究者们追求的终极目标，AGI旨在构建一个能够像人类一样在多种领域和任务中表现出智能的系统。 2023年来，随着 AI 研究的不断进步，AGI的发展叙事逐渐清晰：从处理单一 模态信息的单模态模型，到融合多种模态信息的多模态模型，再到以多模态模型为底模、能够自主规划和执行任务的Agent，发展到能与现实世界深度交互的具身智能、能探索前沿科学的 AI for Science（AI4S），最终达到 AGI。

本文系统梳理了从LLM到具身智能的AGI发展路径。首先介绍了单模态LLM在文本处理上的优势，然后分析了多模态VLM如何融合视觉与语言理解能力。重点讨论了VLA模型通过增加"行动"模态，实现了AI与物理世界的交互能力。文章指出端到端训练是具身智能发展的关键方法，强调VLA模型集认知、感知和行动于一体，为AGI奠定基础。最后提供了AI大模型学习资源包的信息，包含从入门到进阶的全套学习资料。

也就是说：给它一张（或一段视频）+ 一句“把桌子上的红杯子放进水槽”，它直接吐出机器人关节/末端执行器的控制序列，而不是只回答一句“好的我知道”。

许多研究使用从机器人收集的大量轨迹数据集来训练策略这些工作主要集中在单一的embodiment上，而Octo则在跨多个体现组装的机器人数据集上训练策略，增加了训练数据集的有效规模，并允许对多种机器人设置进行微调最近，论文集中于扩展机器人策略的泛化能力。多项研究利用多样的非机器人数据或预训练的视觉-语言基础模型来提升策略对新场景和任务的泛化能力[86,103,96,16,38,11,84,36,4,37,7,3,46,15,23]

主要介绍了目前的VLA大模型

2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。

谷歌在 2023 年推出 RT-2，作为里程碑式的 VLA 模型，统一视觉、语言和动作标记，将机器人控制视为自回归序列预测任务，使用离散余弦变换（DCT）压缩和字节对编码（BPE）离散化动作，使新对象处理性能提高 63%。ORION 结合多种组件，实现视觉问答和轨迹规划。双系统架构：以 NVIDIA 的 Groot N1（2025）为例，结合快速扩散策略（系统 1，10ms 延迟用于低级控制）和基于 LLM 的规划器（系统 2，用于高级任务分解），实现战略规划和实时执行的高效协调，增强动态环境适应性。

VLA模型：迈向具身智能的关键一步 视觉-语言-动作（VLA）模型通过整合视觉感知、语言理解和物理动作，成为实现具身智能（Embodied AI）的核心技术。VLA模型基于多模态融合，结合预训练视觉表征（如CLIP、DINOv2）、动力学学习和世界模型，使机器人能够理解指令、感知环境并生成动作。其底层控制策略（如RT-1、DiffusionPolicy）和高层任务规划器（如PaLM-E、SayCan）协同工作，完成复杂长时程任务。尽管面临数据稀缺、安全性和泛化性等挑战，VLA模型仍展现出广阔应用前景，如家庭

本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。通过对各方案的开源项目和核心思想的介绍，对比了它们在模型架构、动作类型、训练目标等方面的特点，得出了相应的结论共识。同时，探讨了 VLA 面临的数据稀缺、运动规划、实时响应、多模态融合、泛化能力、长时域任务执行、基础模型、多智能体协作以及安全伦理等挑战，并展望了未来的发展方向。

VLA（Vision-Language-Action）模型的核心是构建视觉、语言、动作的多模态闭环系统，实现从感知到执行的端到端映射。

关于 VLA 的影响、好处和坏处。

如果说 VLM 是让机器拥有了聪明的“眼睛和大脑”，那么 VLA 就是为这台机器装上了反应敏捷的“小脑和四肢”。VLA 的核心使命，是将 VLM 产生的丰富世界理解，转化为在物理世界中精准、合理、安全的。扩散模型**等先进的生成技术，将抽象的理解转化为具体的、概率性的、多模态的动作序列。VLA 的出现，首先是一场思想上的革命，即从“模块化”转向“端到端”。VLA 的终极形态，将是在内部构建一个可以模拟物理世界的“沙盒”，即。现在，一张完整的图片就变成了一系列“视觉词汇”组成的“句子”。

在前面我们提到变长数组其实就是可以在方括号中使用变量表示数组的维度。所以声明就是把变量放进去呗。C99/C11允许在声明变长数组时使用const变量。所以改数组的定义必须时声明在块中的自动存储类别数组。