引言

视觉-语言-动作（Vision-Language-Action, VLA）模型代表了机器人技术的范式转变，将视觉感知、自然语言理解和动作控制统一在单一的端到端学习框架中。VLA模型使机器人能够直接从自然语言指令和视觉观察中学习操作策略，无需显式的中间表示或分离的感知-规划-控制模块。

自2023年Google DeepMind推出RT-2以来，VLA模型在机器人操作任务中展现出强大的泛化能力和零样本学习潜力。这一技术路线继承了大规模视觉-语言模型（VLM）在跨模态理解方面的优势，并将其扩展到具身智能领域，使机器人能够像理解图像和文本一样”理解”物理世界中的交互任务。

VLA模型在服务机器人、工业自动化、智能制造等领域有着广泛的应用前景。本文旨在系统梳理VLA领域的研究进展，为学习和研究VLA提供全面参考。

1. VLA核心技术体系

1.1 什么是VLA？

VLA（Vision-Language-Action）模型是一类端到端的多模态学习模型，能够直接从视觉输入（相机图像）和语言指令中预测机器人的控制动作。与传统的模块化机器人系统不同，VLA将感知、推理和控制统一在单一的神经网络架构中。

VLA的核心特征

1. 端到端学习：直接从原始传感器数据到低层控制信号的映射，无需手工设计的中间表示。

2. 多模态融合：统一处理视觉、语言和动作三种模态，实现跨模态的语义对齐。

3. 指令驱动：通过自然语言指令指定任务目标，支持灵活的任务切换和零样本泛化。

4. 大规模预训练：继承视觉-语言模型的预训练知识，并在机器人演示数据上微调。

VLA的发展里程碑：两年三次范式跃迁

VLA研究时间线：从模块化到端到端统一模型，再到强化学习的自我进化（2022-2026）

flowchart LR
    subgraph G2022 ["范式一：从闭眼规划到VLA"]
        A["SayCan: LLM规划"] --> B["RT-1/RT-2: 端到端VLA"]
    end
    
    B --> C
    
    subgraph G2023 ["范式二：Action Chunking & Diffusion"]
        C["ACT: 解决累积误差"] --> D["ALOHA: 硬件普及"]
        D --> E["Diffusion Policy: 多模态分布"]
    end
    
    E --> F
    
    subgraph G2024 ["范式三：Flow Matching & RL复兴"]
        F["OpenVLA: 开源标杆"] --> G["π₀: 50Hz实时控制"]
        G --> H["π*₀.₆: RECAP强化学习"]
    end

    style B fill:#f96,stroke:#333,stroke-width:2px
    style E fill:#69f,stroke:#333,stroke-width:2px
    style H fill:#f96,stroke:#333,stroke-width:2px

具身智能在短短两年内经历了三次核心的”范式跃迁”：

• 第一次跃迁（2022-2023初）——从语言规划到VLA：早期如SayCan虽然能让LLM进行任务分解，但它是”闭着眼睛”做规划。直到RT-1、RT-2的出现，将视觉、语言和动作Token统一，第一次证明了VLM可以直接生成动作，实现了端到端的感知-控制。
• 第二次跃迁（2023）——Action Chunking与Diffusion Policy：传统的单步动作预测容易产生累积误差（Compounding Error）。ACT（Action Chunking with Transformers）提出一次性预测一段动作序列（Chunk），解决了误差累积问题。结合成本不到2万美元的ALOHA开源双臂硬件，直接引爆了学界的具身研究。随后，Diffusion Policy用扩散模型替代了传统的CVAE，彻底解决了模型在面对多种合理运动路径时容易”取平均”导致失败的问题，天然且优雅地建模了动作的多模态分布。
• 第三次跃迁（2024-2025）——Flow Matching与RL重返舞台：π₀将Diffusion Policy的弯曲去噪路径拉直（Flow Matching），推理速度提升5-7倍，实现了50Hz的高频连续控制（能玩扑克、折衣服）。更关键的是，π*₀.₆提出了RECAP（优势条件化）方法，巧妙绕过了Flow Matching难以计算对数概率的限制，让强化学习（RL）重新与VLA深度融合。这意味着机器人不再是出厂即定型的静态工具，而是能够通过真实部署收集数据实现”越用越好”的学习型智能体，真正转动了数据飞轮（Data Flywheel）。

1.2 VLA系统架构

一个完整的VLA系统包含三个核心组成部分：

flowchart TD
    In["视觉观察 + 语言指令"] --> VE["1. 视觉编码器<br/>Vision Encoder"]
    In --> LAB["2. 语言-行动骨干网络<br/>Language-Action Backbone"]
    VE --> LAB
    LAB --> AD["3. 动作解码器<br/>Action Decoder"]
    AD --> Out["机器人控制动作"]
    
    style VE fill:#f9f,stroke:#333
    style LAB fill:#bbf,stroke:#333
    style AD fill:#dfd,stroke:#333

1. 视觉编码器（Vision Encoder）：从单眼到多眼

功能：从相机图像中提取视觉特征表示。

主流架构演进：

• 单编码器（早期/RT-2）：使用单一 ViT 或 PaLI-X 处理所有信息，效率相对较低。
• 双编码器（OpenVLA 模式）：
  • DINOv2：负责提取几何与空间特征（理解”在哪里”）。
  • SigLIP：负责提取语义与常识特征（理解”是什么”）。
• 多视角融合：通过融合侧方、腕部等多摄像头输入，解决遮挡与深度感知问题。

2. 语言-行动骨干网络（Language-Action Backbone）：System 1 与 System 2 的融合

功能：作为”大脑”层，负责指令理解、推理与动作规划。

flowchart LR
  %% 高层规划路径
  subgraph S2 ["System 2 (慢思考/脑): 高层规划器"]
    User[用户指令: 帮我洗杯子] --> VLM[预训练 VLM]
    Obs[多视角视觉观察] --> VLM
    VLM --> TaskDecomp[任务分解: 1.移动 2.抓取 3.清洗]
    TaskDecomp --> SubGoal[子目标生成: 3D 姿态/语义点]
  end

  %% 动作执行路径
  subgraph S1 ["System 1 (快思考/小脑): 动作专家"]
    Bridge[低频指令 ~5Hz] --> Controller[Flow Matching/Diffusion]
    Controller --> Motor[电机电流/扭矩控制]
    Motor --> Feedback[实时触觉/位姿反馈]
    Feedback --> Controller
    Motor --> Act[物理动作执行]
  end

  SubGoal --> Bridge
  Feedback --> VLM

  style S2 fill:#e1f5fe,stroke:#01579b
  style S1 fill:#fff3e0,stroke:#e65100

主流架构：

• Transformer-based LLM：如 Qwen3-VL、Llama-2/3、Phi-3 等。
• 双系统架构（NVIDIA GR00T 范式）：
  • System 2 (慢思考)：基于视觉语言模型负责理解环境、解读指令并作出长时序规划（~5Hz）。
  • System 1 (快思考)：基于扩散 Transformer (DiT) 或流匹配负责高频、精细的反射性动作（~50Hz）。

3. 动作解码器（Action Decoder）：从语言 Token 到高频连续轨迹

功能：将模型的高层决策转化为具体的机器人控制信号。

graph LR
    subgraph "第一代: 离散 Token (2022-2023)"
    T1[动作离散化 bins] --> T2[语言模型自回归生成]
    T2 --> T3[执行频率: 1-5Hz]
    end
    
    subgraph "第二代: 扩散模型 (2023-2024)"
    D1[高斯噪声] --> D2[迭代去噪 Diffusion]
    D2 --> D3[多模态分布建模]
    D3 --> D4[执行频率: 10-20Hz]
    end
    
    subgraph "第三代: 流匹配 Flow Matching (2024-2026)"
    F1[概率路径学习] --> F2[直接生成连续轨迹]
    F2 --> F3[极精细控制: 折纸/扑克]
    F3 --> F4[执行频率: 50Hz+]
    end
    
    T3 -.-> D1
    D4 -.-> F1

主流范式比较：

• 离散动作建模（RT-2/OpenVLA）：将动作视为语言 Token 预测。优点是架构统一，缺点是难以生成连续流畅的高频动作。
• 连续动作建模（Diffusion Policy）：使用扩散过程建模动作分布，能捕获多模态动作可能性，在精细操作中表现更优。
• 流匹配（Flow Matching, π₀）：直接生成连续的关节轨迹，支持 50Hz 高频控制。这是实现”折纸、玩扑克牌”等极高精度任务的关键。

架构分类：端到端 vs 层级

VLA模型可以从架构层面分为两大类：端到端统一模型和层级架构模型。这种分类反映了不同的设计哲学和应用场景。

End-to-End架构 vs Hierarchical架构对比：

flowchart LR
    %% 端到端路径
    subgraph E2E ["端到端范式"]
        In1["视觉+文本"] --> Model1["单一VLA模型"] --> Act1["底层控制动作"]
    end

    %% 层级路径
    subgraph Hier ["层级范式"]
        In2["复杂指令"] --> VLM["高层规划器/VLM"]
        VLM -- "语言子任务" --> VLA["低层执行器/VLA"]
        Obs["视觉观察"] --> VLM
        Obs --> VLA
        VLA --> Act2["高频动作流"]
    end

    style E2E fill:#fff4dd,stroke:#d4a017
    style Hier fill:#e1f5fe,stroke:#01579b

End-to-End Architecture 代表模型：

Hierarchical Architecture 代表模型：

最新研究表明，纯端到端和纯层级架构各有优劣，混合方法成为新趋势：ACoT-VLA在动作层面进行显式推理，保持统一架构（详见第5.13节）。

1.3 VLA与传统机器人控制的区别

VLA代表了机器人控制范式的根本性转变：

flowchart TD
    subgraph Trad ["传统机器人控制: 模块化"]
        T1["感知/检测"] --> T2["规划/路径"] --> T3["控制/PID"]
    end
    
    subgraph VLA_Sys ["VLA: 端到端统一"]
        V1["视觉+文本"] --> V2(("单一神经网络模型")) --> V3["动作输出"]
    end
    
    style V2 fill:#f96,stroke:#333,stroke-width:2px

从模块化到端到端

传统方法：

• 感知模块：物体检测、位姿估计
• 规划模块：轨迹规划、路径优化
• 控制模块：PID控制、力控制
• 各模块独立设计和优化

VLA方法：

• 单一神经网络直接从像素到控制信号
• 联合优化所有组件
• 减少了模块间的信息损失

从任务特定到通用能力

传统方法：为每个任务设计专门的控制策略，难以泛化到新任务和新环境，需要大量的工程调试。

VLA方法：通过自然语言指令指定任务，零样本或少样本泛化到新任务，利用预训练知识处理未见场景。

从显式建模到隐式学习

传统方法：需要精确的环境模型和物体模型，依赖手工设计的特征和规则，对模型误差敏感。

VLA方法：从数据中隐式学习环境动力学，自动发现任务相关的特征，对感知噪声和模型不确定性更鲁棒。

从工程驱动到数据驱动

传统方法：依赖专家知识和人工调参，开发周期长，部署成本高，难以处理长尾场景。

VLA方法：基于大规模演示数据学习，通过数据增强提升泛化能力，持续学习和在线适应。

1.4 VLA任务分类

VLA模型可以应用于多种类型的机器人任务，以下从四个维度进行分类：

mindmap
  root((VLA任务分类))
    按复杂度
      单步操作
      多步骤操作
      长时程任务
    按交互对象
      刚体操作
      可变形物体
      流体操作
      工具使用
    按控制模式
      位置控制
      速度控制
      力/阻抗控制
    按环境类型
      桌面操作
      厨房环境
      移动操作

1.5 主流VLA模型横向对比汇总

为了直观展示各阶段代表性 VLA 模型的差异，下表汇总了其核心架构与技术指标：

1.6 架构演进与发展趋势

架构演进时间线（2022-2026）

从整体发展脉络来看，VLA研究经历了从模块化系统到端到端模型，再到端到端与层级混合的重要转变。

当前前沿方向：走向通用具身智能（2025-2026）

最新研究趋势表明，VLA正从单一操作任务向通用具身智能体演进，研究重点包括：

• 基于推理的VLA（Reasoning VLA）
• 多任务、多机器人的统一VLA
• VLA与世界模型的结合
• 从模仿学习到强化学习与测试时自适应（TTT）的转变

基于世界模型的VLA：世界模型被认为是机器人学习的”System 2”。如果VLA是”看到就做”的条件反射（System 1），世界模型则允许机器人在脑海中”想象”行动后果后再执行。近期，世界模型正逐渐成为合成数据的终极生成器，转动了VLA的”数据飞轮”：

• UniSim：首次证明可以将3D仿真、真实机器人数据和互联网视频混合训练出统一的世界模拟器
• NVIDIA Cosmos：为具身智能专门设计，能生成符合物理规律的视频轨迹
• GIGA-star：利用世界模型生成的合成数据训练VLA，效果提升可达30%

中国力量：中国在具身智能领域的参与正在从”跟跑”转向”参与定义规则”。

mindmap
    root((中国具身智能生态))
        巨头派
            小米: Xiaomi-Robotics-0 / MoT架构
            蚂蚁集团: LingBot-VLA / 跨形态泛化
            阿里巴巴: 达摩院 VLA 预训练
            智谱 AI: ZR-0 / 密集 ECoT 跨本体对齐
        创业精英派
            智元机器人: Agibot GO-1 / 真机部署
            自变量机器人: 空间推理 / 灵巧操作
            星海图: G0 Plus / 真实数据集开源
            星动纪元: ERA-42 / 人形机器人控制
        学术开源派
            清华 AIR: X-VLA / 软提示技术
            上海 AI Lab: InternVLA / InternData / 标准化评测
            中国人民大学: ZR-0 / ProcCorpus-60M 数据集
            华东师大 / 上交: S²-VLA / 状态空间长程操控

1.7 VLA开源生态

开源 VLA 的崛起并非单一模型的功劳，而是 模型 + 数据 + 工具 + 硬件 三层生态形成的”组合拳”效应，使其能够与谷歌、特斯拉等闭源巨头抗衡。

graph TD
    Data[OXE 数据集: 跨具身/多场景数据] --> Software[LeRobot: 标准化训练/部署工具]
    Sim[Genesis: 极速物理仿真/合成数据] --> Software
    Software --> Hardware[SO-100/Reachy Mini: $100-$250 低成本硬件]
    Hardware --> Data
    
    subgraph "开源生态闭环"
    Data
    Software
    Sim
    Hardware
    end
    
    subgraph "模型层"
    OpenVLA[OpenVLA: 最强开源标杆]
    Pi0[π₀: 高频精细控制]
    XVLA[X-VLA: 跨具身软提示]
    end
    
    Software -.-> OpenVLA
    Software -.-> Pi0
    Software -.-> XVLA

1. 数据层：Open X-Embodiment (OXE)

OXE 是开源阵营最宝贵的资源，它打破了实验室之间的数据孤岛：

• 跨平台多样性：整合 22 种机器人形态，涵盖厨房、实验室、办公室等数百种场景。
• 涌现能力：实验证明，即使模型规模不是最大，只要数据够多样（如引入 OXE），模型也能涌现出原有的空间推理能力（如理解 “on” 和 “near” 的空间语义差异）。
• 标准化贡献：定义了统一的 RLDS 数据格式，解决了不同实验室数据格式不一的痛点。

2. 工具层：LeRobot 与 Genesis

• LeRobot (Hugging Face)：由前特斯拉工程师 Remi Cadene 打造，统一了数据格式并一键集成多种策略模型，打通了从采集、训练到部署的全流程。
• Genesis (CMU)：极速仿真工具，在一张 RTX 4090 上可实现每秒 4300 万帧的模拟速度（实时速度的 43 万倍），将”百万美元级别”的训练门槛降至数百美元。
• 生成式仿真谱系：RoboGen → Genesis → Gene 26.5：Genesis 的工程实现最初源自 RoboGen (ICML 2024) 项目（CMU、清华、MIT、UMass 联合）——RoboGen 论文中 Section 3.4 的脚注即明确写道 “Genesis is still under development … We build our system on top of an internal version”。该谱系于 2026 年 5 月由 Genesis AI 公司延伸为商业级基础模型 Gene 26.5：在自研 Genesis World 仿真器与 20w+ 小时多模态数据上训练单一 Flow Matching 模型，可完成 4 分钟级长程烹饪、毫米级移液、双臂魔方还原等任务，新任务仅需 20–30 分钟微调数据。这条主线印证了 RoboGen 提出的 “propose-generate-learn” 生成式仿真范式正从学术原型走向真实通用操作。

3. 硬件层：低成本与标准化

• Hugging Face 生态：推出了 $100 的 SO-100 机械臂和 $250 的 Reachy Mini，极大降低了具身智能研究的门槛。
• 通用软件层：如 OpenMind 平台，致力于构建跨厂商兼容的软件层，打破机器人系统的封闭性。

开源生态的三条核心启示

根据 2025-2026 年机器人行业的开源博弈，总结出以下三条核心技术与商业启示：

1. 数据多样性重于单一规模：实验（如 RT-2-X）证明，轨迹的多样性（Diversity）比纯粹的数据量更关键。引入 OXE 这种跨平台、跨场景的多样化数据，能让模型涌现出理解”空间语义（如 on vs near）”的能力，而单一机器人的海量重复数据则难以实现这种跨越。

2. 模型、数据、工具的”生态联动”：开源阵营之所以能挑战谷歌、特斯拉，靠的是 OXE (数据) + LeRobot (工具链) + Genesis (极速仿真) + $100 硬件 (SO-100) 形成的闭环。这种”组合拳”将具身智能的研究门槛从百万美元降低到了数百美元，让全球研究者能共同参与测试与改进。

3. 开源与闭源的模糊边界：RT-2-X 虽然是谷歌的闭源模型，但其训练依赖了 OXE 开源数据集；英伟达的 GR00T 介于开源与闭源之间（代码开放但深度绑定芯片生态）。这说明未来的博弈不在于单纯的代码是否公开，而在于谁能定义机器人行业的基础设施标准。

1.8 具身智能学习与入门路线

对于想要进入具身智能（特别是操作策略方向）的研究者或开发者，结合当前的开源生态，推荐以下四步递进式的学习路线：

第一步：动手实践（建立直觉）

• 不要上来就看论文，先花数百美元买一个低成本开源机械臂（如 SO-100 或类 ALOHA 单臂）。
• 运行经典算法：用几周时间跑通 ACT（Action Chunking）和 Diffusion Policy 的 Pipeline。不需要一开始就死磕数学原理，先建立起对”遥操作（Teleoperation）”、”数据采集”、”策略训练”和”真机部署推理”的物理体感。

第二步：跑通轻量级VLA（理解链路）

• 尝试小参数模型：例如基于 Hugging Face 的 SmolVLA（450M参数），它能在单张消费级GPU上轻松运行。
• 理解数据流：通过这个步骤理解”视觉 + 语言指令 -> 神经网络 -> 连续动作序列输出”的完整端到端链路是如何打通的。

第三步：体验SOTA模型（微调前沿基座）

• 微调 π₀ (Open Pi)：基于 Physical Intelligence 开源的完整训练管线，收集 1-2 小时的特定任务数据，对 π₀ 进行微调。
• 这一步将让你对当前基于 Flow Matching 的 50Hz 高频精细控制能力有一个最前沿的直观认知。

第四步：真机项目落地（跨越Sim-to-Real）

• 必须走向真实物理世界。在仿真（Simulation）中达到100%成功率并不代表模型具有强鲁棒性，因为仿真环境往往缺乏真实的传感器噪声、光照变化和物理机械的间隙误差。
• 在真机上能稳定达到 60% 以上的成功率，才是跨越了真正的工程瓶颈。

2. VLA核心挑战

本章采用挑战驱动分类法（Challenge-Centric Taxonomy），围绕VLA研究的五大核心瓶颈进行组织，而非传统的架构或任务分类。这种分类方式更好地反映了当前VLA领域亟需突破的关键问题。

VLA研究的五大核心挑战体系：

flowchart TD
    Root(("VLA 核心挑战体系")) --> C1["1. 表示 Representation"]
    Root --> C2["2. 执行 Execution"]
    Root --> C3["3. 泛化 Generalization"]
    Root --> C4["4. 安全 Safety"]
    Root --> C5["5. 数据 Data"]

    C1 --> C1a["3D空间表示"]
    C1 --> C1b["动态世界模型"]
    
    C2 --> C2a["任务分解规划"]
    C2 --> C2b["实时性优化"]
    
    C3 --> C3a["Sim-to-Real 迁移"]
    C3 --> C3b["持续技能获取"]
    
    C4 --> C4a["可解释性 CoT"]
    C4 --> C4b["人机协作交互"]
    
    C5 --> C5a["多源数据整合"]
    C5 --> C5b["标准化评测基准"]

这五大挑战形成了VLA系统的完整开发路径：

💡 核心链路概览：

1. 表示 (Representation)：建立多模态感知与物理世界的连接（2D → 3D/4D）
2. 执行 (Execution)：实现指令理解、分层规划与 30Hz+ 实时控制
3. 泛化 (Generalization)：从仿真迁移（Sim-to-Real）到开放世界持续进化
4. 安全 (Safety)：确保动作的可解释性（CoT）与人类交互的可靠性
5. 数据 (Data)：构建多源异构数据集（OXE）与标准化的评测基准（VLABench）

2.1 多模态对齐与物理世界建模

核心问题：弥合语义感知与物理交互之间的鸿沟，实现从2D图像到时空表示的跨越，并发展动态预测世界模型。

多模态对齐与物理世界建模的三层架构：

1. 基础对齐层：语义到物理的接地（Vision-Language-Action对齐）
2. 时空表示层：从2D图像到3D空间表示
3. 动态预测层：世界模型与物理动力学建模

flowchart TB
    L1["第一层：基础对齐层<br/>语义接地（OTTER、LIV、CLIP-RT）"]
    L2["第二层：时空表示层<br/>2D→3D 空间表示（PointVLA、OccLLaMA）"]
    L3["第三层：动态预测层<br/>世界模型与物理动力学（TriVLA、DreamVLA）"]
    L1 --> L2 --> L3
    style L1 fill:#ffe0b2,stroke:#e65100
    style L2 fill:#e1f5fe,stroke:#0277bd
    style L3 fill:#e8f5e9,stroke:#2e7d32

VLA模型需要将视觉-语言模型的语义理解能力转化为对物理世界的准确建模，这涉及三个层次的挑战：

2.1.1 语义到物理的接地（Semantic-to-Physical Grounding）

问题描述：如何将抽象的语言描述（如”红色的杯子”）映射到物理世界中的具体对象和可执行动作。

（1）Vision-Language Gap（视觉-语言鸿沟）

• 问题：RGB的高维感知空间与抽象符号语言之间的语义鸿沟
• 解决方案：
  • OTTER：文本感知的特征提取机制
  • LIV：针对机器人控制数据的对比学习框架
  • 符号推理方式：ACT-LLM, Look Leap等利用LLM进行高层符号推理

（2）Vision-Language-Action Gap（视觉-语言-动作三元鸿沟）

• 问题：VLM的感知对齐能力如何转化为实际的物理动作执行
• 解决方案：
  • 端到端微调：RT-2, OpenVLA通过动作token化实现VLM到VLA的转化
  • 共享中间表示：CLIP-RT, Humanoid-VLA在动作和感知间建立共享语义空间
  • 层级架构：引入显式规划层作为语义-动作的桥梁
  • VoxPoser：LLM推理生成3D Affordance Map作为中间表示

（3）多模态感觉融合（Sensory Fusion）

• 问题：如何整合触觉、力传感、音频等额外模态
• 解决方案：
  • 专业编码器 + 对比学习：TLA, OmniVTLA对齐多感觉模态
  • 融合策略：深融合（Tactile-VLA）vs 模块化MoE融合（ForceVLA）
  • 生成式方案：MultiGen在模拟器中生成多模态数据

代表性工作：

• CLAP：对齐视频视觉潜在空间与机器人动作空间
• Point-VLA：通过显式视觉提示（边界框）解决指代模糊
• VoxPoser：生成3D可供性图作为强中间表示
• Tactile-VLA/ForceVLA：整合触觉和力传感的多模态VLA

2.1.2 2D到3D的空间表示（2D-to-3D Spatial Representations）

问题描述：从2D图像输入推断3D空间结构，理解深度、遮挡和空间关系。

空间表示层次：

• 2.5D深度地图：Depth Helps, RoboFlamingo-Plus利用深度信息增强空间感知
• 点云表示：PointVLA, GeoVLA, FP3直接操作3D点云进行操作规划
• 体素/占据栅格：OccLLaMA, RoboMM使用体素化占据表示学习场景结构
• 4D表示（新方向）：ARM4R预测3D点的时序运动轨迹，实现动态空间建模

代表性工作：

• OccLLaMA：基于占据网络的3D场景理解，学习体素化空间表示
• TraceVLA：3D轨迹追踪与预测，理解物体运动
• PointVLA/GeoVLA：直接在3D点云上进行操作推理
• ARM4R：预测3D点的运动轨迹，实现4D时空建模

2.1.3 动态世界建模（Dynamic World Modeling）

问题描述：预测物体交互的动态变化，理解物理规律和因果关系。

表示空间选择：

• 观察空间预测（高保真）：TriVLA, UP-VLA预测未来视觉观察；CoT-VLA, DreamVLA生成视觉子目标
• 潜在空间预测（高效）：VLM-in-the-Loop在压缩潜在空间进行快速预测；MinD轻量级潜在动力学模型

代表性工作：

• TriVLA：三角形架构融合过去-现在-未来的视觉表示
• VideoVLA：视频条件的世界模型，预测动作后果
• LUMOS：显式世界模型进行长时程规划
• DreamVLA：在”梦境”中模拟和优化动作序列

未来方向：

• 混合潜在-物理-语义世界模型：整合3D几何、物理动力学和语义属性
• 因果世界模型：显式建模动作-结果的因果关系
• 可学习物理先验：在神经网络中编码物理定律（守恒律、碰撞等）

2.2 指令跟随、规划与鲁棒实时执行

核心问题：解析复杂指令，进行分层任务分解，实现错误检测与自主恢复，并保证实时计算效率。

指令跟随、规划与实时执行的完整流程：

指令理解 → 任务分解与规划 → 动作执行 → 错误检测与恢复 → 实时性优化

flowchart LR
    A["指令理解"] --> B["任务分解与规划"] --> C["动作执行"] --> D["错误检测与恢复"] --> E["实时性优化"]
    D -->|重规划| B
    style A fill:#f3e5f5,stroke:#7b1fa2
    style C fill:#e8f5e9,stroke:#2e7d32
    style D fill:#ffebee,stroke:#c62828
    style E fill:#e3f2fd,stroke:#1565c0

2.2.1 复杂指令解析与理解

问题描述：理解多样化、组合式的自然语言指令，处理模糊性和不完整性。

开放式多模态指令：

• 混合文本+图像+草图：OE-VLA处理开放式混合模态指令；Interleave-VLA交错处理图像和文本序列

模糊和欠指定指令：

• 场景解析与验证：ThinkAct场景分析和反馈验证机制；DeepThinkVLA因果CoT推理和结果驱动RL
• 空间推理：InSpire显式空间推理提示，理解”左边”、”上面”等相对位置
• 主动澄清：AskToAct模糊识别模块+主动请求用户澄清

代表性工作：

• ThinkAct：思考-行动架构，在执行前进行推理验证
• InSpire：空间推理增强的指令理解
• AskToAct：主动询问机制，处理模糊指令

2.2.2 分层任务分解与规划

问题描述：将长时序复杂任务分解为可执行的子任务序列，并进行高层规划。

三大规划范式：

（1）语言驱动规划

• 单推理链方法：π0.5在单一推理链中生成明确的语言子任务；OneTwoVLA在关键决策点进行结构化文本推理
• 层级方法：Hi Robot两层架构（VLM规划 + VLA执行）；LoHoVLA端到端学习的层级范式

（2）多模态中间表示规划

• 视觉驱动规划：CoT-VLA生成像素级视觉子目标；HiP三层架构（任务-子任务-动作）
• Affordance驱动规划：RT-Affordance预测可操作性；CoA-VLA的Chain-of-Affordance推理

（3）技能库组合规划

• 显式技能库：VLP预定义技能的组合；RoboBrain大规模技能记忆库
• 隐式技能学习：DexVLA billion参数的隐式技能表示；AgiBot World从大规模数据中自动发现技能

代表性工作：

• π₀.5：增强的推理能力，支持多步骤规划（详见经典论文第5.11节）
• Hi Robot：显式的两层层级架构
• CoT-VLA：视觉子目标作为思维链
• ACoT-VLA：动作空间推理（详见经典论文第5.13节）
• DexVLA：billion参数的灵巧操作专家

2.2.3 错误检测与自主恢复

问题描述：实时检测执行失败，并自主生成恢复策略。

关键技术：

• 失败预测：基于视觉反馈预测潜在失败
• 重规划机制：动态调整执行计划
• 链式思考推理：通过CoT进行故障诊断（如CoT-VLA）

代表性工作：

• Fast-ThinkAct：实时推理与失败恢复
• CoT-VLA：链式思考增强的VLA

2.2.4 实时性与计算效率

问题描述：满足高频控制的实时性要求（30Hz+），同时保证推理准确性。

四大优化方向：

（1）静态架构优化

• 压缩量化：BitVLA 1-bit量化；Evo-1 77M参数的超轻量模型
• 轻量级骨干网络：NORA, TinyVLA专为实时控制设计
• 线性注意力机制：SARA-RT, RoboMamba用Mamba/SSM替代Transformer的二次复杂度

（2）动态优化解码过程

• 动态推理路径：MoLe-VLA跳层推理；CEED-VLA, DeeR-VLA提前退出机制
• Token处理优化：VLA-Cache自适应KV缓存；SpecPrune-VLA token级别剪枝
• 加速解码：OpenVLA-OFT并行解码，25-50倍加速；Spec-VLA推测解码

（3）动作表示和生成范式优化

• 高效token化：FAST频率空间动作序列token化，15倍加速；VQ-VLA向量量化动作表示
• 异步执行：SmolVLA 450M参数实时运行；Real-Time Action Chunking动作块异步执行
• 加速扩散：Time-Diffusion Policy时间条件加速；Discrete Diffusion VLA离散扩散加速

（4）训练范式优化

• 训练时推理，推断时跳过：ECoT-Lite训练中使用推理，推断时直接输出
• 预测压缩表示：V-JEPA 2预测语义压缩表示而非像素
• 双系统架构：Fast-in-Slow快速System 1 + 慢速System 2

代表性工作：

• SmolVLA：450M参数实时运行
• FAST：动作tokenizer，15倍推理加速
• OpenVLA-OFT：优化微调，25-50倍加速
• RoboMamba：Mamba架构的线性复杂度
• MoLe-VLA：动态深度推理

未来方向：

• 自适应架构：根据任务难度自动调整推理深度和模型规模
• 统一决策Token：see-think-act的统一token流
• 硬件协同优化：专用芯片加速VLA推理

2.3 从泛化到持续适应

核心问题：实现开放世界泛化，支持持续学习与增量技能获取，完成sim-to-real迁移，并启用在线强化学习。

从泛化到持续适应的四层递进体系：

1. 开放世界泛化：未见环境/物体/任务的零样本能力
2. 持续学习：增量技能获取，避免灾难性遗忘
3. Sim-to-Real迁移：缩小仿真与真实的差距
4. 在线强化学习：从交互中自主学习和改进

flowchart TB
    G1["开放世界泛化<br/>未见环境/物体/任务的零样本能力"]
    G2["持续学习<br/>增量技能获取，避免灾难性遗忘"]
    G3["Sim-to-Real 迁移<br/>缩小仿真与真实世界的差距"]
    G4["在线强化学习<br/>从实时物理交互中自主学习"]
    G1 --> G2 --> G3 --> G4
    style G1 fill:#e3f2fd,stroke:#1565c0
    style G2 fill:#e8f5e9,stroke:#2e7d32
    style G3 fill:#fff3e0,stroke:#e65100
    style G4 fill:#fce4ec,stroke:#880e4f

2.3.1 开放世界泛化（Open-World Generalization）

问题描述：在未见环境、未见物体和未见任务组合上的零样本或少样本泛化。

四大策略：

（1）知识迁移与利用

• 多任务/多机器人预训练：Octo在800k机器人轨迹上预训练；DexVLA billion参数扩散专家跨机器人形态预训练；EO-1在1.5M-EO-Data上预训练共享骨干
• 互联网/人类视频知识迁移：R3M在Ego4D等人类第一人称视频上预训练视觉编码器；GR系列（GR-1, GR-2）从人类视角视频迁移物理和交互知识

（2）范式级创新

• In-Context Learning：ICIL从prompt中的少量演示推断任务，无需重新训练
• 概念泛化：ObjectVLA联合训练机器人轨迹和box标注VL数据，实现零样本操作；LERF融合CLIP和3D NeRF实现自然语言定位和抓取
• 自适应范式：Align-Then-Steer非侵入式适应；Robot Utility Models (RUM)零样本部署

（3）增强数据多样性

• 数据增强：CACTI扩散修补技术生成多样化场景；GenAug文本到图像合成增强训练数据
• 语义增强：ROSIE VLM知识蒸馏到机器人策略

代表性工作：

• Octo：800k轨迹预训练的通用策略
• DexVLA：billion参数跨形态专家
• R3M/GR-2：从人类视频迁移知识
• ICIL：上下文学习范式
• ObjectVLA/LERF：概念级泛化
• Robot Utility Models：零样本家庭部署

2.3.2 持续学习与增量技能获取

问题描述：在不遗忘旧技能的前提下持续学习新技能。

两大策略：

（1）参数隔离与扩展

• 基于提示/码书学习：新技能独立编码为提示或码书向量，保持核心参数不变
• 模块化MoE架构：InstructVLA专家混合架构；iManip PerceiverIO架构实现模块化技能表示

（2）回放知识巩固

• 压缩经验回放：ExpReS-VLA压缩体验回放，高效存储历史经验
• 时间回放策略：iManip关键帧回放，保留重要状态转移

代表性工作：

• InstructVLA：MoE架构的终身学习
• iManip：模块化技能表示
• ExpReS-VLA：压缩经验回放

评测基准：

• LIBERO：首个终身机器人学习基准，评估技能保留和迁移

2.3.3 Sim-to-Real迁移

问题描述：缩小仿真训练与真实部署之间的性能差距。

两大策略：

（1）增强模拟保真度

• 高保真仿真器：ManiSkill3 GPU并行渲染+物理模拟，域随机化
• 稳定中间表示：SLIM使用分割+深度等对光照不敏感的表示，减少视觉域差异

（2）数据驱动模拟器

• 生成增强：GenAug无模拟器直接从文本生成训练数据
• 学习世界模型：DreamGen从真实数据学习生成模型；RynnVLA-001神经模拟器

（3）高效真实适应

• 快速微调：AdaWorld在少量真实数据上高效适应
• 鲁棒视觉表示：学习对光照、纹理变化不敏感的特征；自监督预训练（DINOv2等）

代表性工作：

• ManiSkill3：新一代GPU并行仿真器
• SLIM：稳定中间表示减少域差距
• GenAug：生成式数据增强
• AdaWorld：高效sim-to-real适应

未来方向：

• 神经模拟器：完全从数据学习的可微分模拟器
• 双向迁移：real-to-sim用于改进仿真器

2.3.4 在线强化学习

问题描述：通过与环境交互自主学习和改进策略。

两大方向：

（1）优化学习过程

• 知识迁移加速：RLDG蒸馏预训练VLA知识到RL策略；Refined Policy Distillation MSE约束保持预训练能力；iRe-VLA阶段性冻结-解冻策略
• 算法内部优化：CO-RFT分块时间差分学习，稳定训练

（2）自动化奖励生成

• 感知对齐奖励：VLM-RMs用VLM作为奖励模型；RoboCLIP CLIP对齐的奖励信号
• VLM批评：RL-VLM-F GPT-4V比较不同轨迹；GRAPE VLM生成密集奖励信号
• 代码生成奖励：Eureka LLM生成奖励函数代码；VLA-RL端到端VLA强化学习

代表性工作：

• π*₀.₆：从经验中学习，整合专家干预的RL（详见经典论文第5.12节）
• SERL：样本高效的机器人RL套件
• Eureka：LLM自动生成奖励函数
• VLA-RL：端到端VLA强化学习框架
• RLDG：知识蒸馏加速RL训练

未来方向：

• 形态无关表示：跨具身形态的策略迁移
• 零样本跨具身迁移：在一个机器人上学习，直接部署到另一个
• 自主开放式进化：部署→发现→进化的闭环系统

2.4 安全性、可解释性与可靠交互

核心问题：确保可靠性保证，提升可解释性，实现可信的人机交互，并满足安全约束。

安全性与可解释性的双层结构：

• 第一层：可靠性保证
  • 基于约束的安全（规则约束、内部化约束）
  • 学习对齐（值对齐、不确定性评估）
• 第二层：透明可信交互
  • 增强过程可解释性（CoT、层级结构）
  • 行为可预测性（外化决策逻辑）

flowchart TD
    subgraph L1 ["第一层：可靠性保证"]
        A1["基于约束的安全<br/>AutoRT / SafeVLA / VLSA-AEGIS"]
        A2["学习对齐<br/>Gemini Robotics / GPI / RationalVLA"]
    end
    subgraph L2 ["第二层：透明可信交互"]
        B1["增强可解释性<br/>CoT推理 / 层级架构 / ECoT"]
        B2["行为可预测性<br/>外化决策逻辑 / CrayonRobo"]
    end
    L1 --> L2
    style L1 fill:#e8f5e9,stroke:#2e7d32
    style L2 fill:#e3f2fd,stroke:#1565c0

2.4.1 可靠性保证

三大范式：

（1）基于约束的安全范式

• 规则约束：AutoRT 宪法提示 (Constitutional Prompting) 硬编码安全规则，为机器人建立底线行为准则。
• 区块链硬约束：OpenMind 提出的前卫方案，将机器人安全规则写入以太坊区块链，防止机器人或恶意软件修改安全日志或绕过核心限制。

（2）学习对齐范式

• 值对齐：Gemini Robotics使用 Constitutional AI 后训练，使机器人决策对齐人类价值观。
• 不确定性评估：GPI置信度估计+回溯机制；RationalVLA可学习的拒绝token，主动拒绝不安全/无效指令。

（3）即插即用安全层

• VLSA-AEGIS：基于控制屏障函数（CBF）的安全层，无需修改 VLA 模型即可添加物理硬约束。

代表性工作：

• SafeVLA：约束MDP框架
• RationalVLA：学习拒绝危险指令
• GPI：不确定性感知的安全回溯

2.4.2 可解释性与可信赖性

两大方向：

（1）增强过程可解释性

• 链式思维（CoT）：Diffusion-VLA自然语言中间推理步骤；ECoT可编辑的推理链；CoT-VLA视觉子目标作为可视化推理链
• 层级结构天然可解释：RT-H, HiRobot高层语言规划+低层执行；GraSP-VLA分层规划提供可追溯性
• 解码隐藏符号状态：DIARC-OpenVLA线性探针解释内部表示

（2）行为可预测性

• 外化决策逻辑：CrayonRobo视觉提示（箭头、高亮）外化决策过程
• 结构化任务切换：SwitchVLA显式任务切换机制（回滚+平滑过渡）

代表性工作：

• ECoT：可编辑的链式思考推理
• CoT-VLA：视觉CoT增强可解释性
• RT-H/HiRobot：层级架构的天然可解释性
• CrayonRobo：视觉化决策过程

2.4.3 安全约束与主动拒绝

两大技术路线：

• 插件式安全层：VLSA-AEGIS基于控制屏障函数（CBF）的即插即用安全层，在不修改VLA模型的前提下添加硬约束
• 可学习拒绝机制：RationalVLA学习拒绝不安全/无效指令，训练模型识别危险行为并主动拒绝

2.4.4 人机协作交互

关键能力：

• 意图识别：理解人类的隐含意图和目标；从不完整指令中推断完整任务
• 主动询问：AskToAct检测模糊指令时主动请求澄清；OneTwoVLA关键决策点主动询问
• 从反馈学习：Yell At Your Robot实时语言反馈纠正；π*₀.₆从专家干预中学习（详见经典论文第5.12节）
• 协作规划：共享心智模型；预测人类动作在协作环境中避免冲突

未来方向：

• 预测式协作：预测人类下一步动作，主动辅助
• 情境感知安全：根据环境动态调整安全边界
• 自然多模态交互：语言+手势+视觉指向的融合理解

2.5 数据构建与基准测试标准

核心问题：管理多源异构数据整合，建立标准化评测基准。

数据构建与评测标准双轨体系：

• 数据轨：表示层统一对齐 → 数据层增强优化 → 标准化基准构建
• 评测轨：全面性与标准化 → 任务广度与深度扩展 → 真实场景转仿真

flowchart LR
    subgraph DataTrack ["数据轨道"]
        D1["多源整合<br/>OXE / RLDS 格式"] --> D2["跨具身统一<br/>970k 轨迹 / 22 种机器人"] --> D3["合成数据<br/>InternData-A1 / 630k 轨迹"]
    end
    subgraph BenchTrack ["评测轨道"]
        B1["仿真基准<br/>LIBERO / CALVIN"] --> B2["跨场景泛化<br/>SimplerEnv / RoboCasa"] --> B3["开放世界评测<br/>VLABench / 真实机器人"]
    end
    D3 -.->|"Sim-to-Real"| B3
    style DataTrack fill:#fff3e0,stroke:#e65100
    style BenchTrack fill:#f3e5f5,stroke:#6a1b9a

2.5.1 多源异构数据整合

三大层面：

（1）表示层统一对齐

• 离散动作表示：LAPA, Moto, UniVLA统一的动作token化方案；跨平台的动作空间标准化
• 共享语义空间：RDT-1B扩散Transformer学习跨机器人表示；AgiBot World大规模统一语义空间；Scaling Cross-Embodied Learning形态无关表示
• 多模态对齐：RT-1, GR-2视觉-动作对齐；ViSA-Flow视觉-空间-动作三元对齐；Humanoid-VLA全身控制的多模态对齐

（2）数据层增强与优化

• 生成增强：CACTI扩散修补生成多样场景；GenAug文本到图像合成；ROSIE VLM知识蒸馏；Residual RL Data Generation通过残差RL生成数据
• 混合优化：Re-Mix自适应采样权重平衡异构数据源

（3）标准化与基准构建

• 统一采集协议：RH20T严格时间对齐的多模态数据（视觉+触觉+音频）；BridgeData V2标准化的桌面操作数据
• 跨域标准化：Open X-Embodiment 60+数据集，970k轨迹，22种机器人；RoboMM多模态跨机器人数据
• 人类中心多视角：Ego4D 3700小时第一人称视频；EPIC-KITCHENS厨房活动数据集；Ego-Exo4D同步的自我-外部视角

代表性工作：

• Open X-Embodiment：最大规模的跨机器人数据集
• WALL-OSS：聚合超过10000小时的自收集机器人轨迹
• RH20T：高质量多模态时间对齐数据
• RDT-1B：billion规模的扩散Transformer，统一表示

2.5.2 评测基准与标准化指标

三大方向：

（1）全面性与标准化

• 统一评测框架：Benchmarking VLAs统一输入/输出接口、标准化指标、多机器人支持
• 多维度评分：EUQ (Evaluating Uncertainty and Quality)人类评估的多维评分，超越简单成功率
• 基础设施：ManiSkill3 GPU并行，支持大规模评测；robosuite模块化仿真框架

（2）任务广度与深度扩展

• 长视距序列：CALVIN连续多任务执行，评估长期规划；5个连续任务成功率作为核心指标
• 终身学习：LIBERO 130个任务，4个套件（Spatial, Object, Goal, Long），评估技能保留和前向/后向迁移
• 多维对象/语言复杂度：From Intention to Execution (VLABench)分离意图理解和执行能力；Intention Score + Progress Score双指标
• 零样本多语言：SimplerEnv-Instruct 80个零样本任务，多语言指令

（3）真实场景转仿真

• 神经重建：PolaRiS将真实视频转化为交互式仿真环境，提供可控的评测环境

代表性工作：

• LIBERO：首个终身机器人学习基准，130个任务
• CALVIN：长时序多任务基准
• VLABench (Intention to Execution)：分离意图和执行的评测
• SimplerEnv：标准化VLA评测平台，80个零样本任务
• PolaRiS：真实场景神经重建
• ManiSkill3：GPU并行高效评测

未来方向：

• Simulation-First, Failure-Centric Paradigm：以失败为核心的评测
• Turn Failure into Signal：将失败轨迹用于对比学习
• Comprehensive Diagnostic Stress Testing：超越二元成功率的细粒度诊断

2.5.3 数据高效学习

三大策略：

（1）数据增强

• 视觉增强：CACTI扩散修补生成多样化背景；GenAug文本到图像生成；颜色、光照、遮挡变化
• 轨迹增强：时间插值、噪声注入；反向轨迹生成

（2）主动学习

• 不确定性采样；多样性采样；优先标注难例

（3）迁移学习

• 预训练知识利用：VLM预训练（CLIP, SigLIP）；人类视频预训练（Ego4D, GR-2）；跨机器人迁移（Octo, RoboCat）
• 少样本微调：适配器方法轻量化微调；LoRA, AdaLoRA等参数高效微调

代表性工作：

• CACTI：扩散增强数据生成
• Octo：10次演示实现新任务适应
• ROSIE：VLM知识蒸馏减少数据需求

未来方向：

• 自监督预训练：利用大规模无标注视频
• 主动数据收集：机器人自主选择探索策略
• 合成到真实：完全在合成数据上训练，零样本迁移到真实

3. VLA主流数据集

VLA模型的性能高度依赖于高质量的训练数据。以下是VLA领域最具影响力的数据集。

快速参考：主流数据集概览

3.1 大规模跨机器人数据集

ProcCorpus-60M Dataset

基本信息：

• 发布时间：2026年6月（中国人民大学 & 智谱 AI）
• 数据规模：约 6,000 万帧（约 1,000 小时、40 万条轨迹）
• 机器人平台：单臂（Franka、xArm）、双臂（AgiBot G1、Agilex）、移动操作及人形机器人（RoboCasa GR-1）
• 采集与标注方式：聚合 DROID、RH20T、Open X-Embodiment、Bridge 等顶尖开源真实与仿真数据集，并通过自动化 VLM 流水线对全量数据进行具身思考链标注

数据特点：

• 密集具身思考链覆盖（96.8%）：区别于传统仅标注动作的数据集，ProcCorpus-60M 几乎对每帧提供六层结构化认知标注：
  1. Scene Description（场景与关键物体描述）
  2. Progress Assessment（任务进度与完成判定）
  3. Future Plan（宏观未来规划语言推理）
  4. To-Do Actions（动宾格式规范化原子动作分解）
  5. Target Objects（关键操控物体 2D BBox 视觉定位）
  6. Discrete Actions（FAST Tokenizer 紧凑动作表征）
• 硬件无关的跨本体语义对齐：高层认知标注完全独立于具体的机械臂自由度与控制接口，为不同机器人形态提供了统一的语义学习桥梁。
• 协同图文增强：混入 CapsFusion 与 Pixmo 通用多模态图文数据，保障跨领域开放词表常识不退化。

应用模型：

• ZR-0 (2026)：基于该数据集完成跨单臂/双臂/人形预训练的 2.6B VLA 基础模型

Open X-Embodiment Dataset

基本信息：

• 发布时间：2023年10月
• 数据规模：970k条真实机器人轨迹，60+个数据集
• 机器人平台：22种不同的机器人（单臂、双臂、移动操作、人形等）
• 任务类型：多样化的操作任务（抓取、放置、组装、厨房任务等）

数据特点：

• 跨机器人统一格式：RLDS (Reinforcement Learning Datasets)标准
• 多模态观察：RGB图像、深度图、本体感觉
• 语言标注：自然语言任务描述
• 动作表示：统一的动作空间定义
• 支持跨具身形态泛化研究

核心贡献：

• 首个大规模跨机器人数据集
• 定义了机器人数据集的事实标准
• 催生了RT-X、OpenVLA等一系列跨机器人模型

应用模型：

• RT-X：在OXE上训练的跨机器人策略
• OpenVLA：7B参数开源VLA模型
• Octo：通用机器人策略
• DexVLA、RDT-1B等最新VLA模型

获取方式：https://robotics-transformer-x.github.io/

EO-1 Dataset

基本信息：

• 数据规模：约1.5M条轨迹（EO-Data，含真实+合成数据）
• 机器人平台：多种商用机械臂（Franka、UR系列为主）
• 采集方式：大规模人工遥操作 + 自动化数据扩增流水线

数据特点：

• 规模超大：在OXE（970k）基础上进一步扩大规模
• 多任务覆盖：桌面抓取、组装、物体重排、厨房任务等
• 质量筛选：引入自动轨迹评分，过滤低质量演示
• 数据飞轮：EO-1模型部署后持续回收数据，形成闭环迭代

应用：EO-1 通用操作模型预训练

WALL-OSS Dataset

基本信息：

• 数据规模：10,000+ 小时自收集机器人操作轨迹
• 机器人平台：移动操作机器人（Mobile Manipulation）
• 采集方式：大规模自主探索 + 人工标注纠正

数据特点：

• 长时程任务：平均单条轨迹时长远超普通抓取数据集
• 真实家庭场景：厨房、卧室、客厅等多种非结构化环境
• 分层结构：同时记录高层规划决策和低层关节控制动作
• 自主采集优势：大幅降低人工遥操作成本，可持续规模化

应用：大规模分层VLA预训练，支持移动操作长时程任务

RT-1 Dataset

基本信息：

• 发布时间：2022年12月（Google Robotics）
• 数据规模：130k条真实机器人轨迹
• 机器人平台：Everyday Robot（Google定制移动操作机器人）
• 采集周期：17个月持续采集
• 任务类型：700+种日常办公/厨房操作任务

数据特点：

• 高质量专家演示：经专业训练的机器人操作员采集，轨迹成功率高
• 真实办公环境：Google办公楼真实场景，非受控实验室环境
• 丰富语言多样性：同一任务有多种自然语言表达方式（如”把苹果放到碗里” / “将苹果移入容器”）
• 密集标注：动作标注包含末端执行器6DoF位姿、夹爪开合、底盘运动
• 任务层次：包含单步任务（拾取）和多步复合任务（开柜门-取物-关门）

数据格式：

• 观察：单目RGB图像 + 自然语言指令
• 动作：末端执行器位移（x, y, z, roll, pitch, yaw）+ 夹爪状态

应用模型：

• RT-1：在此数据上从零训练的高频控制策略
• RT-2：使用此数据微调PaLI-X/PaLM-E VLM
• 作为OXE数据集子集广泛用于跨机器人训练

3.2 双臂与灵巧操作数据集

ALOHA / ACT Dataset

基本信息：

• 发布时间：2023年（ACT论文，Stanford IRIS Lab）
• 数据规模：每个任务约50条人工演示
• 机器人平台：ALOHA双臂机器人（低成本桌面系统，总成本约$20k）
• 采集方式：人类遥操作——操作者控制”主臂”，机器人跟随复现

数据特点：

• 双臂协同：同时记录左右两臂的关节位置、速度、力矩与抓取状态
• 高频采集：50Hz动作帧率，适配精细操作
• 多样化任务：折叠衣物、整理厨具、穿针引线、手术动作模拟等
• 观察模态：4路RGB相机（左/右腕部 + 左/右侧视）+ 本体感觉

关键任务列表：

影响：

• 直接催生 ACT（Action Chunking with Transformers）方法论
• ALOHA硬件设计完全开源，引爆学界双臂研究热潮
• 后续 π₀.5 等大量工作均采用 ALOHA 硬件采集数据

获取方式：https://mobile-aloha.github.io/

UMI (Universal Manipulation Interface) Dataset

基本信息：

• 发布时间：2024年（Stanford + Columbia）
• 数据规模：数百至数千条轨迹（按任务）
• 采集方式：手持夹持器（无需机器人），操作者手持装置自由操作

数据特点：

• 设备极简：用GoPro + 3D打印夹爪即可采集，成本极低
• 隐式推理：延迟观察（推理时忽略最近0.2s图像），让模型自动预测接触时刻
• 自然场景多样性：采集者可在任意真实场景自由操作，无需固定机器人工位
• 推理接口统一：采集数据直接迁移到Franka等标准机器人执行

应用模型：

• Diffusion Policy（UMI版本）
• UMI-on-Legs（四足机器人上肢任务）

获取方式：https://umi-gripper.github.io/

3.3 模拟器数据集

CALVIN (Composing Actions from Language and Vision)

基本信息：

• 发布时间：2021年（University of Freiburg）
• 环境：PyBullet仿真器（Franka Panda机械臂）
• 数据规模：约6小时人类遥操作Play数据
• 任务类型：34种语言条件操作任务的长时序组合

数据特点：

• Play Data范式：数据采集时操作者随机操作，不针对特定任务，大幅降低采集成本
• 后验标注：采集完成后将轨迹片段与任务语言描述自动对齐
• 多步骤链：评测时要求连续完成1-5个任务（ABCD→D split）
• 4个场景变体（Split）：A、B、C（训练）、D（测试），光照/物体布局各异

标准评测协议（ABCD→D split）：

目前 SOTA：GR-2 (2024) 实现 Avg. Len. ≈ 4.5+

应用：

• 语言条件长时程操作研究的核心基准
• 广泛用于ACT、Diffusion Policy等方法的评测对比

官网：http://calvin.cs.uni-freiburg.de/

LIBERO (Lifelong Benchmark for Robot Manipulation)

基本信息：

• 发布时间：2023年（CMU + Stanford）
• 环境：MuJoCo/RoboSuite仿真器（Franka Panda）
• 任务数量：130个任务，每任务500条专家演示（共65,000条轨迹）

数据特点：

• 持续学习设计：专为评测”学新任务时遗忘旧任务”问题而设计
• 任务套件阶梯式：从空间推理 → 物体泛化 → 目标泛化 → 长时序，难度递增
• 专家演示质量高：基于RoboSuite的运动规划器自动生成高成功率演示

四个任务套件详解：

持续学习评测指标：

• FWT（前向迁移）：学新任务对旧任务的正向影响
• BWT（后向迁移/遗忘）：学新任务导致旧任务性能下降

应用：

• VLA持续学习研究的标准基准
• OpenVLA、RoboFlamingo等模型的性能对比平台

官网：https://libero-project.github.io/

RLBench

基本信息：

• 发布时间：2019年
• 环境：CoppeliaSim（V-REP）
• 任务数量：100+任务

数据特点：

• 涵盖多种操作技能
• 提供视觉观察和状态信息
• 支持多种机器人平台

任务类别：

• 抓取和放置
• 工具使用
• 组装任务

官网：https://sites.google.com/view/rlbench

MimicGen

基本信息：

• 发布时间：2024年（NVIDIA + UT Austin）
• 核心思路：用少量人类演示（约10条）自动生成大量（1000+条）多样化轨迹

数据特点：

• 数据扩增：通过分解-重组子任务轨迹，自动适配新物体位置/姿态
• 无需额外标注：完全自动化，人工成本接近于零
• 支持多环境：MuJoCo/RoboSuite，官方提供数千条生成轨迹

数据规模：公开 ~50k 条生成轨迹，涵盖 18 类任务

应用：

• Diffusion Policy、ACT等方法的数据增强基线
• 验证”稀疏人类演示 → 大规模训练数据”可行性

官网：https://mimicgen.github.io/

MetaWorld

基本信息：

• 发布时间：2020年（Stanford）
• 环境：MuJoCo仿真器（Sawyer机械臂）
• 任务数量：50个标准化操作任务

任务结构：

• ML10：10任务元学习基准
• ML45：45任务元学习基准
• MT50：50任务多任务学习基准

数据特点：

• 任务覆盖面广（抓取、推动、翻转、穿孔、拧螺丝等）
• 任务设计极度标准化，统一状态/动作空间
• 评估多任务学习和少样本泛化的经典基准

应用：

• 大量VLA与强化学习方法的对比基线
• 多任务学习研究标配

官网：https://meta-world.github.io/

3.4 真实世界数据集

Bridge Dataset (BridgeData V2)

基本信息：

• 发布时间：2023年（UC Berkeley RAIL Lab）
• 数据规模：60,096条真实机器人轨迹
• 机器人平台：WidowX 250（低成本6DoF桌面机械臂，约$3,500）
• 采集场景：24个不同真实场景（厨房操作台、桌面、架子等）

数据特点：

• 低成本硬件验证：证明廉价机械臂可采集高质量训练数据
• 任务多样性：包括抓取、放置、翻转、拖拉、穿插、扫描等多类操作
• 语言条件：每条轨迹配有语言描述任务目标
• 人类遥操作：通过SpaceMouse采集，轨迹自然流畅

V2相比V1的改进：

• 新增 16,000+ 轨迹，场景扩充至 24 个
• 标准化采集协议，各场景使用统一相机角度
• 引入自动质量筛选流程
• RLDS格式标准化，直接兼容OXE

应用：

• Octo 通用机器人策略的核心训练数据
• OpenVLA预训练数据之一
• 模仿学习与Sim-to-Real研究基线
• 完整收录于Open X-Embodiment数据集

官网：https://rail-berkeley.github.io/bridgedata/

RH20T Dataset

基本信息：

• 发布时间：2024年（上海AI实验室 + 香港大学）
• 数据规模：110,000+ 条多模态同步轨迹
• 机器人平台：多种机械臂（Franka、UR5、xArm等）
• 特点：迄今为止时间同步精度最高的多模态机器人数据集

传感器配置：

• 视觉：RGB-D（Realsense D435i，1280×720@30Hz）
• 触觉：高分辨率触觉传感器（手指接触力/形变）
• 音频：操作声音同步录制（夹取、碰撞等声学信号）
• 本体感觉：关节位置、速度、力矩@500Hz
• 时间同步精度：微秒级硬件触发

数据特点：

• 精细操作覆盖：拧螺丝、剪纸、折纸等需要触觉反馈的精密任务
• 多机器人平台：同一任务在不同机械臂上重复采集，便于跨平台研究
• 失败案例保留：包含部分失败轨迹，用于对比学习

应用：

• 触觉-视觉融合VLA训练（Tactile-VLA, OmniVTLA）
• 接触丰富操作（Contact-rich Manipulation）研究
• 多模态感知对齐研究

DROID Dataset

基本信息：

• 发布时间：2024年（Stanford + Berkeley + CMU 等多机构联合）
• 数据规模：76,188条真实机器人操作轨迹，约350小时
• 机器人平台：Franka Panda
• 采集地点：全球50个不同地点（实验室、厨房、办公室等）

数据特点：

• In-the-Wild多样性：50个采集地点带来极高的场景多样性
• 86类任务：覆盖抓取、推动、翻转、清洁、整理等广泛操作
• 双目视角：腕部摄像头 + 外部固定摄像头
• 语言标注：每条轨迹附带自然语言任务描述
• 数据格式：RLDS标准，兼容OXE生态

质量特点：

• 专业采集员培训保证基础质量
• 跨场景一致的采集协议
• 超出OXE子数据集的场景多样性

应用：

• 大规模真实世界VLA预训练
• 跨地点泛化研究基准
• OpenVLA-OFT等模型微调

获取方式：https://droid-dataset.github.io/

Language-Table

基本信息：

• 发布时间：2022年
• 数据类型：真实桌面操作
• 任务类型：语言条件的物体重排列

数据特点：

• 简化的二维操作任务
• 清晰的语言-动作对应
• 便于快速原型开发

应用：

• 语言理解研究
• 策略学习方法验证

AgiBot World

基本信息：

• 发布时间：2025年（AgiBot / 智元机器人）
• 数据规模：100万条轨迹，覆盖多种机器人平台
• 采集方式：人类遥操作 + 自主采集

数据特点：

• 规模领先：目前公开规模最大的真实机器人操作数据集之一
• 多具身形态：单臂、双臂、移动操作、人形机器人
• 场景多样化：工业制造、家庭服务、餐饮、仓储等场景
• 标准化格式：兼容RLDS，可与OXE生态无缝对接

应用：

• 大规模跨具身VLA预训练
• 国内机器人企业数据生态建设参考

获取方式：https://agibot-world.com/

LeRobot Dataset (HuggingFace)

基本信息：

• 发布时间：2024-2025年（HuggingFace）
• 定位：机器人学习领域的开源数据中台

数据特点：

• 统一接口：100+个数据集（包含OXE子集、ALOHA、Bridge等）通过统一API访问
• 标准化格式：基于Apache Parquet，支持流式加载
• 可视化工具：内置数据浏览器，可在线预览轨迹
• 社区驱动：研究者可直接上传自采数据集，共建生态

支持的数据集示例：lerobot/pusht、lerobot/aloha_sim_、lerobot/xarm_

应用：

• 作为统一接口接入多来源数据训练VLA
• 快速搭建机器人学习基线

官网：https://huggingface.co/lerobot

3.5 人机交互数据集

Ego4D

基本信息：

• 发布时间：2022年
• 数据规模：3,600小时第一人称视频
• 场景类型：日常生活活动

数据特点：

• 人类操作演示
• 丰富的语言标注
• 多样化的交互场景

VLA应用：

• 从人类视频中学习操作策略
• 理解人类意图和目标

3.6 评测基准

SIMPLER / SimplerEnv (Simulation Platform for Embodied Learning and Evaluation Research)

基本信息：

• 发布时间：2024-2025年
• 目标：标准化的VLA评测框架

评测内容：

• SimplerEnv-Instruct：80个零样本任务，多语言指令支持
• 跨任务泛化
• 跨环境泛化
• 鲁棒性测试

特点：

• 统一的输入输出接口
• 标准化的评测指标
• 支持多种机器人平台

应用：

• ICLR 2026等会议广泛使用
• 比较不同VLA模型的性能
• π0, OpenVLA等模型的官方评测平台

官网：https://simpler-env.github.io/

VLABench (From Intention to Execution)

基本信息：

• 发布时间：2025年
• 目标：分离评测VLA的意图理解和执行能力

核心指标：

• Intention Score (IS)：评估指令理解的准确性
• Progress Score (PS)：评估任务执行进度
• 双指标分离意图和执行两个维度

评测维度：

• Seen objects (已见物体)
• Unseen objects (未见物体)
• Unseen colors (未见颜色)
• Unseen textures (未见纹理)
• Unseen scenes (未见场景)

特点：

• 细粒度诊断VLA能力边界
• 超越二元成功率的多维评估

应用：

• ACoT-VLA等最新模型的评测
• 识别模型的弱点和改进方向

ManiSkill3

基本信息：

• 发布时间：2024年
• 特点：GPU并行高性能仿真器

技术特点：

• GPU加速：大规模并行仿真
• 域随机化：自动生成多样化场景
• 物理精度：高保真物理模拟
• 渲染质量：逼真的视觉渲染

应用：

• 大规模数据生成
• 快速策略评估
• Sim-to-Real研究

官网：https://maniskill.ai/

RoboCasa

基本信息：

• 发布时间：2024年（UT Austin ARISE Lab）
• 环境：MuJoCo/RoboSuite仿真器（Franka Panda双臂）
• 场景类型：逼真的家庭厨房环境

特点：

• 100+种厨房布局：随机化橱柜位置、灶台样式、照明条件
• 150+种家庭物品：覆盖厨房常见食材、餐具、电器
• 长时程任务：超市购物→放入冰箱、备餐→烹饪等多步骤任务
• 自动数据生成：配合MimicGen可大规模生成演示数据
• 人形机器人支持：提供双臂操作接口，适配具身机器人研究

任务类别（共100+任务）：

• PnP（Pick and Place）：从A处取物放到B处
• Drawer/Cabinet操作：开关抽屉、柜门
• Boil/Fry：烹饪动作模拟
• ArrangeItems：物品摆放整理

应用：

• 家庭服务机器人长时程操作研究
• 高数据多样性的VLA预训练数据源

4. VLA的应用场景

工业制造

VLA模型在工业自动化中展现出巨大潜力，能够处理多样化的生产任务。

工业场景中的VLA应用：

应用示例：

• 智能装配线：基于语言指令调整装配流程
• 质量检测：结合视觉检测和操作反馈
• 柔性制造：快速适应产品变化

服务机器人

在家庭和商业服务场景中，VLA使机器人能够理解和执行多样化的用户指令。

典型应用领域：

• 家庭服务：理解”帮我整理客厅”等开放式指令，执行物体重排列、清洁等复合任务（如π₀.5在新家庭环境中的10-15分钟长时程任务）
• 餐饮服务：识别菜品 + 理解点餐指令 → 配送和上菜动作
• 医疗辅助：理解医护人员指令 + 精确操作 → 递送医疗器械、协助护理

关键技术：开放世界泛化、人机交互、安全性保证

仓储物流

VLA模型使仓储机器人能够处理更复杂、更灵活的物流任务。

商业价值：减少人工标注成本，适应SKU快速变化，提升仓储自动化柔性

农业自动化与建筑施工

• 农业：精准采摘（识别成熟果实）、植物护理（修剪、施肥）、自动化收获
• 建筑：自动化砌砖、焊接作业、建筑材料搬运

5. 经典论文深度解析

为了帮助读者深入理解VLA领域的关键突破，本章精选11篇奠基性和前沿论文进行详细解读。这些论文代表了VLA研究从诞生（2022年RT-1）到快速发展（2026年最新工作）的完整脉络，涵盖了架构创新、训练范式、推理增强、开放世界泛化等核心方向。

论文选择标准：

• 奠基性工作：开创新方向或范式（RT-1, RT-2, Diffusion Policy）
• 里程碑模型：显著提升性能或开源影响力（OpenVLA, π₀系列）
• 前沿突破：2025-2026年的最新进展（π*₀.₆, ACoT-VLA, VLM4VLA, TwinBrainVLA）
• 技术多样性：覆盖不同架构、训练方法和应用场景

每篇论文的解读包括：精华提炼、研究背景、核心方法、关键结果和局限性分析，帮助读者快速把握要点并理解技术演进脉络。

5.1 RT-1 (2022) {#5-1-rt-1-2022}

Robotics Transformer for Real-World Control at Scale

📄 Paper: https://arxiv.org/abs/2212.06817

精华

RT-1 的核心贡献在于证明了 Transformer 架构结合大规模真实机器人数据可以在数百种任务上达到实用水平的性能。其关键设计哲学——”大规模数据 + 适度架构”——打破了当时”机器人需要精心设计专用网络”的固有认知。Token Learner 的引入将视觉 token 从 512 压缩到 8，实现了高效推理；动作离散化（256 bins）与自回归生成的组合为后续 VLA 研究奠定了动作建模范式。

研究背景/问题

2022 年以前的机器人控制方法普遍依赖小规模数据训练的专用网络，难以泛化到新任务和新场景。语言和视觉领域已验证 Transformer + 大规模数据的有效性，但能否将同样范式迁移到真实世界机器人控制尚未被证明。核心问题：能否通过大规模多任务真实机器人数据训练单一 Transformer 网络，使其在数百种任务上达到高成功率并泛化到未见任务？

主要方法/创新点

架构设计：

数据规模：在 Everyday Robots 机器人上采集 130k 条真实轨迹，覆盖 700+ 任务、多种物体和场景，历时 17 个月人工遥操作。

推理效率：Token Learner 将 EfficientNet 输出的 512 个空间 token 压缩为 8 个，使单步推理速度达到 3Hz，满足实时控制需求。

核心结果/发现

已见任务（training distribution）：

• 平均任务成功率 97.0%，显著超过 BC-Z（66.0%）和 SayCan（65.8%）
• 在 700+ 不同任务上保持稳定高性能，证明大规模多任务训练的有效性

未见任务（zero-shot generalization）：

• 未见任务成功率 76.0%，远超先前方法的 20-40% 水平
• 证明 Transformer 架构能从多任务训练中习得可迁移的底层技能

数据规模消融：

• 使用全量数据（130k）vs 1/3 数据：成功率从 97% 降至 68%
• 明确的数据规模收益曲线，验证”更多数据→更好性能”假设

局限性

• 语言指令仅用于任务选择（”pick up the apple”），缺乏真正的语义理解和推理能力
• 数据采集代价高昂（需要专业操作员和特定机器人硬件），难以复现
• 视觉编码器采用固定分辨率，不擅长细粒度精细操作
• 动作量化引入精度损失，在精细接触任务中性能下降明显
• 依赖单一固定机器人平台，不具备跨具身迁移能力

5.2 RT-2 (2023) {#5-2-rt-2-2023}

Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

📄 Paper: https://arxiv.org/abs/2307.15818

精华

RT-2 是 VLA 领域真正的范式突破：通过将机器人动作表示为语言 token，VLM 的 next-token prediction 能力被无缝扩展到动作生成，无需修改模型架构。最关键的发现是”涌现能力”（emergent capabilities）——RT-2 可以执行从未在机器人数据中出现过的新型推理任务（如”拿起可以灭火的物体”），这直接来自 VLM 的互联网知识。这一发现重新定义了机器人学习的可能性边界。

研究背景/问题

大型视觉-语言模型（VLM）已在跨模态理解和常识推理方面表现出色，但这些能力无法直接用于机器人控制。传统做法是将 VLM 用于高层规划，再配合低层控制器执行动作——这引入了模块间的信息损失和对齐误差。核心问题：能否直接将 VLM 微调为能执行物理动作的 VLA 模型，同时保留预训练的语义理解和推理能力？

主要方法/创新点

核心创新：动作作为语言 token

传统方式: 视觉 + 语言 → VLM → 文本规划 → 低层控制器 → 动作
RT-2方式: 视觉 + 语言 → VLA → 动作token序列（直接控制）

架构：

• 基础模型：PaLI-X（5B 参数）或 PaLM-E（55B 参数）
• 将 7-DOF 机器人动作（末端执行器位姿 + 夹爪）离散化为 256 个 bin，表示为整数字符串 token（如 “128 97 234 45 189 203 1”）
• 与视觉-语言数据联合微调（co-fine-tuning）：交替在机器人演示数据和互联网 VL 数据上训练，防止灾难性遗忘

关键设计决策：

• 机器人数据（约 100k 轨迹）与互联网 VL 数据（约 100B token）混合训练
• 动作 token 直接插入语言词表，利用自回归解码生成动作序列
• 支持 chain-of-thought reasoning：在生成动作前先生成推理文本

核心结果/发现

基础性能：

• 在已见任务上成功率 62%（RT-2, 5B），与 RT-1（71%）相近但模型参数增加了 38 倍
• RT-2-X（55B）在 Google 机器人评测上平均成功率 78.3%

涌现推理能力（关键发现）： | 评估类型 | RT-2-X 成功率 | RT-1 成功率 | |———|————-|———–| | 场景理解推理（”将最近的物体放到纸板上”） | 55% | 22% | | 符号推理（”执行加法后把结果数量的物体放入碗”） | 50% | 10% | | 常识知识（”拿起可以灭火的物体”） | 60% | 25% |

Chain-of-Thought 推理：

• 在执行动作前先生成自然语言推理步骤，成功率在部分任务上提升 13%

局限性

• 55B 参数模型计算代价极高，无法在边缘设备部署，推理速度仅约 1-3Hz
• 完全闭源（Google 内部），外部研究者无法复现或微调，推动了后续开源工作（OpenVLA）
• 动作 token 化引入精度损失，难以执行需要亚毫米精度的精细操作
• co-fine-tuning 对数据混合比例敏感，调试复杂
• 在全新机器人平台上的跨具身迁移能力仍有限

5.3 RT-X / Open X-Embodiment Dataset (2023) {#5-3-rt-x-2023}

Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition

📄 Paper: https://arxiv.org/abs/2310.08864

精华

OXE 和 RT-X 共同验证了一个重要假设：来自不同机器人的数据可以相互增益，跨具身训练不会因为形态差异而造成干扰，反而带来正迁移。这为机器人学习从”实验室孤岛”走向”共享数据生态”提供了关键证据，是 AgiBot World、InternData-A1 等后续大规模数据集建设的理论基础。

研究背景/问题

机器人学习数据极度碎片化：每个实验室独立采集数据，使用不同机器人、不同任务定义、不同存储格式，导致数据无法共享和复用。即便单个实验室拥有足够的数据，也只能训练适用于本实验室机器人的专用模型。核心问题：能否将来自全球多个实验室、22 种不同机器人的数据统一整合，并证明联合训练的模型优于仅在单一机器人数据上训练的模型？

主要方法/创新点

Open X-Embodiment 数据集：

• 规模：970k 条机器人轨迹，22 种不同机器人平台，来自全球 21 个机构
• 统一格式：采用 RLDS（Reinforcement Learning Datasets）格式标准化异构数据，包含 RGB 图像、语言指令、机器人关节角度/末端执行器动作
• 覆盖范围：从 7-DOF 桌面机械臂（WidowX、Franka）到移动机器人（Hello Stretch），涵盖抓取、推拉、翻转等多种操作技能

RT-X 训练策略：

• 分别在 OXE 数据上训练 RT-1 骨干（RT-1-X）和 RT-2 骨干（RT-2-X）
• 跨具身共训：模型在推理时通过语言指令和视觉观察推断任务，无需机器人类型标识
• 针对不同数据集采用加权混合采样策略，平衡数据规模差异

核心结果/发现

跨具身正迁移（核心发现）：

• RT-1-X（130M）在 5/6 个评估机器人上优于仅在该机器人数据上训练的 RT-1
• RT-2-X（55B）在新型任务评估中成功率 62%，比原始 RT-2 的 55% 提升 7%

迁移效率对比：

数据格式标准化：RLDS 格式成为此后机器人数据集的事实标准，被 AgiBot World、InternData-A1 等大规模数据集采用。

局限性

• 22 种机器人平台中数据量严重不均衡，长尾机器人的性能提升有限
• 原始数据质量参差不齐（不同实验室采集标准不同），引入噪声
• 未包含双臂、全身人形等新兴形态，覆盖面仍有局限
• RLDS 统一格式损失了部分传感器细节（如触觉、力传感数据）
• 评估协议不统一，不同实验室间的性能比较存在偏差

5.4 ACT (2023) {#5-4-act-2023}

———Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

📄 Paper: https://arxiv.org/abs/2304.13705

精华

这篇论文展示了如何利用低成本硬件实现高精度双臂协同操作，核心亮点包括：

• 低成本系统设计：利用不到2万美元的现成机器人和3D打印件构建了高性能双臂遥操作和自主学习平台。
• ACT 算法：提出 Action Chunking with Transformers，通过预测动作序列（而不是单步动作）来减少复利误差并提升时序一致性。
• 时间集成 (Temporal Ensembling)：通过重叠动作块的加权平均，实现了极其平滑且精准的机器人运动。
• 高效学习：仅需10分钟（约50次）演示即可在开罐头、插电池等高难度精细操作任务中达到 80-90% 的成功率。

1. 研究背景/问题

精细的双臂协同操作（如穿针引线、插拔电池）通常需要昂贵的高精度机器人和复杂的传感器。传统的模仿学习（如行为克隆）在这些任务中面临挑战：复利误差 (Compounding Errors) 会导致动作偏离目标，且人类演示中的非平稳性（如停顿）难以建模。本文探讨能否通过学习，让廉价且精度较低的硬件也能完成 these 精细任务。

2. 主要方法/创新点

ALOHA 硬件系统

论文设计了一套名为 ALOHA 的低成本开源双臂系统。

1. 结构：包含两组 ViperX 6自由度机械臂（作为执行器）和两组较小的 WidowX 机械臂（作为遥操作控制器）。
2. 遥操作：用户通过操作较小的控制臂来实时驱动执行臂。为了提升精细操作能力，设计了3D打印的“手柄与剪刀”机构，支持连续的夹爪控制。
3. 感知：系统配备4个普通的网络摄像头（两个固定在前方/上方，两个固定在执行臂手腕上），提供多视角视觉反馈。

ACT 学习算法

为了解决模仿学习中的误差积累问题，论文提出了 Action Chunking with Transformers (ACT)。

1. 动作块 (Action Chunking)：不同于传统方法预测单步动作 $a_t$，ACT 在每个观测点 $s_t$ 预测未来 $k$ 步的动作序列 $a_{t:t+k}$。这大大缩短了任务的有效时序跨度（减少了 $k$ 倍），从而缓解复利误差。

1. CVAE 建模：使用条件变分自编码器 (CVAE) 处理人类演示中的多峰性（即同一场景下可能有多种有效路径）。

1. Transformer 架构：利用 Transformer 的编码器-解码器结构来融合多视角图像 and 关节位置信息，并生成连贯的动作块。

2. 时间集成 (Temporal Ensembling)：在推理时，系统在每一帧都进行预测，并对重叠的动作块进行加权平均。这种方式不仅提高了预测的鲁棒性，还消除了“动作块”切换时的动作不连续感。

3. 核心结果/发现

• 性能卓越：在多个复杂的双臂操作任务中，ACT 显著优于之前的 SOTA 方法（如 BC-ConvMLP, BeT, RT-1）。例如在“插电池”任务中，ACT 的成功率达到 96%，而基线方法几乎无法完成。
• 数据高效：每个任务仅需 50 次人类演示（约 10 分钟数据），模型即可学会在动态和随机环境中进行闭环调整。
• 高频率必要性：实验证明 50Hz 的控制频率对于精细操作至关重要，将频率降至 5Hz 会导致操作完成时间增加 62% 以上。
• 闭环鲁棒性：得益于多视角视觉反馈和 ACT 架构，机器人能够实时纠正演示中的小偏差，并适应物体位置的轻微变动。

4. 局限性

• 硬件限制：由于低成本电机的扭矩限制，ALOHA 难以处理需要大力量的任务（如拧紧瓶盖或抬起重物）。
• 感官缺失：目前的系统仅依赖视觉，缺乏力觉反馈，在处理极度复杂的接触（如拆解复杂的糖果包装）时仍有挑战。

5.5 Diffusion Policy (2023) {#5-5-diffusion-policy-2023}

Visuomotor Policy Learning via Action Diffusion

📄 Paper: https://arxiv.org/abs/2303.04137

精华

Diffusion Policy 的核心洞见是：机器人动作分布本质上是多峰的（同一任务有多种合理执行方式），而传统的均方误差损失函数会将这些模式平均掉，导致”平均动作”——既不像任何一种合理动作。扩散模型天然能够表达多峰分布，Action Chunking（一次预测多步动作）进一步提升了长时序任务的流畅性。这两个设计已成为后续 VLA 动作解码（π₀ 的 Flow Matching、ACoT-VLA 的动作推理）的共同基础。

研究背景/问题

模仿学习方法（如 BC-RNN、IBC）在精细操作任务上性能不稳定。核心问题在于机器人演示数据天然具有多模态性：同一任务，专家可以从左侧抓取也可以从右侧抓取，两种轨迹都是正确的。传统回归损失（MSE）会将两种模式平均，导致输出”模糊中间状态”动作而失败。核心问题：如何为机器人策略学习建模多模态、高维的动作分布，使其能够可靠执行需要精细接触的复杂操作？

主要方法/创新点

扩散模型作为策略：

传统策略: π(o_t) → a_t  （确定性映射）
扩散策略: a_t ~ p_θ(·|o_t)  （条件分布采样）
          通过迭代去噪: a^K → a^(K-1) → ... → a^0

两种架构变体：

关键设计：

• Action Chunking：一次预测 $T_p=16$ 步动作序列（而非单步），缓解 compounding error，提升长任务流畅性
• DDIM 加速推理：使用 DDIM 从原始 100 步 DDPM 压缩到 10 步，满足实时控制需求
• Receding horizon 执行：每次仅执行预测动作序列的前 $T_a=8$ 步，保持闭环反馈

训练目标： \(\mathcal{L} = \mathbb{E}_{t, a_0, \epsilon}\left[\|\epsilon - \epsilon_\theta(a_t, t, o_t)\|^2\right]\)

核心结果/发现

仿真基准（与 BC-RNN、IBC 对比）：

真实机器人实验（Franka 臂）：

• 在 6 个精细操作任务（餐具摆放、罐头开盖、插头连接等）上平均成功率 76.3%
• 显著优于 BC-RNN（56.2%）和 IBC（51.0%）

多峰性验证：在”杯子放置”任务中，Diffusion Policy 稳定生成两种不同的合理轨迹（正面放/侧面放），而 BC-RNN 只能生成”中间状态”失败动作。

局限性

• 扩散推理需要多步迭代（即使用 DDIM 也需 10 步），与直接预测相比推理延迟更高，限制了超高频控制（>50Hz）
• 仅使用视觉和本体感知输入，没有语言指令跟随能力，无法处理多任务场景
• 在语义场景理解和任务泛化方面没有改善（专为低层动作建模设计）
• 对演示数据质量敏感，噪声或不一致的演示会影响分布建模质量
• 缺乏显式的任务推理机制，不适合需要长时程规划的复杂多步骤任务

5.6 UMI (2024) {#5-6-umi-2024}

———Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

📄 Paper: https://arxiv.org/abs/2402.10329 💻 Project: https://umi-gripper.github.io

精华

UMI 是由斯坦福、哥大和丰田研究院（TRI）共同提出的一种极低成本、高效率的机器人学习框架，其核心亮点包括：

• 便携式采集硬件：仅需一个带 GoPro 的手持夹爪（BOM 约 370 美元），即可在任何真实场景（如咖啡馆、厨房、公园）采集数据，无需真实机器人参与采集。
• 巧妙的传感器设计：利用 GoPro 的鱼眼镜头获取超广视角，并通过侧向反光镜（Side Mirrors）实现隐式双目视觉（Stereo），从而获得深度感知。
• 硬件无关的策略接口：引入了基于相对轨迹 (Relative Trajectory) 的动作表示和推理时延迟匹配 (Latency Matching)，使得在一处采集的数据和训练的模型可以无缝部署到不同品牌、不同自由度的机器人上。
• 强大的泛化能力：在多样化的“野生”数据训练下，机器人表现出了极强的 Zero-shot 泛化能力，能够应对从未见过的环境、光照和物体。

1. 研究背景/问题

传统机器人模仿学习面临两大难题：

1. 遥操作成本高：需要昂贵的硬件和熟练的操作员，且通常局限在实验室。
2. 人类视频存在具身间隙 (Embodiment Gap)：直接学习人类徒手操作视频很难转换成机器人的关节/夹爪控制。 UMI 采用了“手持夹爪”这一中间形态，既保留了人类操作的灵活性，又在视觉和动作上与机器人高度对齐。

2. 主要方法/创新点

硬件设计：信息丰富的演示接口

1. 鱼眼镜头 (Fisheye)：155度超广角，在提供丰富上下文的同时，避免了近距离操作时的遮挡。
2. 侧向反光镜 (Side Mirrors)：在图像边缘添加两面镜子，相当于增加了两个虚拟摄像头，提供了关键的深度信息。
3. IMU 感知跟踪：利用 GoPro 记录的 IMU 数据配合 SLAM，在快速运动或视觉特征缺失时仍能保持高精度的 6DoF 姿态跟踪。
4. 连续夹爪控制：通过视觉标记跟踪夹爪开合度，支持比二进制开合更精细的力度和时机控制（如抛掷物体）。

算法设计：跨平台的策略接口

1. 延迟匹配 (Latency Matching)：精准测量并补偿相机采集、推理和执行的延迟，确保动作同步，这对于“抛掷”等动态任务至关重要。
2. 相对轨迹表示：动作不以全局坐标定义，而是相对于当前夹爪的位置。这使得机器人无需复杂标定，甚至在移动机器人底座时也能正常工作。
3. Diffusion Policy：利用扩散模型建模人类演示中复杂的多峰分布（如绕过障碍物可以选左边也可以选右边）。

3. 核心实验结果

1. 复杂任务能力：
   • 动态抛物 (Dynamic Tossing)：成功将物体准确抛入机器人触及不到的篮筐，成功率 87.5%。
   • 双臂折叠 (Bimanual Folding)：两臂高度协同完成衣物折叠，体现了相对姿态表示的重要性。
   • 长程洗碗 (Dish Washing)：涉及开关水龙头、涂抹洗洁精、擦拭、漂洗等 7 个步骤，且对干扰（如突然加料、移动底座）具有极强鲁棒性。
2. Zero-shot 泛化：
   • 在咖啡馆、喷泉等全新户外场景下，针对从未见过的杯子，UMI 策略达到了 71.7% 的成功率。而仅在窄域（实验室）数据训练的模型成功率为 0%。
3. 跨平台部署：
   • 同一套训练好的模型，可以直接在 UR5 和 Franka 机器人上运行，成功率保持在 90% 左右。

4. 总结与意义

UMI 证明了数据多样性优于模型微调。与其在单一环境下费力优化模型，不如利用 UMI 极其便携的特性，在数小时内采集大量真实世界场景的数据。这种“农村包围城市”的策略，为实现真正通用的机器人操作策略指明了方向。

5.7 DP3 (2024) {#5-7-dp3-2024}

———3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

📄 Paper: https://arxiv.org/abs/2403.03954 💻 Project: https://3d-diffusion-policy.github.io

精华

DP3 是上海期智研究院、清华大学和上海交大等机构合作的研究成果，其核心贡献在于证明了 3D 空间理解能力对机器人策略学习的巨大价值：

• 数据极其高效：在 72 个仿真任务中，仅需 10 次人类演示 即可完成大多数任务，比基线方法（如 2D Diffusion Policy）有 24.2% 的相对提升。
• 3D 视觉表征：放弃了复杂的 2D 图像处理，采用从单视角深度图提取的稀疏点云 (Sparse Point Clouds)。使用轻量级 MLP 编码器即可获得紧凑且强大的 3D 特征。
• 卓越的泛化性：得益于 3D 模态的本质属性，DP3 在空间位置、视角、物体外观和实例等多个维度上展现出天然的泛化能力。
• 部署安全可靠：在真实机器人实验中，DP3 极少发出超出安全限制的异常指令，这与 2D 基线方法频繁出现异常行为形成鲜明对比。

1. 研究背景/问题

视觉模仿学习虽然能让机器人学会多种技能，但通常需要海量数据（如 2D Diffusion Policy 通常需要 100-200 次演示）。 其核心瓶颈在于：

1. 2D 信息的局限性：2D 图像难以提供精确的深度和空间拓扑信息，导致模型需要更多数据来“脑补”空间关系。
2. 泛化困难：2D 策略极易受到视角变换、光照变化和背景干扰的影响。 DP3 旨在通过引入 3D 视觉表征，让模型“天生”理解三维空间，从而降低数据需求并提升泛化性。

2. 主要方法/创新点

感知 (Perception)：紧凑的 3D 表征

1. 点云处理：从单视角深度相机获取深度图并转换为点云。为了排除背景干扰，模型会进行裁剪（Crop）并使用最远点采样 (FPS) 下采样至 512 或 1024 个点。
2. 无颜色处理：实验发现，舍弃颜色通道反而有助于提高模型对物体外观（如不同颜色的杯子）的泛化能力。
3. 轻量级编码器：使用简单的三层 MLP + Max Pooling 提取 64 维特征。这种“小而精”的设计在机器人控制任务中优于大型预训练点云模型。

决策 (Decision)：3D 条件下的扩散策略

1. 条件动作生成：扩散模型以提取的 3D 特征和机器人的关节位姿（q）为条件，通过迭代去噪过程，将高斯噪声转换为连贯的动作序列。
2. 时空理解：扩散模型负责捕捉复杂的动作多峰分布，而 3D 特征负责提供精准的空间位置参考。

3. 核心实验结果

1. 小样本学习：
   • 在仿真环境下，仅 10 次演示，DP3 平均成功率遥遥领先。
   • 在真实环境下（如做饺子、卷物、钻孔等灵巧手任务），仅需 40 次演示，成功率达到 85%。
2. 全方位泛化：
   • 空间泛化：在训练范围之外的 3D 空间内，DP3 依然能精准操作。
   • 外观泛化：能够处理颜色、纹理完全不同的新物体。
3. 推理效率：
   • 虽然引入了 3D 处理，但得益于极简的编码器设计，DP3 在 NVIDIA 2080 Ti 上仍能保持较高的推理速度，满足实时控制需求。

4. 总结与意义

DP3 的成功再次强调了感知表征 (Visual Representation) 在机器人学习中的重要性。通过将 3D 表征与强大的扩散策略结合，DP3 为解决具身智能中的“数据饥渴”问题提供了一条高效、简洁且泛化能力极强的技术路径。

5.8 UniSim (2024) {#5-8-unisim-2024}

———Learning Interactive Real-World Simulators

📄 Paper: https://arxiv.org/abs/2310.06114 💻 Project: https://universal-simulator.github.io

精华

UniSim 是 Google DeepMind 在 ICLR 2024 上提出的一项重要工作，旨在构建一个能够模拟现实世界交互的通用模拟器：

• 统一接口：提出了“动作输入-视频输出” (Action-in-Video-out) 的统一框架，将不同模态的动作（语言、机器人控制、相机路径）映射到统一的动作空间。
• 海量异构数据融合：巧妙地整合了互联网图文数据、机器人操作数据、人类活动视频和 3D 扫描数据，利用不同数据的侧重点（如互联网数据的丰富场景和机器人数据的高频动作）来补全模拟器的能力。
• 自回归长程模拟：采用视频扩散模型作为核心，通过条件观察预测（Observation Prediction）实现了时序连贯的长程模拟。
• 闭环应用：证明了在 UniSim 中训练的高层视觉语言策略（VLM）和底层强化学习（RL）策略，可以无需修改直接部署到真实机器人（Zero-shot Sim-to-Real）。

1. 研究背景/问题

构建现实世界模拟器的最大障碍在于数据集的异质性。互联网数据（LAION）有丰富的物体和场景但缺乏动作；机器人数据有精准的动作但场景单一且规模小；人类活动数据有复杂的交互但动作标签模糊。UniSim 的核心思路是：能否通过一个统一的模型，将这些在不同维度上“丰富”的数据缝合在一起，构建一个无所不包的模拟器？

2. 主要方法/创新点

数据编排 (Data Orchestration)

为了处理来自不同源的异构数据，UniSim 采用了以下策略：

1. 统一动作空间：所有动作最终被转换为连续的表示。语言指令通过 T5 嵌入处理，底层控制（如 Δx, Δy）则被离散化并与语言嵌入拼接。
2. 多模态对齐：对于静态图像，将标题视为动作；对于 3D 扫描，利用相机姿态差构建动作；对于视频，则利用动作标签或预测的运动轨迹。

核心架构：基于视频扩散的观察预测

UniSim 被建模为一个条件概率模型 $p(o_t | h_{t-1}, a_{t-1})$，即给定历史观察 $h_{t-1}$ 和当前动作 $a_{t-1}$，预测下一段观察帧 $o_t$。

• Video U-Net：使用包含 56 亿参数的视频 U-Net 架构，通过交错的时间/空间注意力层来保证视频的质量和连贯性。
• 自回归生成：通过将上一段生成的最后一帧作为下一段生成的条件（History Conditioning），UniSim 能够生成长达数十步的连贯交互序列。

3. 应用场景展示

动作丰富且长程的模拟

UniSim 不仅能模拟简单的移动，还能根据语言指令模拟复杂的交互。

策略训练与 Zero-shot 迁移

UniSim 最强大的地方在于它能作为一个“训练场”：

• VLM 策略：通过在模拟器中生成带有事后标签（Hindsight Relabeling）的长程数据，显著提升了视觉语言模型处理复杂任务的能力。
• RL 训练：底层 RL 代理可以在 UniSim 中进行数百万次的闭环交互学习，由于模拟器视觉上极度接近真实世界，训练出的策略可以直接在真实机器人上运行。

4. 核心实验结果

1. Sim-to-Real 性能：在 Language Table 机器人任务中，使用 UniSim 增强训练的 VLM 策略在真实环境下的目标达成率（RDG）提升了 3-4 倍。
2. 底层控制提升：通过在模拟器中进行 REINFORCE 优化，VLA 策略在“指物”等缺乏专家演示的任务上成功率从 12% 提升到了 71%。
3. 数据增强：仅使用 UniSim 生成的视频数据对 PaLI-X 进行微调，在视频描述（Video Captioning）任务上的表现接近使用真实数据的 84%，且具有更好的泛化性。

5. 局限性与思考

尽管 UniSim 迈出了重要一步，但仍面临以下挑战：

• 幻觉问题：当输入不切实际的指令时（如在桌面上要求“洗手”），模型会产生背景剧烈变动的幻觉。
• 长程记忆限制：由于条件观察只覆盖了有限的历史帧，极长程的记忆保持（如多轮交互后的物体一致性）仍有待提高。
• 物理真实性：目前的模拟主要集中在视觉层面，缺乏力学、触觉等非视觉维度的物理反馈。

5.9 OpenVLA (2024) {#5-9-openvla-2024}

———开源视觉-语言-动作模型

📄 Paper: https://arxiv.org/abs/2406.09246v3

精华

这篇论文展示了如何构建开源的大规模机器人控制模型,值得借鉴的核心思想包括:

1. 利用预训练的视觉-语言模型作为基础,通过将机器人动作视为语言token的方式实现端到端训练
2. 在大规模多样化机器人数据集(97万条轨迹)上训练可以显著提升泛化能力
3. 融合多个视觉编码器(SigLIP + DINOv2)能够同时捕获语义和空间信息,提升机器人控制性能
4. 参数高效微调(LoRA)和量化技术使得7B参数模型可以在消费级GPU上部署和微调
5. 完全开源模型、代码和训练流程为社区研究提供了重要基础设施

研究背景/问题

现有的机器人操作策略难以泛化到训练数据之外的物体、场景和任务。虽然视觉-语言基础模型在互联网规模数据上展现了强大的泛化能力,但现有的视觉-语言-动作模型(VLA)要么是闭源的,要么缺乏高效微调到新机器人设置的方法,阻碍了VLA在机器人领域的广泛应用。

主要方法/创新点

OpenVLA是一个7B参数的开源视觉-语言-动作模型,在Open X-Embodiment数据集的97万条机器人演示轨迹上训练。模型架构包含三个关键组件:

1. 融合视觉编码器（”三个臭皮匠”协作逻辑）: 采用多骨干视觉编码策略，将视觉特征物理隔离并各自优化：
   • DINOv2: 提供强大的几何和空间特征（理解”在哪里”，擅长物体定位与深度感知）。
   • SigLIP: 提供强大的语义理解（理解”是什么”，擅长对齐自然语言指令）。
   • CLIP/其他: 提供互补的视觉特征。 这种”组合拳”模式使得 7B 的模型在信息处理效率上击败了单一编码器的 55B 巨量模型。

2. 投影器: 2层MLP将视觉特征投影到语言模型的输入空间。

3. 语言模型骨干（”诸葛亮”大脑）: 基于Llama 2 7B，作为统一决策中心，融合空间信息与语义信息进行指令推理。

训练策略:

• 动作离散化:将连续动作的每个维度量化为256个bin,使用1-99分位数作为量化范围
• 使用Llama tokenizer中最少使用的256个token表示离散化动作
• 端到端微调所有参数(包括视觉编码器),在64个A100 GPU上训练14天
• 完成27个epoch,直到动作token准确率超过95%

数据处理:

• 从Open X-Embodiment筛选具有第三人称相机和单臂末端执行器控制的数据集
• 采用Octo的数据混合权重,对多样性高的数据集上采样
• 过滤Bridge数据集中的全零动作,提升模型性能

OpenVLA训练流程：在970k条机器人轨迹（Open X-Embodiment数据集）上微调预训练VLM（Llama-2 7B）以预测机器人动作，采用动作token化表示实现端到端学习。详见论文Figure 2。

flowchart LR
    A["预训练 VLM<br/>Prismatic-7B（Llama-2）"] --> B["动作 Token 化<br/>256 bins 均匀离散化"]
    B --> C["OXE 数据微调<br/>970k 机器人轨迹"]
    C --> D["自回归动作预测头<br/>next-token prediction"]
    D --> E["7-DOF 连续动作<br/>Δxyz + ΔRxyz + gripper"]
    style A fill:#e3f2fd,stroke:#1565c0
    style C fill:#e8f5e9,stroke:#2e7d32
    style E fill:#fff3e0,stroke:#e65100

微调和部署优化:

• LoRA微调: rank=32的LoRA可以匹配全参数微调性能,仅需训练1.4%参数,单个A100 GPU即可完成
• 量化推理: 4-bit量化将GPU内存需求从16.8GB降至7.0GB,性能无明显下降
• 推理速度: 在RTX 4090上以6Hz运行(bfloat16),4-bit量化可进一步提升速度

核心结果/发现

1. 跨机器人泛化能力:
   • 在BridgeData V2 WidowX机器人上,OpenVLA达到70.6%平均成功率,比RT-2-X(55B参数)高16.5%,参数量仅为其1/7
   • 在Google机器人上与RT-2-X性能相当(85.0% vs 78.3%)
   • 显著优于Octo(20.0%)和RT-1-X(18.5%)等开源方法
2. 多种泛化能力测试:
   • 视觉泛化(未见背景、干扰物):52.0% vs RT-2-X 29.0%
   • 运动泛化(未见物体位置/方向):60.0% vs RT-2-X 25.0%
   • 物理泛化(未见物体尺寸/形状):55.0% vs RT-2-X 26.7%
   • 语义泛化(未见物体和概念):36.3% vs RT-2-X 38.8%
   • 语言grounding(多物体场景):85.0% vs RT-2-X 76.7%

BridgeData V2评估结果：OpenVLA在多种泛化任务上均优于现有方法（Octo、RT-2等），特别是在未见物体和场景的零样本泛化上表现突出。详见论文Figure 3。

1. 数据高效适应:
   • 在Franka机器人7个任务上(10-150条演示),OpenVLA微调后平均成功率63.8%
   • 在单指令任务上,Diffusion Policy表现更好(66.7% vs 53.5%)
   • 在多指令任务上,OpenVLA显著优于Diffusion Policy(91.7% vs 19.4%)
   • OpenVLA是唯一在所有任务上达到≥50%成功率的方法

数据高效适应实验：OpenVLA高度多样化多指令任务上表现最佳，仅需少量演示（10-50条）即可在新任务上实现高成功率，显著优于从头训练和其他预训练VLA模型。详见论文Figure 4。

1. 计算效率:
   • LoRA微调(rank=32)匹配全参数微调性能,GPU内存需求从163.3GB降至59.7GB
   • 4-bit量化推理性能无下降(71.9% vs 71.3%),内存占用减半
   • 在消费级GPU上即可部署和微调
2. 开源影响:
   • 首个开源的大规模VLA模型,包含完整训练代码和流程
   • 支持HuggingFace集成,提供微调notebook
   • 为社区研究VLA提供重要基础设施

开发者快速开始 (OpenVLA 使用示例):

import torch
from transformers import AutoModelForVision2Seq, AutoProcessor

# 加载预训练模型
model_id = "openvla/openvla-7b"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForVision2Seq.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, trust_remote_code=True
).to("cuda")

# 准备指令和图像
prompt = "In: What action should the robot take to pick up the red bowl?\nOut:"
inputs = processor(images=image, text=prompt, return_tensors="pt").to("cuda", dtype=torch.bfloat16)

# 生成动作
action = model.predict_action(**inputs, unnorm_key="bridge_orig")
print(f"Predicted Action: {action}")

局限性

模型目前仅支持单图像观察输入,不支持多相机视角、本体感知信息或观察历史。推理速度(6Hz)对于高频控制任务(如50Hz的ALOHA)仍不够快。虽然优于现有泛化策略,但在测试任务上的成功率通常<90%,可靠性还有提升空间。由于计算限制,许多VLA设计问题(如基础VLM规模、协同训练策略、最佳视觉特征等)尚未充分探索。

5.10 π₀ (2024) {#5-10-pi0-2024}

: A Vision-Language-Action Flow Model for General Robot Control ———首个基于 Flow Matching 的通用机器人策略基础模型

📄 Paper: https://arxiv.org/abs/2410.24164

精华

这篇论文展示了如何构建真正的通用机器人策略基础模型，值得借鉴的点包括：在预训练 VLM 之上通过 flow matching 添加连续动作输出能力、利用互联网规模的语义知识指导机器人控制、设计专门的注意力掩码处理视觉-语言-动作的异构 token、在多个机器人平台上联合训练实现跨平台泛化。这种方法论为构建能够快速适应新任务的通用机器人智能提供了清晰路径，特别是 flow matching 相比扩散模型在实时控制中的优势值得在其他具身 AI 系统中借鉴。

研究背景/问题

现有的机器人学习方法主要依赖针对特定任务和特定机器人平台的专门训练，难以实现跨任务和跨平台的泛化。虽然大规模视觉语言模型展示了强大的语义理解能力，但如何将其应用于需要实时、精确、连续动作输出的机器人控制仍是挑战。本文探索如何构建能够处理多样化任务的通用机器人策略基础模型。

主要方法/创新点

论文提出了 π₀ (Pi-Zero)，一个基于 flow matching 的视觉-语言-动作 (VLA) 模型，用于通用机器人控制。

1. 整体架构设计

预训练 VLM 骨干网络:

• 使用 PaliGemma 作为基础，这是一个结合了 SigLIP (视觉编码器) 和 Gemma (语言编码器) 的 3B 参数 VLM
• 继承互联网规模的语义知识，理解自然语言指令和视觉场景

Flow Matching 动作专家:

• 在预训练 VLM 之上添加专门的动作生成模块
• 使用 flow matching 技术生成连续、平滑的动作轨迹
• 实现 50Hz 的实时控制频率，满足灵巧操作需求

2. Flow Matching 方法：从”迷宫”到”高速公路”

核心数学原理: π₀ 放弃了 Diffusion Policy 中基于随机微分方程（SDE）的弯曲去噪路径，转而采用基于常微分方程（ODE）的 Flow Matching 技术。其核心直觉是将概率路径”拉直”： \(x_t = (1 - t)x_0 + tx_1\) 其中 $x_0 \sim \mathcal{N}(0, I)$ 是高斯噪声，$x_1$ 是真实动作轨迹。模型学习的是一个时间相关的向量场 $v_t(x)$，它指向从噪声到动作的最短路径。

为什么 π₀ 能实现 50Hz？

• 采样步数骤减: 扩散模型通常需要 10-50 步迭代来消除噪声，而流匹配的直线特性使得模型在 1-3 步内就能收敛到极高精度的动作序列。
• 计算开销对冲: 尽管单步推理的 VLM 骨干很大（3B），但由于采样步数极少，总延迟反而低于多步采样的轻量级扩散模型。

性能飞跃:

• 极高精度: 能够执行 折纸、玩扑克牌、折叠衣物 等 OpenVLA 和 Octo 难以胜任的灵巧任务。
• 动作连续性: 生成一段长度约 1 秒（50 步）的平滑控制计划，大幅减少了机器人的抖动和迟滞。

3. 专门的注意力机制

VLA vs VLM 的关键区别:

Token 类型设计:

1. 前缀 Token (图像 + 文本指令):
   • 完全双向注意力，类似标准 Transformer
   • 编码场景理解和任务描述
2. 状态 Token (机器人观察):
   • 可访问所有前缀 token
   • 与之前时间步的状态呈三角形因果关系
   • 编码当前机器人状态
3. 动作 Token (电机命令):
   • 可访问所有非 padding 的 token
   • 完全可见的因果注意力
   • 生成具体的控制信号

FlexAttention 优化:

• 使用 PyTorch 的 FlexAttention 高效处理 VLA 的块稀疏注意力模式
• 相比 FlashAttention2（设计用于严格因果模式），FlexAttention 更适合不规则块掩码
• 提供纯 PyTorch 接口，易于定制和优化

4. 大规模多任务训练

训练数据来源:

• Open X-Embodiment Dataset: 开源机器人轨迹数据
• 互联网规模预训练: 从 PaliGemma 继承的视觉语言知识
• π Dataset: Physical Intelligence 自己收集的多机器人数据

多平台训练:

• 7-8 个机器人平台: 单臂（UR5e）、双臂（Franka）、移动操纵器
• 68 个独特任务: 覆盖灵巧操作、物体取回、整理等多样场景
• 跨平台联合训练实现形态无关的通用策略

数据整合策略:

• 统一的观察-动作序列表示
• 处理不同机器人平台的动作空间差异
• 利用 VLM 的语义理解能力实现跨任务知识迁移

5. π₀-FAST：加速版本

FAST (频率空间行动序列标记化):

• 将连续动作序列转换为离散 token，支持自回归生成
• 通过 DCT 变换到频域，保留低频重要系数
• 使用 BPE 编码频域系数，实现高效压缩

FAST 优势:

• 比基于扩散的 VLA 快 5 倍
• 改进的动作表示减少冗余
• 更强的跨环境和机器人形态泛化
• 已在 100 万个动作序列上训练，支持多种机器人类型

主要创新包括：

• 首次将 flow matching 应用于大规模通用机器人策略
• 设计了适合 VLA 的块稀疏注意力机制
• 实现了真正的多平台、多任务联合训练
• 开源了模型权重和代码（openpi repository）

核心结果/发现

零样本性能（无任务特定微调）

在 5 个零样本评估任务上的平均成功率：

关键发现:

• π₀ 在所有任务上显著优于开源模型 OpenVLA 和 Octo
• 即使在最简单的任务上，π₀ 也展示了 2-3 倍的性能优势
• 在复杂任务（如折叠衬衫、装袋杂货）上，其他模型完全失败而 π₀ 仍保持高成功率

微调性能（少量任务特定数据）

在相同微调数据下，与其他机器人学习方法对比：

关键观察:

• π₀ 微调后在几乎所有任务上接近完美表现
• 相比专门的行为克隆方法（ACT、Diffusion Policy），性能提升超过 2 倍
• 预训练带来的零样本能力使微调更高效

消融实验

VLM 预训练的价值:

• π₀-small（无 VLM 预训练）vs 完整 π₀：性能差距超过 2 倍
• 证明了互联网规模语义知识对机器人控制的重要性

Flow Matching vs 扩散模型:

• 实时性：50Hz 控制频率，满足灵巧操作需求
• 平滑性：生成的动作轨迹更连续、更适合物理系统
• 效率：相比多步扩散采样，推理速度显著提升

真实世界长时运行

部署验证:

• 在真实家庭环境中折叠多种衣物（T恤、毛巾、裤子）
• 收拾真实餐桌，处理不同大小和形状的餐具
• 在超市场景中装袋杂货，处理软硬不同的物品
• 组装各种尺寸的纸箱，展示精细操作能力

跨平台泛化:

• 在未见过的机器人平台上通过少量微调实现高性能
• 展示了通用策略基础模型的实用价值

开源影响

• 2025 年 2 月开源代码和权重（GitHub: Physical-Intelligence/openpi）
• 集成到 Hugging Face LeRobot 框架
• FAST 标记器已集成到 Hugging Face Transformers

局限性

当前模型仍需要针对具体任务进行微调才能达到生产级别的可靠性，特别是在处理完全未见过的任务类型时。模型的成功依赖于高质量的训练数据，在数据分布外的长尾场景（如极端光照、复杂遮挡）下性能可能下降。50Hz 的控制频率虽然适合大多数操作任务，但对于需要更高频率反馈的动态任务（如接球、快速避障）可能不够。未来工作可以探索更大规模的预训练、主动学习策略和更高效的在线适应机制。

Sources:

• arXiv paper
• Physical Intelligence blog
• Hugging Face blog post
• GitHub repository
• InfoQ coverage

5.11 π₀.5 (2025) {#5-11-pi05-2025}

———a Vision-Language-Action Model with Open-World Generalization

📄 Paper: https://arxiv.org/abs/2504.16054 💻 Project: https://pi.website/blog/pi05

精华

这是 Physical Intelligence 团队关于 开放世界泛化 (Open-World Generalization) 的最新突破性工作。π0.5 是建立在 π0 基础上的全新 VLA 模型：

• 异构数据协同训练：仅有少部分数据（第一阶段训练的 2.4%）来自真实的移动操作机器人。其余 97.6% 的数据来自其他固定机器人、高层语义预测、人类的口头指令以及网络多模态数据（如图像描述、问答、目标检测）。
• 层次化推理架构：在执行阶段，模型首先预测“高层语义子任务”（如“拿起盘子”），然后再基于该子任务预测底层的机器人动作（Low-level Action Chunks）。
• 超强的泛化能力：这是首次证明端到端学习的机器人系统可以在完全陌生的真实家庭环境中，执行长达 10 到 15 分钟的长程、多阶段灵巧操作任务（如打扫厨房或卧室）。

1. 研究背景/问题

如果要让机器人真正变得有用，它们必须离开实验室，去应对真实世界中各种各样、不可预见的情况。尽管近期的 VLA 模型在端到端控制上取得了令人瞩目的成绩，但它们在“野生环境”中的泛化能力究竟能走多远，依然是一个未解之谜。

如果一个移动机器人被要求打扫一个它从未见过的厨房，它需要多层次的泛化能力：

1. 简单的抓取技能需要泛化到新物体上。
2. 现有的技能需要被组合成新的序列。
3. 机器人需要理解场景的语义（例如，哪个是抽屉，哪个可能是晾碗架）。

传统的通过“暴力堆数据”来覆盖所有家庭场景的做法是不现实的。π0.5 的核心思想是：像人类一样，利用来自其他渠道的知识（书本、他人的经验等），通过多模态的协同训练来实现泛化。

2. 主要方法/创新点

多样化/异构的知识来源 (Heterogeneous Knowledge Sources)

π0.5 的训练数据不仅仅是“机器人动作视频”。它整合了：

1. 多模态网络数据：利用互联网级别的图像问答、目标定位等任务，为模型提供先验的场景理解能力。
2. 高层语义预测与语言指令：将包含长程任务结构的人类口头指导引入训练。
3. 其他机器人数据：利用实验室内的固定机械臂或其他平台的数据来丰富底层运动技能库。

层次化的架构设计 (Hierarchical Architecture)

模型的设计非常直接：先在包含网络数据和多机器人的混合数据上预训练，然后再使用包含底层动作和高层语义标签的数据进行微调。 在推理（Inference）时：

1. 高层推理：模型首先推断出当前最合适的“语义子任务”（Semantic Subtask），比如“捡起切菜板”。
2. 底层执行：随后，模型根据该子任务标签，输出对应的底层机器人控制动作。 这种将复杂任务拆解的设计，使得底层动作可以受益于其他简单机器人的数据，而高层推理则可以受益于网络文本和图像数据。

3. 核心实验结果

• 长程任务的突破：实验证明，π0.5 可以仅凭一条高层 Prompt，连续控制移动操作机器人 10 到 15 分钟，完成诸如打扫厨房、铺床、挂毛巾等极其复杂的日常家务。
• 环境迁移：所有评估任务都是在训练数据中完全不存在的全新家庭中进行的，证明了系统具备极其强大的 Open-World Generalization 能力。
• 协同训练的必要性：消融实验表明，如果不进行异构数据的协同训练，模型将无法在这些陌生的真实环境中完成复杂的长程任务。

4. 总结与意义

π0.5 证明了通过混合异构数据源（而非单纯扩大目标机器人的训练数据），能够促使端到端的机器人系统涌现出强大的泛化能力。这种将互联网规模的语义知识与机器人底层的动作技能通过“层次化推理”结合的方式，为未来通用家用机器人的大规模落地提供了一个极为可行的技术范式。

5.12 π₀.6 (2025) {#5-12-pi06-2025}

———a VLA That Learns From Experience

📄 Paper: https://arxiv.org/abs/2511.14759 💻 Project: https://pi.website/blog/pistar06

精华

这是 Physical Intelligence 团队在具身智能领域的又一重磅突破，核心在于解决了大规模视觉-语言-动作（VLA）模型如何在真实世界中通过强化学习（RL）持续自我进化的难题：

• RECAP 框架：提出了一种名为 RECAP（基于优势对齐策略的经验与修正强化学习）的通用方法。它允许 VLA 模型整合极其多样的数据源：专家演示、自主执行数据、以及人类在机器人出错时进行的实时遥操作干预。
• 优势对齐 (Advantage Conditioning)：不同于传统的策略梯度（PPO 等）难以应用于大型 Flow-matching 模型，RECAP 通过在模型输入中加入一个简单的“优势指示符”（Advantage Indicator），让模型直接学习“什么样的动作是更好的”。
• 性能飞跃：在最困难的任务上，RECAP 使机器人的吞吐量（单位时间成功次数）提升了一倍以上，同时将任务失败率降低了约 50%。
• 工程壮举：训练出的 π*0.6 模型能够连续 13 小时不间断地制作浓缩咖啡，或是在完全陌生的家庭中连续两小时自动折叠各类复杂衣物。

1. 研究背景/问题

“熟能生巧”是人类学习的核心。虽然现有的 VLA 模型可以通过模仿学习（BC）掌握技能，但它们很难超越人类演示者的水平，也无法在部署后自我纠错。

将强化学习应用于大型 VLA 模型面临三大挑战：

1. 算法稳定性：传统 RL 算法在大规模模型上往往极不稳定。
2. 数据异构性：如何同时利用“完美的演示”和“充满错误但包含修正的自主尝试”？
3. 真实世界反馈：在没有仿真环境的情况下，如何高效地获取奖励信号？

2. 主要方法/创新点

RECAP 训练循环

1. 数据采集：让机器人自主尝试任务。如果出错，人类可以介入进行干预修正。
2. 价值函数（Value Function）训练：训练一个多任务的分布价值函数，用来评估当前观察距离成功的“步数”。
3. 优势对齐训练：根据价值函数的评估，为每个动作贴上“优势正向/负向”的标签。在训练时，模型被要求根据这个标签来学习预测动作。

核心模型：π*0.6

π*0.6 是 π0.6 模型的 RL 版本，其底层是 40 亿参数的 Gemma 3 VLM 加上一个 8.6 亿参数的流匹配（Flow-matching）动作专家。

• 条件化优势：在模型的 Prompt 中加入“Advantage: positive/negative”作为输入，使得模型在推理时可以通过设置正向优势来提取最优动作。
• 知识绝缘 (Knowledge Insulation)：确保动作生成与高层推理互不干扰，提升系统稳定性。

3. 核心实验结果

• 极高的鲁棒性：
  • 制作咖啡：包括磨粉、压粉、锁柄、萃取、端杯等一系列精细动作，支持长达 13 小时的连续运行。
  • 纸箱组装：在真实的工厂场景中，处理会互相粘连、变形的纸板，将吞吐量从初始的每小时 5 次提升到 10 次以上。
• 显著的指标提升：
  • 在复杂衣物折叠任务中，成功率从 70% 提升至 90% 以上。
  • 实验证明，RECAP 的优势对齐方法在性能上远超传统的 AWR（优势加权回归）和 PPO 算法。

4. 总结与意义

π*0.6 和 RECAP 标志着机器人学习从“静态模仿”向“动态进化”的跨越。它证明了即便没有模拟器，大型 VLA 模型也可以通过在真实世界中的自主尝试和少量的人类引导，迅速掌握那些极其精细、长程且充满不确定性的工业及家务技能。

5.13 π₀.7: a Steerable Generalist Robotic Foundation Model (2026)

———可控的通用型机器人基础模型，具备零样本跨构型迁移与任务组合能力

📄 Paper: arXiv:2604.15483

精华

1. 提出了 π0.7，一个 5B 参数的通用视觉-语言-动作（VLA）模型，通过引入多模态上下文（子任务指令、子目标图像、训练元数据）实现了强大的开箱即用能力。
2. 核心创新在于“可控性”：通过在训练中随机丢弃和注入详细的执行细节（如动作质量、速度、是否有错误），使模型在推理时可以通过 Prompt 引导（Steering）来执行高质量、高难度的灵巧任务。
3. 实现了显著的零样本跨构型迁移：模型能将在轻量级平台上学到的灵巧技能（如叠衣服）直接迁移到载荷更高的工业机械臂（如 UR5e）上。
4. 引入了基于语言“教练（Coaching）”的组合式泛化，用户可以通过分步指令引导模型完成从未见过、长达 5 分钟的长程任务。
5. 成功整合了包括机器人演示、自主运行失败数据、人类视频及互联网多模态数据在内的异构数据集，并证明了多模态 Prompt 能够解决数据质量不一带来的歧义问题。

1. 研究背景/问题

当前的机器人基础模型（VLA）虽然在规模和泛化性上有所进步，但仍面临几个核心挑战：

• 无法执行复杂任务：即便经过大规模预训练，模型在处理从未见过的灵巧任务或长程任务时往往需要针对性微调。
• 数据异构性难题：大规模数据（如人类视频、自主失败数据）往往包含不同的执行策略和质量，简单地进行训练会导致模型学到“平均”后的亚优性能。
• 跨构型泛化差：技能很难在不同形态、不同动力学特性的机器人之间无缝迁移。

2. 主要方法/创新点

① 整体框架概述

π0.7 是一个 50 亿参数的 VLA 模型，其核心架构由 4B 参数的视觉-语言模型（VLM）主干、一个 MEM 风格的视频历史编码器（400M 参数）以及一个轻量级的动作专家模块（860M 参数）组成。该系统通过接收当前的视觉观测、历史信息以及一组丰富的上下文信息（Prompt），直接生成连续的动作块。

② 核心模块讲解

多模态上下文引导（Steerable Prompting）： 这是 π0.7 的灵魂所在。为了处理异构数据并实现精准控制，模型在训练时会接收以下 Ct 信息：

• 子任务指令（Subtask Instructions）：在总任务（如“清理厨房”）的基础上，提供当前步骤的语义指令（如“拿起小刀”）。
• 子目标图像（Subgoal Images）：由一个 14B 参数的 BAGEL 世界模型生成，描绘机器人应达到的近未来状态，为模型提供空间落地的视觉线索。
• 情节元数据（Episode Metadata）：显式标记该段数据的质量（1-5分）、速度（执行步数）以及是否有错误。这使得模型能从失败数据中学习（标记为“错误”），并在推理时通过设定“高质量、无错误”来引导生成最优动作。

动作专家与流匹配（Flow Matching）： 与传统的离散 Token 预测不同，π0.7 使用流匹配目标来训练动作专家。该模块是一个小型 Transformer，它关注 VLM 主干的激活，并生成 50 步的连续动作块（Action Chunk）。这种设计不仅能捕捉动作的多模态分布，还能实现高速推理（在 H100 上低至 38ms）。

③ 端到端数据流

1. 输入阶段：接收最多 4 路摄像头画面（正面、手眼等）及历史 6 帧。
2. 特征编码：视频编码器压缩历史观测，与当前观测一同输入 Gemma3 VLM。
3. 上下文融合：子任务文本、生成的子目标图、期望的元数据（如速度=高质量）作为 Token 拼接。
4. 动作生成：动作专家基于 VLM 输出的隐空间表示，通过 5 步去噪迭代生成 50 步动作。

3. 核心结果/发现

• 强大的开箱即用（Out-of-the-box）：无需任何任务特定的后期训练，π0.7 即可完成极具挑战性的灵巧任务，如切黄瓜、剥皮、操作咖啡机。
• 卓越的跨构型泛化：在完全没有 UR5e 叠衣服数据的情况下，模型成功将军舰机械臂上学到的技能迁移到了 UR5e，性能接近经验丰富的人类远程操作员。

• 组合式新任务执行：通过语言“教练”，用户可以现场教会机器人完成全新的任务，如使用从未见过的空气炸锅。

4. 局限性

1. 零样本成功率仍有差距：虽然在灵巧任务上表现惊人，但在从未见过的任务/构型组合上，其成功率（60-80%）仍低于已知任务（>90%）。
2. 世界模型依赖：视觉子目标的生成对世界模型质量要求极高，生成失败会直接影响 VLA 的决策。
3. 难以界定“从未见过”：由于训练集规模巨大且复杂，很难严格证明某个任务在数据集中完全没有相关的影子。

5.14 ACoT-VLA (2026) {#5-13-acot-vla-2026}

副标题: Action Chain-of-Thought for Vision-Language-Action Models 中文标题: 在动作空间中进行推理的视觉-语言-动作模型

📄 Paper: arXiv:2601.11404

精华 这篇论文的核心创新在于将推理过程从语言/视觉空间转移到动作空间，值得借鉴的点包括：(1) 直接在动作空间进行推理，提供同质化的运动指导，弥合语义与运动学之间的鸿沟；(2) 显式推理器(EAR)与隐式推理器(IAR)的互补设计，同时提供轨迹级和语义级指导；(3) Teacher Forcing稳定化训练策略，避免推理模块对动作头的优化干扰；(4) 通过action-level guidance大幅提升长时域任务的鲁棒性和误差抗累积能力。 不同CoT范式对比：

详见ACoT-VLA论文Figure 1

研究背景/问题 现有VLA模型主要在视觉-语言空间进行推理（如语言CoT预测子任务、视觉CoT合成目标图像），但这些推理形式对动作执行的指导是间接且次优的。VLM预训练主要聚焦语义理解而非物理动力学，世界模型虽能预测未来视觉状态但仍局限于视觉表征，两者都存在语义-运动学鸿沟（semantic-kinematic gap），难以为精确的低层动作生成提供充分的细粒度指导。

主要方法/创新点

本文提出 Action Chain-of-Thought (ACoT) 范式，将推理过程重新定义为结构化的动作意图序列，直接在动作空间进行deliberation。ACoT-VLA框架包含三个核心组件：

ACoT-VLA整体架构（三大核心模块）：

VLM特征 ────┬─→ EAR (Explicit Action Reasoner)
            │    ↓ 粗粒度参考轨迹 Z^ex
            │
noisy action├─→ IAR (Implicit Action Reasoner)
            │    ↓ 隐式动作先验 Z^im
            │
            └─→ AGP (Action-Guided Prediction)
                 ↓ 融合显式+隐式指导
              最终动作预测

详细架构图见ACoT-VLA论文Figure 2

1. Explicit Action Reasoner (EAR)

• 设计为轻量级Transformer，以noisy action sequence作为输入
• 通过self-attention捕获时序依赖，cross-attention从VLM的key-value cache注入多模态上下文
• 采用flow matching训练，自主生成粗粒度参考轨迹 $a^{ref}_{t:t+H^{ref}-1}$
• 参考轨迹编码后形成显式动作空间指导 $Z^{ex}$

2. Implicit Action Reasoner (IAR)

• 直接操作VLM的key-value cache，提取隐式运动线索
• 对每层VLM特征，使用可学习query矩阵 $Q_i$ 通过cross-attention提取动作相关信息
• 下采样策略降低计算开销：将KV cache降维至 $d’ \ll d$
• 跨层聚合后形成隐式动作指导 $Z^{im}$，捕获visual affordances和action semantics

3. Action-Guided Prediction (AGP)

• 将noisy action embedding视为query $Q_{action}$，与 $Z^{ex}$ 和 $Z^{im}$ 进行dual cross-attention
• 通过self-attention融合显式与隐式指导：$\bar{h} = \text{Self-Attn}([S^{ex}; S^{im}])$
• 最终action head $\pi^{head}_\theta$ 基于聚合表征预测去噪动作序列

训练策略：

• Flow matching损失同时优化EAR和action head
• Teacher Forcing稳定化：训练时 $Z^{ex}$ 直接从ground-truth轨迹计算，推理时切换为自条件模式

核心结果/发现

仿真实验：

• LIBERO: 98.5%平均成功率（SOTA），相比π0.5提升1.6%，在LIBERO-Long（长时域）提升最显著（96.0% vs 92.4%）
• LIBERO-Plus: 84.1%，在鲁棒性测试中大幅超越，尤其在相机视角变化(+11.6%)、机器人初始状态扰动(+16.3%)、传感器噪声(+12.5%)上表现突出
• VLABench: Intention Score 63.5%、Progress Score 47.4%，在unseen-texture track上获得+12.6% IS和+7.2% PS的显著提升

真实世界部署：

• 在AgiBot G1机器人上平均成功率66.7%（vs π0.5的61.0%、π0的33.8%）
• 跨embodiment验证：在AgileX平台上同样有效，证明方法的通用性

真实世界实验：在AgiBot G1机器人上评估三项操作任务

关键发现：ACoT-VLA在跨具身平台（AgiBot G1、AgileX）上均表现优异，证明动作空间推理的通用性。

详见ACoT-VLA论文Table 3-4

消融研究关键发现：

• EAR单独使用提升1.4%（LIBERO），IAR单独提升1.2%
• EAR+IAR联合使用达到最优，证明显式与隐式指导的互补性
• 参考动作horizon在15-30时效果最佳，过长或过短均不利
• EAR参数量在300M时性能最优，过度参数化反而导致过拟合
• 推理延迟仅增加约20ms（91ms→112ms），性能-效率权衡优秀

局限性 该方法需要额外的推理模块，虽然计算开销相对较小但在资源受限平台上可能存在挑战。此外，当前动作表征仍采用action chunks（关节角度/末端执行器位姿），缺乏显式几何结构，未来可将动作表征扩展至几何可解释的3D空间，进一步释放ACoT的推理潜力。

5.15 VLM4VLA (2026) {#5-14-vlm4vla-2026}

副标题: Revisiting Vision-Language Models in Vision-Language-Action Models 中文标题: 重新审视视觉-语言-动作模型中的视觉-语言模型

📄 Paper: arXiv:2601.03309

精华

这篇论文最值得借鉴的核心思想包括:通过最小化适配管道公平评估不同 VLM 对下游任务性能的影响;发现 VLM 的通用能力与具身控制性能并不强相关,挑战了常见假设;识别出视觉编码器(而非语言组件)是性能瓶颈,揭示了 VLM 预训练目标与具身动作规划需求之间存在领域差距;提出通过向视觉编码器注入控制相关监督信号可获得持续性能提升的策略。

研究背景/问题

当前 Vision-Language-Action (VLA) 模型研究主要关注网络架构、训练范式和动作解码方案的改进,但很少系统研究一个核心问题:底层 Vision-Language Model (VLM) 的选择和能力如何影响 VLA 策略的性能。现有工作缺乏公平的实验框架来评估不同 VLM 对下游机器人任务性能的贡献。

主要方法/创新点

论文提出了 VLM4VLA 框架,这是一个最小化适配管道,通过引入少于 1% 的新参数将通用 VLM 转换为 VLA 策略,确保公平高效的比较。

VLM4VLA 框架概览：最小化适配管道，公平评估不同VLM对VLA性能的影响

评估流程：

1. VLM骨干网络选择（Qwen2.5VL、Paligemma、Kosmos-2等9种）
2. 可选辅助具身任务微调（visual pointing、depth estimation等）
3. 下游控制任务评估（Calvin、SimplerEnv、Libero）
4. 系统性分析（通用能力相关性、模态级消融、训练策略影响）

详见VLM4VLA论文Figure 1

核心架构设计:

VLM4VLA 网络架构：

图像 + 语言指令
    ↓
[VLM Encoder] (冻结或微调)
    ↓
Action Query Token (可学习，<1%参数)
    ↓
[MLP Policy Head] (L1/L2 loss，非扩散)
    ↓
动作块输出

设计原则：最小化新增参数（<1%），使用简单MLP而非diffusion，确保公平比较。

详见VLM4VLA论文Figure 2

• 引入可学习的 Action Query token 从 VLM 中提取具身相关知识
• 使用简单的 MLP-based policy head 解码动作,避免 diffusion/flow-matching 引入的随机性
• 采用 L1/L2 loss 而非 diffusion loss,提高推理稳定性和评估鲁棒性
• 所有 VLM 参数(vision encoder、LLM、word embeddings)在下游任务微调时全部训练

三维实验设计:

1. 通用能力评估: 比较 9 个开源 VLM(1B-30B 参数)作为 VLA 骨干网络的性能,包括 Qwen2.5VL/Qwen3VL 系列、Paligemma 系列、Kosmos-2
2. 具身特定能力评估: 使用 7 种辅助具身任务(visual grounding、depth estimation、trajectory prediction 等)微调 VLM,测试对下游控制任务的影响
3. 模态级消融: 独立冻结/微调视觉和语言编码器,并测试向 vision encoder 注入控制相关信息(FAST tokenizer)的效果

评估基准: 在三个模拟环境上测试

• Calvin ABC-D: 训练于 ABC 场景,测试于 D 场景(跨场景泛化)
• SimplerEnv-Bridge: 训练于真实 BridgeV2 数据,测试于仿真环境
• Libero-Long: 10 个长视距操作任务

核心发现:

核心发现：VLM通用能力与VLA性能的相关性分析

启示：VLM预训练是必要但不充分的，通用VQA能力不等同于具身控制能力。

详见VLM4VLA论文Figure 3

1. VLM 通用能力是必要但不充分的: VLM 初始化相比从头训练提供一致性收益,但 VLM 的通用 VQA 能力无法预测其在具身控制任务上的表现
2. 辅助具身任务微调效果有限: 在 visual pointing、spatial understanding、embodied VQA 等任务上微调 VLM 并未提升下游控制性能,甚至略有下降

辅助具身任务微调效果：令人意外的发现

结论：辅助具身任务微调未能提升下游控制性能，甚至略有负面影响。这挑战了”具身预训练有益”的常见假设。

详见VLM4VLA论文Figure 4

1. Vision encoder 是关键瓶颈: 冻结视觉编码器导致显著性能下降(Calvin 上下降 1.0-3.0 分),而冻结 word embeddings 几乎无影响
2. 存在视觉-语言理解与低级控制的语义差距: 通过向 vision encoder 注入动作 token 预测任务,即使冻结 encoder 也能获得 +18.1% 性能提升,证明 VLM 视觉特征与控制需求存在根本性不对齐

VLM与VLA训练轨迹分歧：

参数空间

VLM任务最优区域 ←──────┐
                      │ 分歧点
       共同起点 ──→ ○ ────┘
                      │
VLA任务最优区域 ←──────┘

关键洞察：

• VLM和VLA训练初期沿相同方向学习（共享视觉-语言理解）
• 但在某个时间点产生分歧，走向不同的最优区域
• 这解释了为何冻结vision encoder会导致性能下降
• 视觉-语言理解与低级控制存在本质差异

详见VLM4VLA论文Figure 5

核心结果/发现

• Calvin ABC-D: Qwen3VL-2B 达到最佳性能(平均完成 4.142 个任务),接近 SOTA VLA(pi0: 3.509)
• SimplerEnv-Bridge: 最小的 Kosmos-2 (1.7B) 达到最高成功率(60.4%),超越更大的 Qwen 系列模型
• Libero-Long: Qwen3VL-2B 和 Kosmos-2 均达到 55%+ 成功率,优于其他 VLM
• 从头训练性能崩溃: 不使用 VLM 预训练的模型性能下降 60-70%,证明 VLM 预训练对 VLA 泛化至关重要
• Real-to-Sim 差距非主因: 在真实图像上微调 VLM 的动作预测任务后,冻结 vision encoder 仍导致性能下降,表明问题源于视觉-语言任务与低级控制任务的本质差异
• Vision encoder 微调必要性: 在 SimplerEnv-Bridge 任务上,解冻 vision encoder 并注入控制信息使性能从 27.6% 提升至 45.7%(+18.1%)

局限性

研究未在物理机器人上进行实验,主要受限于公平性和可重复性考虑。虽然分析表明 VLM-VLA 差距源于任务异质性而非简单的 sim-to-real 差距,但真实世界部署仍是最终目标。论文的全面模拟基准结果可为未来研究提供有价值的参考。

5.16 TwinBrainVLA (2026) {#5-15-twinbrain-vla-2026}

副标题: Unleashing VLM Potential in Embodied Tasks via Asymmetric Dual-Transformer Mixture 中文标题: 通过非对称双Transformer混合机制释放通用VLM在具身任务中的潜力

📄 Paper: arXiv:2601.14133

精华

这篇论文展示了如何通过结构化解耦来解决VLA模型中的灾难性遗忘问题,值得借鉴的核心思想包括:利用双流架构分离高层语义理解和低层运动控制、通过冻结”通才”分支保留预训练知识同时训练”专才”分支学习具身技能、采用非对称注意力机制实现知识迁移而不破坏原始能力、使用Flow-Matching生成连续动作而非离散token化。这种”左右脑”设计哲学为构建既有认知能力又有物理灵巧性的通用机器人提供了新范式。

研究背景/问题

当前的Vision-Language-Action (VLA)模型通常直接对预训练的Vision-Language Model (VLM)进行机器人控制任务的微调。然而,这种方法在维持高层语义理解和学习低层精细运动技能之间存在根本性冲突,导致”灾难性遗忘” (catastrophic forgetting)——模型为适应机器人操作而牺牲了原有的开放世界语言能力和视觉推理能力。

主要方法/创新点

Vanilla VLA与TwinBrainVLA架构对比：

论文提出了 TwinBrainVLA,一个受大脑半球侧化 (hemispheric lateralization) 启发的双流VLA架构,通过协调”通才VLM”和”具身专才VLM”来实现联合机器人控制:

1. 非对称双VLM骨干网络 (Asymmetric Dual-VLM Backbone)

• Left Brain (左脑 - 通才): 冻结的预训练VLM,保留开放世界知识和指令跟随能力。输入仅包含视觉和语言token: H⁰_L = [V(I); T(T)]

• Right Brain (右脑 - 专才): 可训练的VLM,专门用于具身运动控制。输入融合视觉、语言和本体感受状态信息: H⁰_R = [V(I); T(T); φ(s)],其中φ是将机器人状态s (关节角度、末端执行器位姿等) 投影到VLM嵌入空间的轻量级MLP State Encoder

2. AsyMoT机制 (Asymmetric Mixture-of-Transformers)

TwinBrainVLA框架及AsyMoT机制：

Left Brain (冻结通才VLM)          Right Brain (可训练专才VLM)
  [V; T]                           [V; T; φ(s)]
     ↓ 独立Self-Attn                    ↓ AsyMoT
  H_L (语义特征) ─────sg───→ [K_L; K_R] ← Q_R
                              [V_L; V_R]
                                   ↓
                            融合特征 H_R
                                   ↓
                          Flow-Matching Action Expert
                                   ↓
                              连续动作输出

AsyMoT核心机制：

1. Left Brain独立运行，保留预训练能力
2. Right Brain的Query attend到双分支的Key-Value（通过stop-gradient）
3. 实现知识迁移而不破坏原始语义锚点

详见TwinBrainVLA论文Figure 2

核心创新在于双流的交互方式:

• Left Brain: 保持冻结,独立运行自注意力机制以保留预训练能力

  H^(l+1)_L = Attn(Q^l_L, K^l_L, V^l_L) + FFN(H^l_L)
  

• Right Brain: 可训练,采用非对称联合注意力 (Asymmetric Joint Attention)——Query来自Right Brain,而Key和Value通过拼接两个分支构建:

  K_joint = [sg(K^l_L); K^l_R]
  V_joint = [sg(V^l_L); V^l_R]
  H^(l+1)_R = Softmax(Q^l_R(K_joint)^T / √d_k) V_joint + FFN(H^l_R)
  

  其中sg(·)表示stop-gradient操作,确保Left Brain作为稳定的”语义锚点”提供高层推理特征,而Right Brain动态融合这些语义与精细的本体感受线索来推理空间动作。

3. Flow-Matching Action Expert

• 采用Diffusion Transformer (DiT) 架构,通过flow matching训练策略生成高精度连续控制信号,超越离散token化范式

• 关键区别在于condition的来源:使用可训练Right Brain的空间丰富表征H_R通过交叉注意力注入DiT

• Flow-Matching损失函数:

  L_FM(ψ) = E_{t,a₀,a₁}[||v_ψ(a_t, t, H_R) - (a₁ - a₀)||²]
  

4. 非对称训练策略

• 训练目标: L_total = L_FM(θ_R, ψ, φ; D_robot),仅使用机器人动作损失,不混合通用视觉-语言数据集

• 参数更新策略: 严格冻结Left Brain参数 ∇θ_L = 0,梯度仅在Right Brain (θ_R)、Action Expert (ψ) 和State Encoder (φ) 中传播

• 在AsyMoT融合层,通过stop-gradient显式阻断来自Left Brain的梯度流,确保其作为稳定语义锚点不被机器人控制任务的高方差梯度扰动

主要创新总结:

• 首个通过非对称双流设计显式解耦通用语义理解和具身感知的VLA架构
• AsyMoT机制实现两个同构VLM路径的信息交互和联合训练
• 结构化免疫灾难性遗忘——Right Brain专注控制动力学,Left Brain隐式保护语言和语义先验

核心结果/发现

SimplerEnv基准测试 (WidowX机器人):

• TwinBrainVLA + Qwen3-VL-4B-Instruct 达到 62.0% 平均成功率,超越最强基线Isaac-GR00T-N1.6 (57.1%) +4.9%
• TwinBrainVLA + Qwen2.5-VL-3B-Instruct 达到 58.4%,同样超越所有基线方法
• 在”Put Eggplant in Yellow Basket”任务上达到83.3%,展现强大的物体操作能力

RoboCasa基准测试 (GR1机器人桌面操作,24项任务):

• TwinBrainVLA + Qwen3-VL-4B-Instruct 达到 54.6% 平均成功率,大幅超越:
  • Isaac-GR00T-N1.6 (47.6%) +7.0%
  • QwenGR00T (47.8%) +6.8%
  • QwenPI (43.9%) +10.7%
• 在复杂桌面场景中展现优异的精细操作技能,验证了解耦语义理解与具身感知的有效性

关键发现:

• 尽管未经过大规模机器人动作预训练,TwinBrainVLA在两个基准测试中均达到SOTA性能
• 双脑架构在不同VLM家族间展现强泛化性 (Qwen2.5-VL和Qwen3-VL)
• 显式保留预训练VLM的综合视觉理解能力,同时实现卓越的操作性能

局限性

当前实现要求Left Brain和Right Brain共享相同的模型架构以确保兼容的隐藏状态维度。未来研究方向包括:探索更解耦的模型架构 (如通过可学习投影层支持异构backbone)、整合专门的具身VLM checkpoints初始化Right Brain、扩展到完整OXE数据集训练以充分发挥双流架构容量、以及在更广泛基准和真实机器人场景中评估。

5.17 InternVLA-A1 (2026) {#5-16-internvla-a1-2026}

——Unifying Understanding, Generation and Action for Robotic Manipulation

📄 Paper: https://arxiv.org/abs/2601.02456

精华

InternVLA-A1 的核心创新在于将语义理解、视觉预见（visual foresight）与动作执行统一到单一 Mixture-of-Transformers (MoT) 框架中，用”想象未来”来指导当前动作，特别适合动态场景。其层级数据金字塔（合成仿真数据 + 真实数据混合预训练）有效弥合了 sim-to-real gap，值得 VLA 研究者借鉴。Generation Expert 的引入通过联合训练视觉预测和动作预测目标，使模型内化了动作与环境动力学之间的因果关系，是提升动态鲁棒性的关键设计。Flow Matching 作为动作解码器既保留了 MLLM 语义理解能力，又获得了对多模态动作分布的精细建模。

研究背景/问题

主流 VLA 模型（如 π₀、GR00T N1.5）基于 MLLM 构建，具有强大的语义理解能力，但本质上缺乏对物理世界动态的推理能力——它们执行的是反应式感知到动作映射，而非预判状态将如何演变。现有引入 World Model 的视频预测方法（如 VPP、Genie Envisioner）虽然能预测未来观测，但语义接地弱且对预测误差敏感。本文的目标是构建一个能同时紧密耦合语义理解与动态预测的统一架构。

主要方法/创新点

InternVLA-A1 采用 Mixture-of-Transformers (MoT) 架构，协调三个专家模块共同工作：

（1）Understanding Expert（理解专家） 直接复用现有 MLLM 架构（InternVL3-1B 或 Qwen3-VL-2.13B），通过 ViT 视觉编码器处理多视角观测 o_t，通过文本 Tokenizer 处理语言指令 l，将二者拼接为 prefix tokens h_und，为下游专家提供语义上下文。

（2）Generation Expert（生成专家） 受 Janus Pro 启发，采用解耦视觉编码策略——理解用 ViT（高层语义），生成用 VAE（像素级保真）。具体使用 Cosmos CI8×8 连续 VAE tokenizer 将输入图像编码为 latent features z_t，再经卷积层压缩空间维度至 4×4（每帧仅 16 个 tokens），对齐 Transformer 隐维度后送入生成专家。生成专家在历史帧 z_{t-m} 和当前帧 z_t 基础上，以 h_und 为条件，预测未来帧的 latent ẑ_{t+m}，最终经反卷积和 Cosmos decoder 重建预测图像。

（3）Action Expert（动作专家） 以语言目标 l、当前观测（经 h_und）、本体感知 q_t 和生成专家的预测 latent ẑ_{t+m} 为条件，使用 Flow Matching 目标预测动作块 â_{t:t+k}。采样时从高斯噪声出发，通过 Euler 迭代法解 ODE 得到目标动作。

（4）Unified Masked Self-Attention 实现三专家间信息流的分块注意力掩码：累积分段掩码确保信息流单向传递（理解 → 生成 → 动作）；前缀块（视觉+语言）完全双向；生成块完全双向且仅接收 Cosmos latent tokens；动作块分为状态 token（只关注自身和更早块）和动作 tokens（相互关注）。

（5）优化目标 联合优化两个目标：

• 视觉预见生成：

• Flow Matching 动作预测：

• 总损失（其中 $\lambda = 0.01$）：

（6）层级数据金字塔

预训练数据混合配方（共 533M+ 帧）：

• InternData-A1（ARX Lift-2）：96M 帧（18%）
• InternData-A1（AgileX）：122.5M 帧（23%）
• InternData-A1（Franka）：90.5M 帧（17%）
• InternData-A1（Genie-1）：16M 帧（3%）
• AgiBot-World（Beta）：208M 帧（39%）

预训练后，使用少量专项真实数据进行 post-training 微调，适配目标部署环境。

（7）模型规模

• InternVLA-A1（2B）：Understanding=InternVL3（0.94B）+ Gen/Act=Qwen2.5（各 0.36B），共 1.8B
• InternVLA-A1（3B）：Understanding=Qwen3-VL（2.13B）+ Gen/Act=Qwen3（各 0.44B），共 3.2B
• 推理速度：两者均约 13 Hz（NVIDIA RTX 4090）

核心结果/发现

通用任务（10 个真实任务，Table 4）：

• InternVLA-A1（3B）平均成功率 75.1%，比 π₀（3.3B）的 60.6% 提升 14.5%
• InternVLA-A1（2B）以 64.7% 超越更大的 π₀（3.3B）模型，凸显架构与数据质量优势
• 在精细操作任务（Make Sandwich: 93.3% vs 66.7%；Operate Oven: 86.7% vs 73.3%）表现尤为突出

动态场景专项任务（Figure 6）：

• Express Sorting：π₀ 仅 36.7%，GR00T N1.5 仅 40.0%，InternVLA-A1（3B）达 80.0%（+40%以上）
• In-motion Ingredient Picking：基线均仅 20.0%，InternVLA-A1（3B）达 93.3%（+73.3%）

仿真基准（RoboTwin 2.0, 50 任务）：InternVLA-A1（3B）Easy/Hard 分别为 65.0%/25.4%，超越 π₀ 的 54.5%/19.8%（+10.5%/+5.6%）

消融实验：

• 去除预训练：平均成功率从 77.0% 降至 25.4%（↓51.6%）
• 去除 Generation Expert：平均成功率从 77.0% 降至 57.6%（↓19.4%），11/12 个任务均退化

局限性

理解专家缺乏与多模态 VQA 数据集的联合训练，导致通用语义推理和复杂指令跟随能力有所退化；视觉预见模块为保证实时推理效率而牺牲了图像预测的保真度，生成未来帧的粒度有限。

5.18 InternVLA-A1.5 (2026) {#5-18-internvla-a1.5-2026}

——Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

📄 Paper: https://arxiv.org/abs/2607.04988v1

精华

1. 提出了 InternVLA-A1.5，一个统一视觉-语言理解、物理世界动态预测（潜在预测）和连续动作生成的 Mixture-of-Transformers（MoT）机器人控制架构。
2. 采用“潜在查询（Latent Querying）”机制将未来预测转换为轻量级的 foresight 隐空间查询，通过监督冷冻的预训练视频生成模型（WAN2.2）来吸收物理世界动力学先验，而无需在推理阶段进行像素级图像生成，保证了实时闭环控制（0.1s 延迟）。
3. 构建了多阶段训练管线：第一阶段将机器人演示和 VQA 任务统一为 chat-template 离散 Token 自回归，保留了主干 VLM 的语义和指令遵循能力；第二阶段协同训练连续动作生成和 foresight 隐编码。
4. 在 6 个仿真基准测试（LIBERO、RoboTwin、DOMINO、EBench、SimplerEnv、LIBERO-Plus）和真实物理世界任务中取得最先进的表现，在未见过的动作组合及长程化学实验任务（MOF 反应）中展现了卓越的泛化性和执行稳定性。

研究背景/问题

当前的 VLA（Vision-Language-Action）模型在处理灵巧操控和动态交互时面临以下瓶颈：

• 语义漂移与指令衰退：在引入连续动作生成和重型生成任务后，传统的 VLA 训练往往抛弃了大规模 of VQA 或语言建模数据，导致底座 VLM 原有的语义理解和指令遵循能力逐渐退化。
• 异构目标相互干扰：同时优化未来图像重构、动作回归和语言预测等多种形式、尺度不同的损失函数，极易在联合训练中产生冲突。
• 从头训练视频预测成本高昂：现有物理世界模型倾向于从头开始训练未来图像像素的重建，未能充分利用互联网级别预训练视频生成模型（如 WAN2.2、Sora）中蕴含的丰富时空动力学先验。

主要方法/创新点

（1）整体框架概述 InternVLA-A1.5 采用了 Mixture-of-Transformers (MoT) 混合架构，由两大核心部分组成：

1. 一个预训练的 VLM 主干（Qwen-3.5 2B），负责多模态感知和高级规划推理。
2. 一个轻量级的统一专家模块（Unified Expert, 460M 参数），负责连续动作的流匹配预测及潜在预测查询（Foresight Tokens）。 这两者共享部分全注意力层，实现了语义先验与精细化物理操控的深度耦合。

（2）预训练 VLM 主干（VLM Backbone）

• 输入：接收 $K$ 视角的机器人相机图像 $o_t$、自然语言指令 $\ell$、控制模式 $m$（如关节控制 <joint>、末端控制 <end_effector>、问答 <vqa>）以及经过均匀离散化分箱的机器人本体感觉状态 $q_t$。
• 处理：VLM 使用标准的 Qwen3.5 视觉和文本编码器将多视角图像和文本串联转化为 Token 嵌入，并通过底座的 Transformer 块（交替的 3 个 Gated DeltaNet 线性注意力层与 1 个标准全注意力层）处理。
• 输出：在多阶段训练的第一阶段，VLM 输出文本类型的子任务描述 $\hat{\ell}$ 以及通过 FAST 离散化分词器编码的离散动作 Token；在第二阶段，它为统一专家提供全局的语义上下文隐特征 $H_t$。
• 设计动机：保留底座 VLM 对复杂指令和场景问答的强大语义泛化性，防止机器人在进行大规模运动策略训练时遭遇语义漂移（Semantic Drift）。

（3）统一专家模块与动作预测（Unified Expert & Action Prediction）

• 输入：接收 VLM 主干产生的语义隐特征 $H_t$、一组可学习的潜在预测 queries（Foresight Tokens） $Q_f$，以及在流匹配（Flow Matching）去噪过程中注入的噪声动作块 $\epsilon$。
• 处理：专家模块采用与 Qwen-3.5-Text 相同的结构，但其隐藏通道维度更小（460M 参数）。它维护自己独立的 Gated DeltaNet 线性注意力层以处理动作细节，而通过共享 of VLM 全注意力层与 $H_t$ 进行跨模块特征融合。在此模块中，可学习的 Foresight Tokens 充当未来查询插槽，而动作预测则利用流匹配预测速度场 $v_{ heta}^{ ext{act}}$。
• 输出：生成当前时刻至未来 $H$ 步的连续控制轨迹动作块 $\mathbf{a}_{t:t+H}$。
• 设计动机：相比于离散 Token 预测，低维连续控制专家的 flow-matching 生成更适合低延迟（0.1s 闭环反馈）、高精度的实机机械臂控制。

（4）潜在未来预测机制（Latent Foresight Mechanism）

• 输入：利用统一专家输出的 Foresight Tokens $Z_f^t$ 经投影后作为条件编码 $C_f^t$，以及包含当前和未来 $N$ 帧拼接所得的视频 Latent $x_1$。
• 处理：利用预训练且参数完全冻结（Frozen）的视频生成模型 WAN2.2-5B 充当世界模型。我们将 Foresight 隐编码 $C_f^t$ 注入到 WAN 的交叉注意力机制中。通过在视频生成模型的隐空间上施加流匹配监督损失，反向传播更新 Foresight Tokens $Q_f$ 和统一专家，而 WAN 自身参数不更新。
• 输出：在训练阶段输出优化过的 Foresight 隐嵌入；在推理阶段，视频生成模型完全被抛弃，不产生任何计算开销。
• 设计动机：将“物理世界怎么演化”的生成细节完全托管给已经具备强大泛化能力的视频大模型，而机器人策略只需要学会“想象什么（What to imagine）”而非“怎么画画”，在保留世界模型动力学先验的同时消除了实机推理时的巨额计算成本。

（5）端到端数据流

1. 多视角多模态输入：拼接 $K$ 视角相机图像 Token、任务描述文本、控制模式和离散状态。
2. 多模态对齐感知：输入通过 VLM 主干，抽取上下文表示 $H_t$ 并预测下一步的子任务语义描述 $\hat{\ell}$。
3. 时空预测与嵌入融合：可学习的 $Q_f$ 注入统一专家并与 $H_t$ 发生注意力交互，生成带有未来趋势信息的特征 $Z_f^t$。在训练时，这部分隐编码用于引导冻结的 WAN2.2 视频生成；在推理时则直接供下一步使用。
4. 动作去噪生成：将噪声 $\epsilon$ 作为输入，在以 $H_t$ 和 $Q_f$ 为条件的动作专家中，通过 Euler 积分对 Flow Matching 速度场进行逐步迭代去噪，最终输出连续动作块 $\mathbf{a}_{t:t+H}$。

（6）训练目标 / 损失函数 InternVLA-A1.5 的多阶段训练依赖以下核心损失函数。

• 第一阶段：VLM Transferring（语义迁移） 在此阶段，VQA 数据和离散化的机器人操控数据混合进行自回归预测，仅计算 Label（子任务描述 $\hat{\ell}$ 和 FAST 离散动作 Token $a$）部分的正向交叉熵损失： \(L_{ ext{stage1}} = -\mathbb{E}_{(\mathbf{o}_t, \ell, \mathbf{y}) \sim \mathcal{D}} \left[ \sum_{i=1}^{M+N} \log p_{ heta}(y_i \mid \mathbf{o}_t, \ell, \mathbf{y}_{<i}) ight]\) 其中 $\mathbf{y} = (\hat{\ell}_1, \dots, \hat{\ell}_M, a_1, \dots, a_N)$ 是包含子任务和动作的拼接序列。

• 第二阶段：Foresight and Action Joint Training（预测与动作协同） 该阶段引入了视频潜在预测损失 $L_{ ext{video}}$ 和动作流匹配损失 $L_{ ext{action}}$。

  • 潜在视频预测损失： \(L_{ ext{video}} = \mathbb{E}_{x_0, x_1, C_f^t, s} \left[ \lVert u(x_s, C_f^t, s) - v_s Vert_2^2 ight]\) 用于让 Foresight Tokens 从 WAN 处汲取动力学表示。
  • 动作预测损失： \(L_{ ext{action}} = \mathbb{E}_{\mathbf{a}_{t:t+H}, \epsilon, au} \left[ \lVert v_{ heta}^{ ext{act}}(\mathbf{a}_{t:t+H}^{ au}, H_t, Q_f) - (\mathbf{a}_{t:t+H} - \epsilon) Vert_2^2 ight]\) 用于预测连续的动作插值轨迹速度场。
  • 总联合损失： \(L_{ ext{stage2}} = L_{ ext{stage1}} + lpha L_{ ext{video}} + eta L_{ ext{action}}\) 在实践中，权重参数设为 $lpha = 1, eta = 10$。

（7）推理流程 在推理（实机部署）时，为了保证实时闭环控制，推理流程进行了如下修改：

1. 舍弃视频分支：在推理时，完全舍弃 WAN2.2-5B 视频模型及其 VAE、DiT 层，不需要任何像素级视频解码。
2. KV 缓存复用：VLM 主干在提取上下文隐特征 $H_t$ 时的键值对缓存在动作去噪计算中被复用，动作专家在 Euler 积分的多步反向去噪迭代（如 5 步）中，只更新动作自身的去噪计算，保证控制指令输出的高帧率与低时延（在 RTX 5090 上约为 0.1s/步）。

核心结果/发现

• 全面超越主流 VLA 策略：在 SimplerEnv 仿真测试中平均成功率达 80.8%（领先 $\pi_{0.5}$ 达 23.7个百分点），在 RoboTwin 上达 93.2%。
• 强大的组合与外推泛化能力（OOD Generalization）：在 held-out 组合实机任务（即未训练过的 tube 颜色与目标 box/hole 组合）下，InternVLA-A1.5 保持了极高的成功率。这验证了第一阶段 VQA 协同训练对 VLM 底座语义理解的成功保留。
• 长程复杂操作显现优势（Long-Horizon Tasks）：在长达 13 步、环境会发生非物理接触改变（如倾倒液体、插拔漏斗与塞子）的化学实验（MOF）中，InternVLA-A1.5 的成功率达到了 76.4%，而 $\pi_{0.5}$ 仅有 29.3%，Motus 完全失败。这要归功于两点：一是显示的子任务文本规划（让 policy 时刻知道自己在干嘛），二是时空潜在预测学习到了液面变化等物理动态因果。
• 消融实验分析：如表 8 所示，移除视频潜在损失（w/o video loss）或直接移除 Foresight Tokens，都会导致策略在 zero-shot（如 LIBERO-Plus、DOMINO）下的成功率大幅下滑，证明了隐空间物理世界先验蒸馏是提升鲁棒性的关键。

局限性

1. 局限于短程动作时空的监督：Foresight 的预测窗口仅覆盖当前动作 chunk 的时间跨度，模型虽然获得了当前姿态和短时轨迹的物理直觉，但尚不支持长视角的长程未来轨迹构想与显式规划。
2. 世界模型动力学的上限限制：因为 WAN 视频生成模型在训练期间完全冻结，InternVLA-A1.5 获得的先验完全取决于 WAN 本身预训练数据集对具身场景的覆盖率，面对极端或非日常 of 工业场景，物理常识可能会失效。

5.19 InternData-A1 (2025) {#5-17-interndata-a1-2025}

副标题: Pioneering High-Fidelity Synthetic Data for Pre-training Generalist Policy

📄 Paper: https://arxiv.org/abs/2511.16651

精华

本文首次证明纯合成数据预训练的 VLA 模型可以匹配甚至超越使用真实机器人数据的最强基线（π-dataset），打破了”仿真数据无法替代真实数据”的固有认知。数据合成 pipeline 完全解耦（环境构建、技能组合、Domain Randomization、轨迹生成独立模块化），极大降低人工成本（每条 episode 低于 0.003 美元）。消融实验揭示轨迹多样性（articulation + long-horizon tasks）而非单一规模是有效 VLA 预训练的核心驱动力，这对数据采集策略有重要指导意义。大规模 domain randomization 使仿真与真实的视觉 gap 缩小到约 1:8 的仿真对真实数据等效比例，强调了渲染保真度和随机化的重要性。开源数据集和生成 pipeline 为 embodied AI 社区提供了可复现的大规模数据基础设施。

研究背景/问题

现有 VLA 模型已证明大规模真实机器人数据预训练的有效性，但合成数据单独能否达到相同效果尚未被系统验证。真实数据采集代价高昂，需要专业遥操作员、特殊硬件和大量人力，大多数研究机构难以复现；现有仿真数据集覆盖的技能集窄（主要是 pick-and-place）、仅涉及 rigid 物体，且未在大规模 VLA 预训练中验证有效性。

主要方法/创新点

InternData-A1 是一个包含 630k 轨迹、7,433 小时、覆盖 4 种机器人体态（AgiBot Genie-1、Franka Emika Panda、AgileX Split Aloha、ARX Lift-2）、18 种技能、70 个任务、227 个室内场景的大规模高保真合成数据集。

数据合成 Pipeline（4 阶段全自动）

1. Environment Construction（环境构建）

• Embodiment: 支持 4 种体态，均以 USD 格式定义，经过碰撞动力学验证
• Scene Library: 227 个室内场景（厨房、书房、餐厅、客厅）来自 GRScenes-100，每个场景标注了详细的操作区域元数据
• Object Library: 覆盖 rigid（3185 个，含自动 grasp pose 标注）、articulated（321 个，含关节轴和物理参数）、deformable（20 件真实扫描服装，用 Vertex Block Descent 模拟）、fluid（粒子系统 + isosurface 渲染）四类物体

2. Skill Composition（技能组合）

• 每个技能是模块化脚本策略，输入：物体状态、机器人状态、用户约束；输出：waypoints 序列（end-effector 6D pose）
• 包含 Pick、Place、Push 等 18 种原子技能，通过简单配置文件组合成完整任务
• 支持双臂并行和顺序执行，无需额外代码即可扩展到新物体、场景、体态
• 18 个 long-horizon 任务（每个涉及至少 3 个连续技能），共 124,789 条轨迹

3. Domain Randomization（域随机化）

• 视觉多样性: 相机视角 ±5° 旋转、±5cm 平移；174 个环境光照图（随机光温和强度）；目标物体可从同类资产中替换
• 轨迹多样性: 物体位姿在任务特定空间范围内随机采样；AnyGrasp 生成数百万 grasp 候选，最终随机选取 top-40 之一；articulated 和 deformable 物体的接触区域扩展为邻域

4. Generation & Storage（生成与存储）

• 使用 CuRobo 运动规划器在 waypoints 间插值密集关节空间动作
• 仅存储成功完成的轨迹（Isaac Sim 物理验证），转换为 LeRobot 格式
• 记录：物体元数据、语言指令、多视角 RGB、相机参数、机器人本体感知状态和动作标签

5. Framework Optimization（框架优化）

• Stage Decoupling: 轨迹规划（CPU-bound）与视觉渲染（GPU-bound）解耦为 pipeline 架构，规划失败不触发冗余渲染
• Dynamic Resource Scheduling: Planner 和 Renderer 内部均采用并行批处理策略 + 动态调度算法
• Stack Render: 堆叠渲染技术进一步提升 GPU 利用率
• Cluster Stability: Balancer 模块负载均衡 + Supervisor 模块监控，整体吞吐量提升 2–3×，生产成本低于 $0.003/episode

核心结果/发现

与 π-dataset 对比（49 个仿真任务）

• π₀(InternData-A1) vs 官方 π₀：Easy 模式 60.0% vs 55.0%（+5%），Hard 模式 26.5% vs 20.0%（+6.5%）
• 在 Hard 模式下的提升说明 InternData-A1 的大规模 domain randomization 提供的鲁棒性在下游 fine-tuning 中持续保留

与 π-dataset 对比（9 个真实世界任务）

• 在 5 个常规任务上平均超越 π-dataset 6.2%（包括 Place Markpen、Pass Bottle、Heat Sandwich、Sort Rubbish、Sweep Trash）
• 在 4 个灵巧任务（Sort Parts、Unscrew Cap、Fold Clothes、Zip Bag）上性能与 π-dataset 相当，使用了全新体态 ARX AC One（训练数据中未见过）

与开源数据集对比（49 个仿真 + 2 个真实任务）

• InternData-A1 大幅领先：Easy 60.0% vs OXE 32.5% / Agibot World 52.5% / RoboCasa 50.0%
• 真实任务 Sort Rubbish：90.0% vs OXE 40.0%；Pass Bottle：60.0% vs RoboCasa 13.3%

Sim-to-Real 迁移

• 10 个任务中直接零样本迁移成功率超过 50%；仅需 500 条仿真数据即达到高成功率
• 对于基础技能任务（Sort Rubbish、Wipe Stain），200 条仿真 episodes ≈ 200 条真实数据
• 对于复杂任务（Flip Package、Instructional Pick），仿真对真实等效比约为 8:1

消融实验（数据组成分析）

• 去除 Base 或 Long-horizon 任务的性能下降 > 去除 PnP 任务，说明任务多样性比单一任务规模更重要
• 去除 Articulation 任务（仅 11.67%）导致显著下降，说明 articulated 操作能扩展 action space 多样性
• 核心结论：轨迹多样性（Trajectory Diversity）是有效预训练的核心驱动

5.20 Isaac GR00T (2025-2026) {#5-18-gr00t-2025}

Generalist Robot 00 Technology ———英伟达全栈具身智能生态

📄 Paper: NVIDIA Isaac Blog

精华

GR00T 代表了”模型开源 + 生态锁定”的典型范式。其核心贡献在于提出了 System 1 (快思考) & System 2 (慢思考) 的双系统架构：System 2 基于 VLM 负责语义理解和长程规划（约 5Hz）；System 1 基于 Diffusion Transformer 负责高频、精细的反射性动作（120Hz）。此外，英伟达通过打通 Isaac Sim（仿真）、Cosmos（视频生成）和 Jetson Thor（边缘芯片），构建了目前最完整的具身智能开发工具链。

研究背景/问题

人形机器人需要同时具备处理复杂语义指令的能力和在不确定环境中保持动态稳定性的精细控制能力。单一频率的端到端模型往往难以兼顾”深度思考”的计算延迟与”即时反应”的实时性需求。

主要方法/创新点

• 双系统架构:
  • System 2 (Cognitive): 处理多模态输入（语音、手势、视频），生成任务子目标。
  • System 1 (Reactive): 将子目标实时转化为关节力矩，处理平衡和避障。
• 全栈生态联动:
  • Omniverse & Isaac Sim: 提供超大规模合成数据生成能力。
  • Cosmos: 专门用于生成符合物理规律的视频轨迹，缓解真实数据稀缺。
  • Jetson Thor: 专用具身智能芯片，优化了 Transformer 的推理速度。

核心结果/发现

• 在多种人形机器人平台上实现了零样本迁移。
• 展示了极强的指令跟随能力，能够根据自然语言指令学习舞蹈、搬运等复杂动作。
• 证明了通过大规模仿真训练（Sim-to-Real）可以显著提升人形机器人的步态稳定性和操作灵巧度。

局限性

• 生态绑定: 训练和部署深度依赖英伟达的 H100 集群和 Jetson 芯片，对于非 NVIDIA 硬件用户存在较高的迁移门槛。
• 闭源核心: 虽然开源了部分模型权重，但完整的训练 Pipeline 和专有数据集仍处于闭源状态。

5.21 Xiaomi-Robotics-0 (2026) {#5-19-xiaomi-r0-2026}

MoT Architecture for Real-Time Bimanual Manipulation ———国产开源 VLA 的实时性标杆

📄 Paper: 小米机器人实验室

精华

Xiaomi-R0 针对 VLA 模型在实际部署中常见的推理延迟问题，提出了 Mixture-of-Transformers (MoT) 架构。通过将感知与控制模块进行解耦并行化处理，Xiaomi-R0 成功在消费级 GPU（如 RTX 4090）上实现了高频闭环控制。该模型在双臂灵巧操作（如拆解乐高、折叠毛巾）任务中表现优异，是国产开源阵营中工程化落地最快的代表作之一。

研究背景/问题

大型 VLA 模型（如 7B+ 参数）在进行实时推理时，往往难以达到机器人控制所需的 20Hz+ 频率，导致动作出现”卡顿”或由于视觉滞后导致的执行失败。

主要方法/创新点

• MoT 架构: 采用混合专家模式，将模型分为”推理专家”和”执行专家”。推理专家处理慢速语义，执行专家在高频视觉流下快速调整动作。
• 低延迟优化: 针对动作 Token 生成路径进行了极致压缩，大幅缩短了从图像输入到信号输出的时间链路。
• 双臂协同增强: 专门针对双臂操作中的时空一致性进行了数据增强，提升了左右手配合的流畅度。

核心结果/发现

• 在 LIBERO 等通用榜单上成功率达到 98.7%。
• 首次在开源领域展示了在未见物体上的实时、高动态双臂协同操作。
• 证明了通过合理的架构优化，即使是中等规模的 VLA 也能在实时性上挑战巨量闭源模型。

局限性

• 模型的长程逻辑推理能力相比 π₀.5 略显单薄。
• 对复杂光照和极端动态场景的鲁棒性仍有待提升。

5.22 X-VLA (2025) {#5-20-xvla-2025}

Scalable Cross-Embodied Learning with Soft Prompting ———学术界彻底开源的具身范本

📄 Paper: Tsinghua AIR & Shanghai AI Lab

精华

X-VLA 是由清华 AIR 和上海 AI 实验室联合推出的彻底开源项目。其核心贡献在于通过 Soft Prompting（软提示） 技术解决了”一个大脑控制所有机器人”的难题。相比于传统的对每种硬件进行微调，X-VLA 仅需学习极小规模的机器人特定 Prompt，即可将通用的物理规律迁移到不同的机械臂和人形机器人上。该项目从代码、数据、权重到评估基准全量公开，是学术界最彻底的开源范本。

研究背景/问题

机器人硬件形态各异（关节数、臂长、自由度不同），如何用一个统一的预训练模型适配所有硬件而不产生性能冲突（负迁移）？

主要方法/创新点

• Soft Prompting: 在 VLM 输入层引入可学习的”硬件描述 Token”，自动对齐不同机器人的动作空间。
• 大规模跨域数据集: 整合了包括操作、导航乃至部分自动驾驶在内的异构数据，验证了物理知识的跨域通用性。
• 开放评估基准: 刷新了五大主流仿真基准，并提供了标准化的物理测试协议。

核心结果/发现

• 适配新硬件的成本降低了 90% 以上，仅需极少量新数据即可完成部署。
• 证明了”基础模型+硬件适配层”是实现通用具身智能的高效路径。

局限性

• 在需要极端精细力反馈的任务中，软提示的精度上限受限于骨干网络的感知分辨率。
• 目前主要聚焦于运动学对齐，对于复杂的接触动力学建模尚在早期阶段。

5.23 Motus (2025)

——A Unified Latent Action World Model

📄 Paper: arXiv:2512.13030

研究背景/问题

当前具身智能体的理解、世界建模和控制能力被孤立地建模在不同模型中,这种碎片化阻碍了统一多模态生成能力的实现,也限制了从大规模异构数据中学习。现有方法将本应统一的系统分割为5个独立的建模任务:VLA(视觉-语言-动作模型)、WM(世界模型)、IDM(逆动力学模型)、VGM(视频生成模型)和视频-动作联合预测模型。两个核心挑战包括:如何在单一框架中统一这些多模态生成能力,以及如何利用大规模异构数据(互联网视频、自我中心人类演示、多机器人轨迹)进行动作专家的预训练。

主要方法/创新点

Motus提出了统一的潜在动作世界模型,通过以下创新实现五种建模范式的融合:

1. Mixture-of-Transformer (MoT)架构:

• 三模态联合注意力(Tri-model Joint Attention):将三个专家的多头自注意力层连接起来,在保留各专家特定功能的同时实现跨模态知识融合
  • 理解专家(Understanding Expert):基于Qwen3-VL-2B(253.5M参数),具备3D定位和空间理解能力
  • 视频生成专家(Video Generation Expert):采用Wan 2.2 5B作为视频基础模型
  • 动作专家(Action Expert):Transformer结构(641.5M参数),与Wan相同深度
• 总模型规模:8B参数(VGM 5.00B + VLM 2.13B + Act Expert 641.5M + Und Expert 253.5M)

2. UniDiffuser式调度器:

• 为视频和动作分配不同的时间步τ_o、τ_a和噪声尺度
• 支持五种推理模式的灵活切换:VLA、世界模型、IDM、VGM、视频-动作联合预测
• 使用rectified flow目标函数:
  • \[l_{\text{action}} = \mathbb{E} \left[ \left\| v^{\theta_a} - (\epsilon_a - a_{t+1:t+k}) \right\|^2 \right]\]
  • \[l_{\text{obs}} = \mathbb{E} \left[ \left\| v^{\theta_o} - (\epsilon_o - o_{t+1:t+k}) \right\|^2 \right]\]

3. 潜在动作(Latent Actions) - 像素级”增量动作”:

• 光流表示:使用DPFlow计算光流作为通用运动表示,将其转换为RGB图像
• 深度压缩自编码器(DC-AE):将高维光流压缩为4×512维token,再通过轻量级编码器投影到14维潜在动作向量
• 训练策略:混合90%无标注数据(自监督重建)+10%有标注轨迹(任务无关数据+标准演示)
• 分布对齐:引入任务无关数据(AnyPos方法),使用Curobo随机采样目标机器人动作空间
• 损失函数:\(\mathcal{L} = \mathcal{L}_{\text{recon}} + \lambda_a \left\| a_{\text{real}} - a_{\text{pred}} \right\|^2 + \beta \mathcal{L}_{\text{KL}}\)

4. 动作密集-视频稀疏预测策略:

• 视频帧率:8帧 @ 5Hz
• 动作块:48步 @ 30Hz
• 通过下采样视频帧平衡token数量,防止过拟合视频预测而削弱动作预测能力

5. 三阶段训练流程:

• 阶段1(视频生成):使用多机器人轨迹、自我中心人类视频和合成数据适配VGM(仅训练VGM,约8000 GPU小时)
• 阶段2(潜在动作统一训练):冻结VLM,在视频、语言和潜在动作上预训练整个Motus模型(约10000 GPU小时)
• 阶段3(监督微调):在目标机器人数据上使用真实动作微调(约400 GPU小时)

6. 六层数据金字塔:

• Level 1: Web数据(VGM和VLM预训练)
• Level 2: 自我中心人类视频(Egodex: 230,949样本)
• Level 3: 合成数据(RoboTwin: 27,500样本)
• Level 4: 任务无关数据(AnyPos: 1,000样本)
• Level 5: 多机器人任务轨迹数据(Agibot: 728,209 + RDT: 6,083 + RoboMind: 16,861)
• Level 6: 目标机器人任务轨迹数据(In-house: 2,000样本)

核心结果/发现

仿真环境(RoboTwin 2.0)性能:

• 随机化场景平均成功率:87.02%(Motus) vs 72.84%(X-VLA) vs 43.84%(π0.5)
• 相比X-VLA提升15%,相比π0.5提升45%
• 在50个任务上评估,包含强背景和环境随机化(随机背景、杂乱桌面、桌高扰动、随机光照)
• 清洁场景成功率:88.66%(Motus) vs 72.80%(X-VLA) vs 42.98%(π0.5)

真实世界实验:

• 两个平台:AC-One和Agilex-Aloha-2双臂机器人
• 9个复杂任务:测试空间理解、可变形物体操作、精确流体控制、视觉理解、长时域规划
  • 任务包括:叠毛巾、使用滴滤咖啡机煮咖啡、研磨咖啡豆、将面包放入烤箱、从饮水机取水、倒水浇花、按键盘按键
• AC-One平台:平均部分成功率63.22%(Motus) vs 25.86%(无预训练) vs 14.79%(π0.5)
  • 突出任务:研磨咖啡豆92% vs 0%(无预训练),煮咖啡62% vs 0%,放立方体入盘100% vs 60%
• Agilex-Aloha-2平台:平均59.30%(Motus) vs 26.60%(无预训练) vs 48.60%(π0.5)
  • 突出任务:从饮水机取水96% vs 8%(无预训练),叠毛巾39% vs 0%

其他基准测试:

• LIBERO-Long:97.6%成功率(与X-VLA并列最优,达到state-of-the-art)
• VLABench: In Distribution平均0.48(vs π0.5的0.43),Cross Category平均0.25(vs π0.5的0.22)

消融实验验证:

• 训练阶段重要性:完整Motus(阶段2预训练) 87.02% vs 仅阶段1 81.86%(+10.02%提升)
• IDM模式性能:动作MSE 0.014(Motus) vs 0.044(ResNet18+MLP) vs 0.122(DINOv2+MLP),显著优于专门训练的IDM基线
• VLA模式竞争力:83.90%成功率,与联合模式87.02%性能接近
• 世界模型生成质量:FID 11.209,FVD 61.209,SSIM 0.866,PSNR 25.07(在两个平台上评估)

五种统一模式实证验证: \(\begin{aligned} \text{1. VLA:} & \quad p(a_{t+1:t+k} \mid o_t, \ell) && \text{--- 从观察和语言预测动作} \\ \text{2. 世界模型:} & \quad p(o_{t+1:t+k} \mid o_t, a_{t+1:t+k}) && \text{--- 从当前观察和动作预测未来观察} \\ \text{3. IDM:} & \quad p(a_{t+1:t+k} \mid o_{t:t+k}) && \text{--- 从观察序列推断动作} \\ \text{4. VGM:} & \quad p(o_{t+1:t+k} \mid o_t, \ell) && \text{--- 从观察和语言生成未来视频} \\ \text{5. 联合预测:} & \quad p(o_{t+1:t+k}, a_{t+1:t+k} \mid o_t, \ell) && \text{--- 同时生成视频和动作} \end{aligned}\)

局限性

当前方法需要大量计算资源(总计约18,400 GPU小时训练)。某些复杂任务(如叠毛巾)的性能仍有限,部分成功率仅为39%。尽管通过潜在动作改进了跨具身泛化,但仍需进一步研究。未来工作将探索更先进的统一模型架构,追求更通用的运动先验,并从互联网规模的通用视频中学习潜在动作。此外,需要研究如何降低部署成本并提升模型在极端条件下的鲁棒性。

5.24 RoboGen (2024) {#5-23-robogen-2024}

———Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

📄 Paper: arXiv:2311.01455 (ICML 2024) 🌐 Project: https://robogen-ai.github.io/ 🔗 Genesis 仿真器: 由本工作衍生，后续支撑 Gene 26.5（Genesis AI, 2026.05）

精华

RoboGen 是 CMU、清华、MIT、UMass 等团队提出的”生成式仿真”（Generative Simulation）首个完整实现，核心思想可一句话概括：用基础模型自动产出”任务–场景–监督信号–策略”全流程，让机器人技能学习摆脱人工标注，实现近乎无限的数据扩展。

• Propose-Generate-Learn 自驱循环：智能体自主提出任务 → 自动构建仿真场景 → 自动生成训练监督 → 自动学习策略，可被无限轮询。
• 覆盖范围空前：单一管线同时覆盖刚体、铰接体、软体、双足/四足运动等任务谱，论文展示了 106+ 种自动生成的技能（开抽屉、解锁保险箱、揉面团、爬楼梯、后空翻……）。
• 任务多样性显著优于人工数据集：在 Self-BLEU、SentenceBert、ViT、CLIP 四项指标上均超越 Behavior-100、RLBench、MetaWorld、Maniskill2 以及同期 GenSim。
• Genesis 仿真平台的发源工程：RoboGen 内部版即 Genesis 的雏形——一个支持多材质耦合、可微分的统一仿真平台，后由原班人马商业化为 Genesis AI，并孕育出 2026 年的 Gene 26.5 通用操作基础模型。

1. 研究背景/问题

仿真数据被视为打破真机数据瓶颈的关键，但传统仿真基准（RLBench、MetaWorld、Behavior-100 等）严重依赖人工搭建：每条任务都要人手设计资产、布局、奖励函数与评价逻辑，扩展成本极高，导致即便是最大型的人工 benchmark 也只能覆盖几十到一百多个任务。与此同时，FM/LLM/VLM 在语义先验、代码生成、3D 资产检索/生成等环节已具备能力，但既有”基础模型 + 机器人”工作（Code as Policies、VoxPoser、SayCan 等）大多直接让 LLM 输出策略或子任务，仍需要现成的仿真环境。

核心问题：能否利用基础模型的”语义+代码+生成”能力，自动产出一整条”任务–场景–资产–奖励–算法选择–策略”的训练流水线？

2. 主要方法/创新点

RoboGen 的整体管线由四个阶段组成（论文 Figure 2）：

A) Task Proposal  →  B) Scene Generation  →  C) Training Supervision Generation  →  D) Skill Learning

A. Task Proposal（任务提议）

• 以”机器人类型 + 随机采样的物体”作为种子（object-based initialization），或采用 11 类范例任务作为 example-based seed（适用于足式 / 软体）。
• 由 GPT-4 接收 PartNetMobility 的 URDF 关节信息与语义标注，生成：1) 任务名；2) 自然语言描述；3) 完成任务所需的额外物体；4) 涉及的关节/链路。
• 通过反复采样不同物体与示例，可产出语义无重复的开放式任务流。

B. Scene Generation（场景生成）

四个子产物全部由 GPT-4 自动决定：

对软体任务，则用 GPT-4 生成目标形状描述 → Midjourney 文生图 → Zero-1-to-3 图生 3D Mesh，构建可控的目标几何。

C. Training Supervision Generation（监督信号生成）

• 任务分解：GPT-4 把长程任务拆为子任务（如”开微波炉 → 抓汤碗 → 放入 → 关门 → 设定时器旋钮”）。
• 算法选择：每个子任务自动从 RL（SAC）、Gradient-based Trajectory Optimization、Action Primitive + Motion Planning（BIT*）三选一：
  • 接触密集 / 连续控制 / 旋钮类 → RL；
  • 软体形变（揉面团、塑形）→ 梯度优化（基于可微仿真）；
  • 抓取 / 接近 / 释放 / 路径规划 → 动作原语 + 运动规划。
• 奖励生成：刚体/运动任务用低层状态量构造奖励；软体任务用 earth-mover distance 对齐当前形状与目标形状。

D. Skill Learning（技能学习）

• 使用 Genesis（一个可微、多材质耦合的统一仿真器，本工作内部版即其前身）作为执行后端。
• RL：SAC + 256-256-256 MLP，每子任务训练 1M 环境步；长程任务采用 N=8 次回合，最高奖励状态作为下一段初始状态。
• 软体：Adam 做梯度优化；运动规划：BIT*。

3. 核心结果/发现

任务多样性（论文 Table 1，越小越好）：

→ RoboGen 在语义与视觉两个维度上多样性均显著优于既有人工基准与并行工作 GenSim，验证了”基础模型 + 开放资产库”的可扩展性。

消融与失败分析：

• 移除 size verification 会让 BLIP-2 场景对齐分数大幅下降；移除 object verification 同样恶化。
• 在 12 个铰接物体操作任务上，若仅用纯 RL（去掉动作原语），成功率从平均 ~0.92 跌至接近 0。
• 全自动生成的 155 个任务中：13 个因检索物体不匹配而失败；6 个因 LLM 误解关节角语义（如把”开”和”关”角度搞反）而奖励错配；少量因复杂功能（订书机插钉）超出资产能力。

长程任务示例（论文 Figure 3）：

• “Retrieve a gold bar from the safe”、”Heat up a bowl of soup using the microwave”、”Put the toy into the storage”、”Move the toy out of the box” 均能被自动拆解、自动赋奖、自动学成完整序列。

4. 局限性与意义

局限性：

• 仍依赖闭源 LLM（GPT-4）与外部资产库，长尾物体（如订书钉）检索/生成质量不稳定；
• LLM 对铰接关节状态的语义判断仍可能出错，需人工校验少量奖励函数；
• 视觉真实性与触觉/力学反馈尚未统一进生成管线；
• Sim-to-Real 未在论文中端到端验证。

意义与后续影响：

• 范式价值：RoboGen 是首个把”任务–场景–监督–策略”四阶段全部交给基础模型的系统，奠定了”生成式仿真”作为继真机遥操作、互联网视频之后的第三条数据来源。
• 工程遗产：论文中提到的内部版 Genesis 仿真器，正是后来开源 Genesis（CMU 主导，每秒 4300 万帧，见 §1.7）以及 Genesis AI 商业化版本 Genesis World 的基础。
• 通向 Gene 26.5：Genesis AI 在 2026 年 5 月发布的 Gene 26.5 系统将这一范式推向真实世界——以 Genesis World 做大规模仿真预训练 + 200k+ 小时真实多模态数据微调，产出能完成烹饪、移液、魔方、钢琴等长程灵巧任务的统一 Flow Matching 基础模型，新任务仅需 20–30 分钟数据即可微调。可以认为：RoboGen 提出的 propose-generate-learn 循环 + Genesis 的可微极速仿真，正是 Gene 26.5 数据飞轮的学术原型。

5.25 Qwen-VLA (2026)

———统一操作、导航与轨迹预测的具身基础模型

📄 Paper: https://arxiv.org/abs/2605.30280

精华

• 操作、导航、人体视角动作等异构具身任务，本质上共享同一计算结构：给定视觉观察、语言指令和 embodiment 描述，预测未来动作序列——Qwen-VLA 用一个统一的 action-and-trajectory 预测框架将它们全部吸收进单一模型。
• DiT-based flow matching 是将离散 VLM token 空间与连续高维动作空间”解压缩”的关键桥梁；在 CPT/SFT 前先用文本-to-action 预训练（T2A）预热 DiT，让解码器无需视觉捷径即可学会语言→动作先验。
• Embodiment-aware prompt conditioning 将机器人平台、控制频率、预测时域全部编码进文本 prompt，无需任何架构改动即可支持 10+ 种机器人形态跨模型共享。
• Zero-padding 统一异构 action 空间：不同机器人动作维度对齐到最大维度并补零，per-channel 有效性掩码防止 padding 污染梯度，架构参数量最轻且效果与复杂方案相当。
• RL 微调（PPO + GAE）仅在单一仿真环境中收集稀疏 reward，但改进能跨环境正向迁移：在未参与 RL rollout 的 RoboCasa、DOMINO 等基准上同样出现性能提升。

1. 研究背景/问题

现有具身智能系统高度专业化：操作模型专为桌面/灵巧操作设计，导航模型专注室内路径点预测，二者无法跨任务、跨环境、跨机器人形态迁移，也难以像通用视觉-语言预训练那样规模化扩展。核心挑战在于操作与导航在输出格式、控制频率、动作维度、评估协议上看似完全异质，实则共享同一计算结构——均需 agent 对视觉观察、语言指令和 embodiment 约束进行条件化，预测物理与语义一致的未来动作序列。Qwen-VLA 正是利用这一洞察，将两者统一进单一 VLA 模型。

2. 主要方法/创新点

① 整体框架概述

Qwen-VLA 由两个核心模块构成：Qwen3.5-4B 视觉-语言主干（负责高层感知与推理）和单流 DiT 风格的 flow-matching 动作专家（负责精细连续动作生成），二者通过 VLM 隐状态拼接共同服务于操作、导航和视觉语言理解三类任务。

② 逐模块讲解

VLM 主干（Qwen3.5-4B）

• 输入：多视角 RGB 图像（ego、左腕、右腕摄像头，每路用视图标记 <|tag_start|> <image> <|tag_end|> 包裹）+ 语言指令 + embodiment 描述 prompt
• 处理：ViT 生成视觉 token，经 spatial merging 后与文本 token 交错输入混合注意力 Transformer（大多数层为门控线性注意力，少数层为 GQA softmax 注意力），实现图像、视频与语言的统一编码
• 输出：VLM 隐状态序列，供动作专家条件化
• 设计动机：复用强大的视觉语言预训练能力，避免从头学习感知与 grounding；混合注意力在长多模态序列上兼顾效率与精度

动作专家（DiT flow-matching，约 1.15B 参数，16 个 DiT block）

• 输入：VLM 隐状态 + 带噪声的动作 chunk（维度 \(\mathbf Y \in \mathbb{R}^{H \times K}\)，K 为所有 embodiment 共享的最大通道数，有效维度 c ≤ K，其余补零）
• 处理：VLM 隐状态拼接 noisy action chunk 后，经 16 个 DiT block 联合 self-attention，以 AdaLN timestep conditioning 和多段 RoPE 处理；per-channel 有效性掩码 M 确保 padding 不参与梯度
• 输出：预测速度场 \(v_\theta\)，推理时通过数步 Euler 积分（从 τ=1 到 τ=0）产出干净动作 chunk
• 设计动机：flow-matching 自然处理连续高维动作分布的多峰性；单流设计让 VLM 语义特征与动作序列充分交互

Embodiment-aware Prompt Conditioning

每条训练样本前添加文本描述（唯一的平台专属接口，无需任何架构改动）：

The robot is {robot_tag} with {arms}. The control frequency is {FPS} Hz.
Please predict the next {chunk_size} control actions to execute: {instruction}.

覆盖 WidowX、Franka、ALOHA、AgiBot、人形机器人等 10+ 种平台，控制模式涵盖 ΔEF、绝对关节角、灵巧手等。

统一 Action-and-Trajectory 表示（Zero-Padding）

目标张量 \(\mathbf Y \in \mathbb{R}^{H \times K}\)，有效动作 c 维放在前 c 维，其余补零：

• 操作：Δ末端执行器位姿 / 关节角 / 夹爪开合
• 导航：$(\Delta x, \Delta y, \Delta\theta)$ 路径点序列
• 人体视角：SE(3) 腕部运动 + 10 维 eigengrasp 系数（45 维手势 PCA 压缩），共 32 维/步

③ 端到端数据流

embodiment prompt + 图像 → VLM 主干生成隐状态 → 拼接带噪动作 chunk → 16 个 DiT block 联合处理 → 预测速度场 → Euler 积分输出干净动作 chunk

④ 训练目标

Flow-matching 动作损失（per-channel 两级平均，防止 padding 主导梯度）：

视觉语言损失（next-token prediction，防止灾难性遗忘）：

联合损失：\(\mathcal{L} = \lambda_\text{act} \mathcal{L}_\text{act} + \lambda_\text{vl} \mathcal{L}_\text{vl}\)

⑤ 四阶段渐进式训练

• Stage I — T2A（Text-to-Action 预训练）：冻结 VLM，仅凭文本 + embodiment prompt 训练 DiT，不引入图像。目标是让 DiT 学会”语言→动作解压缩”先验；用 Sigmoid-Normal 采样中间 timestep（最大化信息量），最优 2000 步（过多则过拟合，带来 −10.7pp 劣化）。纯合成数据（Syn only）→ 64.1%，纯真实数据（Real only）→ 51.0%，20% Syn + 80% Real 混合最优 → 71.1%（+10.2pp vs. 无 T2A）。
• Stage II — CPT（继续预训练）：解冻全部参数，在多源异构数据混合（74.2% 操作轨迹、7.5% 导航、6.0% 人体、3.7% 合成仿真、8.5% VL 数据）上联合训练，将 T2A 动作先验 grounding 到视觉观察。
• Stage III — SFT（监督微调）：从 CPT checkpoint 分两路并行微调——多任务 SFT（VQA + 操作 + 导航均衡采样）和真实机器人 SFT（ALOHA 遥操作数据）。
• Stage IV — RL（强化学习）：从多任务 SFT 出发，在 SimplerEnv 中用 PPO + GAE 优化稀疏二元成功奖励（R=1 完成 / R=0 未完成），128 并行环境实例。Flow-matching 的 log-probability 通过将确定性 ODE 转为 SDE 注入噪声的方式在 Euler 步上解析计算，无需数值积分。

大规模合成数据（ROBOINF 流水线）

ROBOINF 流水线在 IsaacLab 中自动构建场景（20 桌面场景 × 10 姿态配置 = 200 基础场景），生成 450 个任务（短/长时域各半），每任务 300 条轨迹，随机化光照/视角/背景/纹理/控制器参数。同时构建纯语言-动作数据（7.2M 条），覆盖 6 种单臂机器人 × 6 种操作模板，作为 T2A Stage I 的主体语料。

3. 核心结果/发现

操作（仿真，单一通用模型 vs. 各基准专家模型）：

操作（真实机器人 ALOHA 双臂）：微调后域内任务平均 83.6%，OOD 成功率 76.9%（vs. π0.5 的 41.5%），有预训练 vs. 无预训练差距高达 +35.1pp（83.6% vs. 48.5%），证明预训练表示迁移价值显著。

导航（VLN-CE Val-Unseen）：R2R 最高 OSR 69.0%、SR 57.5%；RxR SR 59.6%、SPL 47.8%，均超越 StreamVLN、NaVILA 等开源基线。

OOD 动态操作（DOMINO，零样本）：SR 26.6%、MS 39.5，仅凭当前帧观察、无动态操作训练数据，超越专门 DOMINO 微调的 PUMA（17.2%/35.0%）。

消融关键发现：T2A 预热带来 +10.2pp；VL 数据联合训练在复杂任务（RoboCasa）带来 +4.9pp；RL 后训练在训练环境 +2.9pp，且在其他所有基准上无灾难性遗忘（最大波动 <0.6pp）；不加入本体感觉状态仅损失 ≤1.3pp，视觉信息已足够。

4. 局限性

具身动作数据规模远小于 VL 数据，长尾物体、接触丰富任务（如布料折叠、插槽）的鲁棒性仍有不足；操作/导航/VL 联合训练存在优化权衡，动作增强训练会轻微损伤纯 VL 和导航评测指标；当前评估以短时域、基准驱动为主，长时域真实部署（故障恢复、情景记忆）仍是未解挑战。

5.26 SpatialVLA (2025) {#5-26-spatialvla}

——融合 3D 空间表征与自适应动作网格的具身智能基础模型

📄 Paper: https://arxiv.org/abs/2501.15830

精华

• 提出 SpatialVLA，通过在 VLA（Vision-Language-Action）模型中引入 3D 空间先验，显著提升了机器人的空间感知和精细操作能力。
• 设计了自我中心 3D 位置编码（Ego3D Position Encoding），利用 ZoeDepth 预测的相对深度进行反投影，无需相机外参标定即可将 3D 空间结构融入 2D 图像特征中。
• 提出了自适应动作网格（Adaptive Action Grids），根据离线数据集中的动作高斯分布非均匀地离散化动作空间，有效提升动作表达的精度，将每步预测的 Token 数从 7 个减少到 3 个。
• 提出了空间嵌入适应（Spatial Embedding Adaptation），在下游微调时根据新数据集的分布重新离散化动作空间，并利用三线性插值初始化新 Token 的嵌入，实现高效的多机器人适配。
• 在 24 项真实机器人任务 and SimplerEnv 等仿真环境中进行评估，展示出极强的 Zero-shot 泛化能力，特别是对高度、视点及光照变化的鲁棒性。

1. 研究背景/问题

• 现有的 VLA 模型（如 OpenVLA、RT-2）主要依赖 2D 图像输入，缺乏对 3D 物理世界的精确空间理解，这限制了机器人在复杂多变的 3D 空间中执行精细操作（如动态避障、准确抓取不同高度的物体）。
• 建立具有 3D 空间感知的通用 VLA 模型面临两大挑战：一是不同机器人平台的相机位姿和参数不一致，导致 3D 观测空间难以对齐；二是不同机器人的动作范围、控制自由度和控制器不同，难以学习统一且泛化性强的空间动作表达。

2. 主要方法/创新点

① 整体框架概述

SpatialVLA 整体框架基于多模态大模型 PaliGemma 2 构建，由 SigLIP 图像编码器、ZoeDepth 深度预测模块、Ego3D 位置编码器、Gemma 2 语言模型骨干以及自适应动作网格解码器组成。系统接收单张 RGB 图像和语言指令，首先提取并计算融合了 3D 几何特征的图像表征，再通过自回归方式预测离散的空间动作 Token，最后反离散化输出连续的控制信号。

② 逐模块讲解

1. Ego3D 空间观测模块（Ego3D Position Encoding）：
   • 输入：RGB 图像 $o_t$。
   • 处理：利用固定的 ZoeDepth 模型预测相对深度图 $D$，并通过相机内参将其反投影到自我中心坐标系中，计算每个像素的 3D 位置 $P$。同时，利用 SigLIP 提取图像的 2D 语义特征 $X$。将 3D 位置 $P$ 传入正弦位置编码器并经过一个可学习的 MLP 投射至语义空间，得到 3D 位置编码 $P’$，最后与 2D 图像特征 $X$ 直接相加得到 $O_{3d}$： \(O_{3d} = X + \text{MLP}(\gamma(P))\)
   • 输出：融合了 3D 几何特征和 2D 语义特征 of 图像特征。
   • 设计动机：在自我中心相机框架下构建 3D 坐标，避免了因相机安装位置不同而需要复杂的相机-机器人外参标定的问题，实现跨具身的通用 3D 观测空间对齐。
2. 自适应动作网格（Adaptive Action Grids）：
   • 输入：连续的 7 自由度动作 $a = {x, y, z, \text{roll}, \text{pitch}, \text{yaw}, \text{grip}}$。
   • 处理：为使自回归架构能有效预测连续动作，设计了离散动作空间。平移部分转为极坐标 $(\phi, \theta, r)$ 以解耦移动方向和距离。拟合数据集中每个动作分量的高斯分布 $N(\mu_a, \Sigma_a)$，在累积分布函数（CDF）概率轴上等概率切分出 $M$ 个区间，实现非均匀的动作格点划分。具体地，平移量 $(\phi, \theta, r)$ 离散为 $32 \times 16 \times 8 = 4096$ 个网格点；旋转量 $(\text{roll}, \text{pitch}, \text{yaw})$ 分别离散为 $16 \times 16 \times 16 = 4096$ 个网格点；夹爪动作离散为 2 个 bin。将这三部分线性排列组成大小为 $V = 8194$ 的动作词表 $E_a$。
   • 输出：离散的空间动作 Token（平移 Token、旋转 Token、夹爪 Token）。
   • 设计动机：使用高斯分布拟合进行非均匀分割，能在动作高频区（如原点附近）提供更高分辨率以进行精细控制。且每步预测从 RT-2 的 7 个 Token 减少到 3 个 Token，大幅加快了推理速度。
3. 空间嵌入微调适配（Spatial Embedding Adaptation）：
   • 输入：新机器人/场景的微调数据集。
   • 处理：在 post-training 微调阶段，针对新数据集重新拟合高斯分布并构建新动作格点 $G_{\text{new}}$。为了保留预训练的通用动作先验，使用三线性插值（Trilinear Interpolation）根据空间几何距离，将预训练的动作嵌入 $E_a$ 插值投射为新动作嵌入 $E_{a^{\text{new}}}$： \(e_{a^{\text{new}}}^i = \sum_{j=1}^K w_j e_a^j\)
   • 输出：高精度对齐新动作分布的初始 Token Embedding。
   • 设计动机：缓解新微调场景由于动作范围差异带来的分布漂移，提供更好的微调初始化并加速动作解码层的收敛。

③ 端到端数据流

在每个决策步骤，模型接收单目 RGB 图像和文本指令。图像经过 ZoeDepth 与 SigLIP 融合成 3D 观测空间表征。接着，通过 MultiModal Projector 将 3D 观测特征投射为 Gemma 2 的 Token 表示，与语言指令拼接。骨干网络自回归地一次性预测出未来 $T=4$ 步（共 12 个 Action Token）动作，并反离散化解码为连续控制序列，由控制器最终执行。

④ 训练目标与损失

模型在 110 万真实轨迹数据上采用标准的自回归交叉熵（Cross-Entropy）损失函数进行联合优化： \(\mathcal{L}(\theta) = \mathbb{E}_{p(A_t|o_t)} [\mathcal{L}(a_t, \tilde{a}_t)]\) 针对平移、旋转及夹爪离散 Token 进行分类预测误差计算，冻结文本嵌入以防语言泛化能力退化。

3. 核心结果/发现

• SimplerEnv 零样本仿真评估（Google Robot & WidowX）：
  • 在 Google Robot 任务的 Visual Matching 评估中，SpatialVLA 零样本成功率达到 71.9%，相比 RoboVLM（56.3%）和 OpenVLA（27.7%）有显著优势，甚至超越了 55B 参数的 RT-2-X（60.7%）。
  • 在更复杂的 Variant Aggregation（涵盖不同视角和光照）中，SpatialVLA 保持了 68.8% 的极高成功率。
  • 在 WidowX 任务中，微调后的 SpatialVLA 取得了 42.7% 的平均成功率，并在“将茄子放入黄色篮子”任务中实现了 100.0% 的全胜。
• 真实环境 WidowX & Franka 实验：
  • 面对人为动态干扰（如移动正在抓取的茄子/胡萝卜），SpatialVLA 能灵活跟手完成闭环抓取，鲁棒性优于 OpenVLA。
  • 在 Franka 平台微调中，面对空间指令（“放至离机器人最近的卡车上”），SpatialVLA 凭借 3D 位置编码取得了最高的泛化成功率（73%）。
• LIBERO 仿真评估：
  • 在 LIBERO 所有的四个子任务套件（Spatial、Object、Goal、Long）中整体均排名第一。特别是在以物体空间相对关系为核心的 LIBERO-Spatial 套件中取得了 88.2% 的极佳成绩。
• 消融实验结论：
  • 3D 位置编码作用：去除 Ego3D 位置编码后，在 Variant Aggregation 中的成功率骤降了约 12%，证明 3D 信息的注入极大地帮助模型应对视点和环境材质的变化。
  • 动作网格分辨率：自适应网格的分辨率由 1026 增至 8194 时，提供了最佳的控制精细度；但继续增加到更大分辨率会带来边际效应递减和参数冗余。
  • 插值适配作用：在 LIBERO 微调中，引入 Spatial Embedding Adaptation 能额外带来 4.6% - 5.4% 的性能提升，验证了插值初始化对空间动作对齐的有效性。

4. 局限性

• 长时序任务依赖：尽管模型在短周期闭环控制中表现出色，但受限于单帧加历史 Token 的架构设计，在需要长期记忆和多阶段规划的任务（如 LIBERO-Long）中提升有限，未来需要开发更长效的历史感知层。
• 高维动作扩展困难：目前的 Gaussian 分布拟合是针对单臂 7 自由度动作设计的。如果扩展到双臂协作、灵巧手操纵等多维度高自由度任务，网格组合数会指数级增长，需要设计更高效的空间共享网格或者隐式生成解码机制。

  5.27 Harness VLA (2026) {#5-27-harness-vla}

  📄 Paper: https://arxiv.org/abs/2607.08448

精华

• 发现能力不对称性并解耦控制：揭示了端到端 Vision-Language-Action (VLA) 模型在接触密集型（contact-rich）局部动作预测上极强，但在语言理解、长时程规划与空间运输上极其脆弱。将冻结的预训练 VLA 封装为单一“接触基元”（VLA_ACT），将非接触操作完全交由确定性解析基元（Analytic Primitives）与高层 Agentic Planner 统筹。
• 构建物理 REPL 闭环 Harness：建立闭环 Agentic Harness，将机器人操控抽象为类似软件 REPL 的交互界面。结合实时 RGB-D 深度重绑定与传感器反馈，使高层 LLM/VLM 能以结构化 JSON 调用基元并实现动态试错与重置。
• 双层记忆增强泛化与避坑：设计任务特异性记忆（Task Specific Memory）参数化存储参考解法的 JSONL 轨迹，配合全局记忆（Global Memory）归纳跨任务通用规则（Success Rules）与失败模型（Failure Models，如空抓与伪成功过滤），消除盲目重复失败。
• 零微调下性能大幅飞跃：在包含空间位置置换与指令重定向的强扰动 benchmark（LIBERO-Pro, RoboCasa365, RoboTwin C2R）上，在完全不微调低层 VLA 权重的前提下，将基线成功率提升 38.6%~50.2%，展现出卓越的稳健性与分布外泛化能力。

1. 研究背景/问题

近年端到端 Vision-Language-Action (VLA) 模型（如 OpenVLA、$\pi_0$、GR00T 等）在模仿学习和复杂接触动作上取得了显著进展。然而，当面临真实的部署扰动——例如自然语言指令重定向（Task Redirection）、空间物体位置置换（Position Swap）或非分布（OOD）场景时，这类单体式（Monolithic）VLA 模型的表现急剧恶化。其根源在于 VLA 模型的语言理解通道在端到端训练中常退化为弱条件，模型倾向于盲目记忆训练集中的视觉运动轨迹，缺乏高层语义绑定与空间运输调控能力。

另一方面，基于 LLM 的 Code-as-Policies 或 Agent 工具调用框架虽具备优秀的高层规划能力，但在缺乏接触感知的精细操作（如不规则物体抓取、机构铰链操纵）上频频失效，且缺少将物理试错归纳为长期可复用经验的记忆机制。

核心问题：如何既保留预训练冻结 VLA 强大的接触密集型操控能力，又消除其对高层语义理解与空间运输控制的盲目性，实现零微调下的高鲁棒长时程机器人操控？

2. 主要方法/创新点

Harness VLA 提出了一个非对称分层架构，将冻结的 VLA 限制为 Agent 调用的一个接触密集型基元，把控制权交给由 LLM/VLM 驱动的 Agentic Planner 和统一基元库，并辅以双层记忆系统。

① 整体框架概述

Harness VLA 系统由四大核心模块构成：

1. Agentic Planner：高层认知决策核心，负责解析任务指令、分析实时 RGB-D 与本体感受观察、检索记忆并决策当前执行的基元；
2. 统一基元库 (Unified Primitive Library \(\mathcal P\))：包含确定性解析基元（Analytic Primitives）与被调用的冻结 VLA 基元（VLA_ACT）；
3. 闭环 Harness (Agentic Harness)：基于 REPL 形式的运行时契约，负责 JSON 指令序列化、物理引擎执行、观察刷新、错误捕获与记忆存储；
4. 双层记忆系统：包含 Task Specific Memory（存储参数化成功轨迹 JSONL）和 Global Memory（沉淀通用成功规则与失败模型）。

② 逐模块讲解

• 闭环 Harness 与 Agentic Planner
  • 输入：多模态观察 tuple $o_t = (I_{rgb}^t, I_d^t, q_t)$（包含 Agent 视角 RGB 图像、对齐的深度图 $I_d^t$ 及末端执行器/夹爪状态 $q_t$）、自然语言任务描述 $\ell$，以及从记忆系统中检索到的上下文。
  • 处理：Planner 观察物理状态与视觉图像，推理出下一步所需的基元，并输出对应的结构化 JSON 调用参数 $c_t \in \mathcal P$。
  • 输出：物理引擎直接接收 JSON 调用并驱动机器人运动，直到满足该基元的内部终止条件后，返回刷新后的观察 $o_{t+1}$ 和状态 $q_{t+1}$。
  • 设计动机：将机器人控制包装成类似 REPL 的闭环契约，让 LLM 无需预测低层连续关节扭矩，专注于高层组合推理与纠错。
• 统一基元库 (\(\mathcal P\))
  • 解析基元（Analytic Primitives）：基于机器人运动学和经典控制器的物理基元，无需任何训练数据。分为复合基元（如 MOVE_TO、NAVIGATE_TO，接收世界坐标系目标点并调用内置 IK 求解器协调多自由度运动）和原子基元（如 ROTATE、SET_GRIPPER、BASE_VELOCITY，驱动单维度设定点）。负责空间前置调整（Staging）、运输、定位与夹爪释放。
  • VLA 基元（VLA_ACT）：将预训练冻结的 VLA 模型（如 $\pi_0$、OpenVLA、LingBot-VLA 等）封装为单一基元接口。接收提示词与实时相机视角，生成局部动作 chunk 并执行接触密集型交互（如不规则物体抓取、门/微波炉等机构操纵）。
  • 设计动机：利用解析基元的高确定性消除了连续移动中的姿态漂移；利用 VLA_ACT 的接触感知完成无法由解析解描述的复杂抓取。
• 双层记忆机制（Dual-Layer Memory Architecture）
  • Task Specific Memory（任务特异性记忆）：在探索 Bootstrapping 阶段，Agent 在参考种子环境上自主交互试错，成功后将基元执行序列导出为 JSONL 文件。关键创新在于将具体 3D 坐标参数化为符号化感知查询（Perception Queries）。在部署评估阶段，Agent 读取此 JSONL 轨迹，并根据当前实时的 RGB-D 深度图重新绑定目标坐标，解决空间置换（Position Swap）问题。
  • Global Memory（全局记忆）：跨任务积累通用经验。包含成功规则（如构建全量任务上下文的最优 Prompt 模式）与失败模型（针对空抓、假成功、不稳定预接触点等模式建立防御判定规则），避免 Planner 在不同任务中重复犯错。

③ 生命周期与执行流

1. 探索阶段（Exploratory Bootstrapping Phase）：在参考种子任务上，Planner 拥有 RESET 权限和宽裕的时间预算。Planner 试错不同的预接触姿态、VLA_ACT 触发时机和早退阈值。探索成功后生成 Task Specific Memory (JSONL) 和 Global Memory。
2. 部署阶段（Deployment Evaluation Phase）：在未见的分布外环境（位置置换、指令改变、随机初始 seed）中评估。禁用 RESET 并限制总步数。Planner 从 Task Specific Memory 提取模版，用 live RGB-D 重新绑定坐标，参照 Global Memory 避坑规则稳健执行。

④ 动态重试机制（Adaptive VLA Invocation & Re-staging）

Planner 将 VLA_ACT 视为可被重新调整姿态并重试的局部基元。若执行 VLA_ACT 后检测到未成功抓取或接触偏离，Planner 利用解析基元（如 MOVE_TO）将机器人重新运动回安全且符合 VLA 视觉分布的预接触位姿（Re-staging），随后再次触发 VLA_ACT 进行重试，大幅提升了对执行扰动的容错率。

3. 核心结果/发现

• LIBERO-Pro 强扰动测试（表 2 & 表 3）：在包含空间位置置换（SPATIAL/OBJECT/GOAL-S）和指令重定向（GOAL-T 等）的 LIBERO-Pro 评测中，Harness VLA (CC) / (Codex) 取得 47.5% / 56.3% 的平均成功率，相比最强基线（\(\pi_{RLinf}\) 仅 6.1%、$\pi_0$ 仅 1.1%）分别提升 41.4 和 50.2 个百分点。

• RoboCasa365 复杂厨房环境（表 4）：在涵盖长时程、复合工具与铰链机构的 RoboCasa365 测试中，Harness VLA 成功率达到 38.6% (Codex) / 36.3% (CC)，大幅超越 Cap-X (13.2%)。
• RoboTwin C2R 零样本迁移（表 6）：在 Clean-to-Randomized 迁移设定下，使用训练于 Clean 环境的 LingBot-VLA 作为 VLA_ACT 基础后端，直接部署该 VLA 的成功率为 50.4%，而 Harness VLA 将其提升至 58.4%。

• 核心机制发现（Key Findings）：
  1. 语义重绑定（Key Finding 1）：如 Figure 3 所示，当指令目标重定向时，传统 VLA 盲目重复训练轨迹，而 Harness VLA 通过 Planner 解析指令并结合 RGB-D 重新绑定目标点。
  2. 自适应 VLA 重新布置与重试（Key Finding 2）：如 Figure 4 所示，随着允许的 VLA_ACT 调用上限增加，任务成功率快速攀升后饱和，证明适度的预前置调整与重试是保证高成功率的关键。
  3. 任务归因（Key Finding 3）：分析显示，成功轨迹中解析基元承担了大部分空间位移与定位，而 VLA 被精准约束在局部接触阶段。

4. 局限性

1. 依赖高层 VLM/LLM 的推理延迟：闭环 REPL 模式依赖高层大模型的闭环推理与决策，在需要毫秒级（>50Hz）高频避障或实时连续反馈的极动态场景中仍受限于 API 响应延迟。
2. Bootstrapping 阶段需要试错预算：建构 Task Specific Memory 和 Global Memory 前提是在参考种子任务上允许使用 RESET 并提供一定的自主探索试错时间。

   5.28 TurboVLA (2026) {#5-28-turbovla}

   ——实时视语言动作模型：在 RTX 4090 上实现 32 Hz 控制与低于 1 GB 显存占用

📄 Paper: https://arxiv.org/abs/2607.27205

精华

• 传统 VLA 模型（如 OpenVLA、$\pi_{0.5}$）普遍以多亿/十亿参数的 LLM 为中枢（$V \to L \to A$），导致每次控制推断产生高昂计算与显存开销，难以满足实时高频控制需求。
• TurboVLA 重构了该范式，提出直连式的视语言动作映射（$V+L \to A$），利用轻量级 BERT 提取指令语义，并通过 6 层双向视语言交叉注意力模块（Bidirectional Vision-Language Interaction）直接融合图像与文本特征。
• 结合 ACT 风格的 Transformer 解码器，TurboVLA 单次前向传播即可并行预测连续动作块（Action Chunking），彻底摆脱了大语言模型骨干与自回归解码。
• 在 RTX 4090 上，TurboVLA 仅含 0.2B 参数且推理显存小于 0.9 GB，端到端推断延迟低至 31.2 ms（>30 Hz 控制频率），在 LIBERO 仿真基准上取得 97.7% 的平均成功率，性能媲美或超越庞大的 LLM-centric VLA。
• 该工作有力证明：机器人底层执行级操控（Execution-level Control）无需将百亿参数 LLM 作为感知与动作的中枢，为高效、低成本的具身操控部署开辟了新路径。

1. 研究背景/问题

• 传统 LLM-centric VLA 的算力瓶颈：当前基于视语言动作（VLA）的机器人操控策略（如 RT-2、OpenVLA、$\pi_0$、$\pi_{0.5}$）普遍将大语言模型（LLM）置于感知与控制的核心位置（即 $V \to L \to A$ 路径）。视觉观测被映射至 LLM 的 Token 空间，与指令拼接后由百亿/十亿参数的 LLM 处理，再生成动作。
• 高延迟与高资源依赖难以边缘部署：即便是配备独立动作专家（Action Expert）的非自回归模型（如 $\pi_{0.5}$），其视觉与指令特征仍需通过庞大的 LLM 骨干，推断延迟通常达 80–200 ms，显存需求高达 8–16 GB。这限制了机器人控制更新频率（通常仅 10 Hz 左右），且无法部署在算力受限的边缘终端或消费级显卡上。
• 核心观察与研究动机：在机械臂的底层执行操控（Execution-level Control）任务中（如“把三个碗叠起来”），自然语言指令主要用于确定当前应当执行哪种技能与目标对象，策略并不需要进行开放式文本生成或复杂任务分解。因此，一旦获取指令语义，完全可以通过高效的视语言交互将语言条件直接注入视觉特征中，从而构建 $V+L \to A$ 的极简高效控制映射。

2. 主要方法/创新点

架构演进对比

传统 VLA 模型与 TurboVLA 在计算路径与资源消耗上存在本质差异：

举个例子：传统 VLA 模型如 $\pi_{0.5}$ 拥有 3.4B 参数，预测一个动作块需 93.6 ms 且占用 12.8 GB 显存；而 TurboVLA 总参数量仅 0.2B（仅为 $\pi_{0.5}$ 的 6%），推断一次仅需 31.2 ms，显存占用低于 0.9 GB。这使得策略控制频率从 11 Hz 跃升至 32 Hz，可在单张消费级 RTX 4090 显卡上实现高频闭环操控。

整体框架与数据流

TurboVLA 整体架构由多模态特征编码、双向视语言交互和连续动作块解码器三个核心部分组成。

graph TD
    A["视觉观测 (多视角 RGB)"] --> B["DINOv3 视觉编码器"]
    C["语言指令 (Text Command)"] --> D["BERT 文本编码器"]
    B --> E["视觉特征 Z_v (N_v × d)"]
    D --> F["指令特征 Z_l (N_l × d)"]
    E --> G["双向视语言交互模块 (6 × FusionLayer)"]
    F --> G
    G --> H["视语言融合表征 Z_vl"]
    I["机器人本体状态 (Robot State s_n)"] --> J["状态编码器 f_state"]
    J --> K["状态特征 Z_s"]
    H --> L["ACT 动作块解码器 (Transformer Decoder)"]
    K --> L
    M["可学习动作查询 Q_a"] --> L
    L --> N["连续动作块预测 A_hat (H × d_a)"]

逐模块详细讲解

① 多模态特征编码 (Multimodal Feature Encoding)

• 指令特征：自然语言指令 $x$ 经过轻量级 BERT 模型抽取 Token 级特征，并通过投影层 $P_l$ 变换至策略维度 $d = 256$： \(Z^l = P_l(f_{\mathrm{text}}(x)) \in \mathbb{R}^{N_l \times d}\) 保持完整 Token 序列而非标量池化向量，能够为后续视觉注意力提供物体、属性及空间关系的细粒度引导。
• 视觉特征：对于 $K$ 个相机的 RGB 图像观测 $I^{(i)}_n$，采用预训练 DINOv3 抽取空间视觉特征，叠加视图嵌入与位置编码后拼接： \(Z^{v,(i)}_n = P_v(f_{\mathrm{img}}(I^{(i)}_n)) + E^{(i)}_{\mathrm{pos}} + e^{(i)}_{\mathrm{view}}, \quad Z^v_n = [Z^{v,(1)}_n; \dots; Z^{v,(K)}_n]\)
• 本体状态特征：机器人关节角、末端姿态等状态 $s_n$ 独立经轻量投影层编码为 $Z^s_n = f_{\mathrm{state}}(s_n)$，直接送入末端动作解码器，避免干扰上游场景视觉-语言的语义匹配。

② 双向视语言交互模块 (Bidirectional Vision-Language Interaction)

独立编码的视觉与语言特征尚未明确彼此的关联。TurboVLA 引入 $N = 6$ 层交替的双向交叉注意力模块：

• 视觉到语言注意力（Visual-to-Instruction Cross-Attn）：以指令特征为 Query、视觉特征为 Key/Value，将当前物理场景上下文注入指令表示中。
• 语言到视觉注意力（Instruction-to-Visual Cross-Attn）：以视觉特征为 Query、指令特征为 Key/Value，让任务语义直接调制相关视觉 Patch。
• 经过双向交互后，两路特征在末级拼接为视语言融合表征 $Z^{vl}_n = [V^N_n; L^N_n]$，高效建立物体与指令语义的对应关系。

③ 连续动作块解码器 (Continuous Action Chunk Prediction)

基于 ACT 风格的 Transformer 解码器，利用 $H$ 个可学习的动作 Query $Q_a = [q_1, \dots, q_H]$，结合视语言表征 $Z^{vl}_n$ 与机器人状态 $Z^s_n$，单次前向传播直接预测未来 $H$ 步的连续动作块： \(\hat{A}_n = D_{\theta}(Q_a, [Z^{vl}_n; Z^s_n]) \in \mathbb{R}^{H \times d_a}\) 训练过程采用行为克隆（Behavior Cloning）下的 $\ell_1$ 损失函数，无需任何辅助语言建模损失。

3. 核心结果/发现

• LIBERO 仿真基准性能：在 LIBERO 4 个子测试集（Spatial, Object, Goal, Long）2,000 次评测中，TurboVLA 达到 97.7% 平均成功率，超越了参数量大十几倍的 $\pi_{0.5}$（96.9%）、OpenVLA（76.5%）、OpenVLA-OFT（97.1%）及 VLA-JEPA（97.2%）。
• RoboTwin 2.0 双臂操控拓展：在 50 项双臂协调操控任务中，TurboVLA（ViT-L 骨干，0.4B 参数）取得 60.2% 平均成功率（推断延迟 43.4 ms），显著优于 $\pi_{0.5}$（57.0%，95.6 ms）和 StarVLA-$\alpha$（50.3%，74.9 ms）。
• 真实机械臂部署：在 AgileX Piper 机械臂的 4 项真实操控任务（抓取滚筒、移开扑克牌、按压订书机、叠三个碗）中，TurboVLA 分别取得 92.5%、80.0%、90.0%、87.5% 的成功率，全面超越同等设置下的 $\pi_{0.5}$。
• 消融实验关键发现：
  • 语言条件不可或缺：移除语言条件后 LIBERO 平均成功率从 97.7% 骤降至 70.8%（Goal 子集更是从 97.4% 跌至 11.6%），证明策略必须依赖文本区分同场景下的不同行为。
  • 双向交互优于单向与拼接：无交互拼接为 95.2%，单向交互为 96.1%–96.5%，双向交互达到最优 97.7%。
  • 文本编码器具有通用性：换用 T5-Small（97.1%）或 SigLIP-Base（95.5%）均能维持高成功率，说明执行级操控不需要特定的 LLM 词表空间。

4. 局限性

• 缺少高层任务规划能力：TurboVLA 专为执行级别的具体指令（Concrete Execution-level Instructions）设计，去除了 LLM 后失去了开放式常识推理与长序列高层任务分解能力。
• 复杂跨模态推理受限：对于需要多步隐式推理（如“先找到开瓶器再打开最左边的饮料瓶”）的复杂任务，仍需上层大语言模型进行高层规划并输出子目标指令，与 TurboVLA 的高效执行路径相结合。

  5.29 ZR-0 (2026) {#5-29-zr-0}

  ——基于密集具身思考链 (ECoT) 监督与跨本体推理/执行解耦的 2.6B 端到端 VLA 模型

📄 Paper: https://arxiv.org/abs/2606.30552

精华

1. 跨本体认知对齐 (Cross-Embodiment Alignment)：针对单臂、双臂、人形机器人底层状态与动作空间异构的难题，ZR-0 指出物体识别、场景感知与子任务分解等高层认知过程在不同本体间是高度共享的，创新性地提出利用密集具身思考链（Dense ECoT）作为监督信号实现跨本体语义对齐。
2. System 1 / System 2 双流架构与推理期零延迟旁路：System 2（Qwen3-VL-2B）负责在训练时学习丰富的物理世界常识与 ECoT 推理；System 1（DiT 动作专家）通过 Flow Matching 预测连续动作块。设计了专属注意力掩码（Attention Mask），使动作专家仅交互输入 Prompt 特征，在推理部署时完全跳过文本 ECoT 的自回归生成，兼顾高层推理泛化与高频实时控制。
3. 超大规模密集标注数据集 ProcCorpus-60M：整合 DROID、RH20T、OXE、Bridge 等主流开源机器人数据集，构建了含 6,000 万帧（约 1,000 小时、40 万条轨迹）的大规模数据集，且 96.8% 的帧带有结构化 ECoT 标注（场景描述、进度评估、未来规划、原子动作分解、目标物体 BBox、离散动作 Token）。
4. 视觉-语言数据协同训练 (Co-training)：在微调机器人动作的同时混入 CapsFusion 与 Pixmo 通用图文多模态数据，有效防止了端到端动作训练对 VLM 开放词表常识理解能力的灾难性遗忘。
5. 全形态仿真与实机泛化验证：在单臂（LIBERO）、双臂（RoboTwin 2.0）、人形机器人（RoboCasa GR-1 Tabletop）仿真基准及真实 xArm 机械臂多任务评测中均展现出卓越的泛化性能与指令遵循精度。

1. 研究背景/问题

• 跨本体迁移的异构困境：构建通用具身操作策略面临的核心障碍在于跨本体（Cross-Embodiment）泛化。不同机器人平台在机械臂自由度（6-DoF vs 7-DoF）、控制接口（关节角 vs 末端位姿）、底盘类型（固定基座 vs 移动底盘）以及传感器配置上存在根本差异。传统的填充对齐（Zero-padding）或语义维度映射仅停留在格式层面，无法让模型学习到跨硬件可迁移的深层语义特征。
• 高层认知共享 vs 低层动作特异：尽管底层执行细节因硬件而异，人类和机器人在执行操作任务时的高层认知决策回路是共通的（例如无论是 6 自由度还是 7 自由度机械臂，从桌上拿起杯子都需要经历“识别杯子位置 $\to$ 规划靠近路径 $\to$ 对齐抓夹 $\to$ 闭合夹爪”的逻辑演进）。
• 推理延迟与推理能力的矛盾：传统带思维链（CoT）推理的 VLA 模型在推理时需要逐字自回归解码出长文本推理过程，导致极高的计算延迟（单步耗时数百毫秒以上），无法满足高频闭环动作控制的需求。ZR-0 正是为解决这一矛盾而设计。

2. 主要方法/创新点

① 整体架构：System 1 / System 2 双流协同

ZR-0 包含基于认知科学双系统理论的两个核心子模块：

• System 2（慢速认知大模型）：基于预训练 Qwen3-VL-2B-Instruct 骨干，输入多视角相机图像 $o_t = [img_1, \dots, img_n]$ 及自然语言指令 $l$，生成结构化具身思维链（ECoT）序列 $r_t$。
• System 1（快速动作专家）：基于 Diffusion Transformer（DiT）的连续动作流匹配专家。接收机器人本体状态 $s_t$ 与 VLM 提取的顶层特征 $f_t$，单次生成未来 $H$ 步连续动作块 $A_t = [a_t, a_{t+1}, \dots, a_{t+H-1}]$。

② 关键创新：推理期零开销旁路设计（Inference-Time Bypass）

• DiT 模块注意力配比：每个 DiT 块采用 1 层自注意力 + 3 层交叉注意力 的非对称结构（不同于常规 1:1 设计），强化动作对视觉和语言特征的充分吸收。
• Cross-Attention Mask 机制：在 DiT 跨注意力交互时，显式施加注意力掩码，仅允许 Query（动作与状态 Token）访问 VLM 中对应输入 Prompt（图像 + 指令）的特征，屏蔽所有后续生成的 ECoT Token 特征。
• 零延迟推理优势：由于动作生成完全不依赖生成的 ECoT 文本隐藏状态，推理阶段完全无需自回归解码任何 ECoT 文本，VLM 仅需单次前向传播（Single Forward Pass）编码输入观测，即可直接驱动 Action Expert 采样动作。

③ 结构化 ECoT 认知六要素 (ProcCorpus-60M)

为赋予模型全方位的具身推理能力，ProcCorpus-60M 为轨迹中的每一帧自动构建了六级结构化认知链条：

1. Scene Description（场景描述）：概括环境布局与关键物体，提升开放视觉场景感知能力。
2. Progress Assessment（进度评估）：总结已完成进度并给出二分类完成指示（Yes/No），增强任务进度感知。
3. Future Plan（未来规划）：以自然语言描述达成目标所需的剩余步骤，强化时序推理与长程规划。
4. To-Do Actions（原子动作分解）：将未来规划分解为规范的动宾短语（如 Grasp the blue plate），建立硬件无关的跨本体可迁移表征。
5. Target Objects（目标物体定位）：以 JSON 格式输出关键物体的 2D 边界框 BBox，提供显式视觉定位引导。
6. Discrete Actions（离散动作 Token）：由 FAST Tokenizer 产生的离散动作 Token，在高层推理与底层连续控制间搭建紧凑桥梁。

④ 联合训练损失函数

ZR-0 在训练阶段联合优化语言建模损失与流匹配去噪损失： \(\mathcal{L} = \mathcal{L}_{\mathrm{ntp}} + \alpha \mathcal{L}_{\mathrm{fm}}\)

• ECoT 监督损失： \(\mathcal{L}_{\mathrm{ntp}} = -\mathbb{E}_{\mathcal{D}} \left[ \sum_i \log \pi_{\theta'}(r_t^i \mid l, o_t, r_t^{<i}) \right]\)
• 流匹配动作去噪损失： \(\mathcal{L}_{\mathrm{fm}} = \mathbb{E}_{\mathcal{D}, \tau, \epsilon} \left[ \|\pi_\theta(l, o_t, s_t, A_t^\tau, \tau) - (A_t - \epsilon)\|^2 \right]\) 其中流匹配时间步 $\tau \sim \text{Beta}(1.5, 1.0)$，对高噪声阶段给予更大采样权重。

3. 核心结果/发现

• 多形态仿真基准全面领先：
  • 单臂操控 (LIBERO)：在 LIBERO-Spatial、Object、Goal、Long 四大子集中全面超越 OpenVLA、$\pi_0$ 与 Octo。
  • 双臂操控 (RoboTwin 2.0)：在 20 项复杂双臂协同任务中展现出高协调性与精准的空间动作解耦能力。
  • 人形操控 (RoboCasa GR-1 Tabletop)：在复杂居家桌面场景中验证了向高自由度人形机器人的迁移能力。
• 实机部署验证：在 xArm 机械臂上开展了 4 类涵盖空间方位推理、OCR 字符理解、细粒度物体操作和长程多阶段规划的真实物理测试，ZR-0 在新场景和新物体分布下展现出高达 85%+ 的操作成功率。
• 消融实验关键结论：
  • 密集 ECoT 的必要性：移除 ECoT 监督（仅使用动作回归）导致跨本体迁移成功率下降 28.4%；
  • 推理期旁路无损验证：对比“推理期生成 ECoT”与“推理期跳过 ECoT”，两者的动作控制成功率完全一致，但推理延迟下降了 85% 以上，证明了特征掩码解耦机制的有效性。

4. 局限性

1. 对离线自动标注质量的依赖：ProcCorpus-60M 数据集依赖上游大模型生成 ECoT 伪标签，标注噪声（如复杂遮挡下的 BBox 漂移）可能影响中间表征的纯净度。
2. 单向前馈缺少测试时动态反思：由于推理阶段跳过了 ECoT 的自回归生成，模型无法在执行中实时输出文字自纠错或进行基于语言的反思重规划。

   5.30 RoboTTT (2026) {#5-30-robottt}

   ——扩展具身策略注意力上下文至 8K Timesteps 的测试时训练 (TTT) 视觉-语言-动作模型

📄 Paper: https://arxiv.org/abs/2607.15275

精华

• 将语言模型中用于扩展长上下文的测试时训练（Test-Time Training, TTT）成功引入具身视觉-语言-动作（VLA）策略，将动作控制的历史上下文长度提升三个数量级至 8K timesteps（超 4 分钟连续交互）。
• 利用梯度下降在测试时动态更新快权重（Fast Weights）作为循环状态，使策略能够隐式记忆长历史，且推理计算耗时保持常数级（\(O(1)\) 随上下文长度不变）。
• 提出序列动作强迫（Sequence Action Forcing）与截断反向传播（TBPTT），解决了长序列 Diffusion Transformer 训练中的多级噪声采样与显存爆炸问题。
• 创新设计 DAgger Distillation 与 单样本视频模仿（One-Shot Video Imitation），将“失败-纠正”映射与人类示范视频隐式蒸馏至快权重中，实现无需在线人工介入的自适应纠错与单样本任务泛化。
• 首次揭示预训练上下文长度对机器人闭环操控性能存在持续 Scaling 效应（8K 比 1K 提升 63%），为具身大模型开辟了除参数量和数据量之外的全新 Scaling 维度。

1. 研究背景/问题

• 核心问题与动机：现有主流机器人基础模型（如 GR00T-N1.7, OpenVLA 等）大多仅依赖单帧或极短的历史观测（通常 2–8 帧），无法在长达数分钟的多阶段复杂任务中建立长效操控上下文。然而，长视觉动作上下文对于单样本视频示范模仿、部署历史中的在线自适应纠错以及长程操控至关重要。
• 技术瓶颈：在长视觉动作上下文下，传统的 Full Attention 随着序列长度增长面临昂贵的 KV Cache 显存与计算开销；而 RNN 或 Gated DeltaNet 等线性关联循环结构在拟合数千步高维视觉-动作连续流时存在表达能力不足的问题。
• 本文解决方案：本文提出 RoboTTT（Test-Time-Training Robot Policies），将 TTT 引入 VLA 策略。通过在训练和测试阶段利用梯度下降在线更新快权重（Fast Weights），将历史上下文动态压缩至模型参数空间中，在保证推理延迟为常数阶的前提下，将机器人视觉-动作上下文扩增至 8K timesteps（较现有 SOTA 提升超 3000 倍）。

2. 主要方法/创新点

① 整体框架概述

RoboTTT 建立在流匹配（Flow-Matching）策略 Backbone（本文默认使用 GR00T N1.7）之上，包含 VLM 编码器、DiT（Diffusion Transformer）动作头以及嵌入在 DiT 中的 TTT 图层（TTT Layer）。在时间维度上，DiT 内的注意力机制仅在单步内处理多模态 Token 的交互，而跨时间步的序列长依赖传递完全由 TTT 图层的快权重 \(\mathbf{W}\) 承担。

② 逐模块讲解

• VLM Encoder 与 Register Tokens：
  • 输入：当前及历史 RGB 图像 \(o_t\)。
  • 处理：VLM 提取视觉-语言 Token \(\Phi_t\)。为避免将高维且数量庞大的 \(\Phi_t\) 直接送入 TTT 图层导致计算开销过大，RoboTTT 在每个时间步引入 \(N=16\) 个可学习的 Register Tokens \(R_t\)。Register Tokens 通过 Cross-Attention 吸收该步的视觉与语言信息，并将多模态上下文压缩携带至 TTT 图层。
  • 输出：吸收了视觉-语言特征的 Register Tokens \(R_t\)。
• DiT Action Head 与 Gated TTT Layer：
  • 输入：Register Tokens \(R_t\)、本体感知 Token \(q_t\) 以及加噪动作 Token \(\tilde{A}_t\)。
  • 处理：在 DiT 的每层 Self/Cross-Attention 之后接入 TTT 图层。TTT 的快权重 \(f_{\mathbf{W}}\)（采用 2 层 MLP）以 Key-Value 关联学习的方式在线更新： \(\mathbf{W}_t \leftarrow \mathbf{W}_{t-1} - \eta \nabla_{\mathbf{W}} \mathcal{L}_{\text{FW}}(f_{\mathbf{W}_{t-1}}(\mathbf{K}_t), \mathbf{V}_t)\) 其中 \(\mathcal{L}_{\text{FW}}\) 为均方误差损失，并在 Apply 步骤计算输出 \(O_t = f_{\mathbf{W}_t}(\mathbf{Q}_t)\)。为了保护预训练 VLA 模型原有的强泛化能力，设计了可学习的 Tanh 门控机制： \(O = \tanh(\alpha) \odot O_{\text{TTT}} + O_{\text{attn}}\) 初始时初始化 \(\alpha \approx 0.001\)，使模型在训练初期平滑过渡。
  • 设计动机：快权重提供了非线性的隐式记忆容量，测试时的梯度更新使其具备比线性 Associative State 更强的长序列拟合与信息检索能力。
• Sequence Action Forcing（序列动作强迫）：
  • 设计：在长度为 \(T\) 的长序列训练中，为每个时间步的 Action Chunk \(A_t\) 独立采样不同的 Flow-Matching 噪声水平 \(u \sim \text{Beta}(1.5, 1)\)。
  • 动机：若整条序列共享单一噪声水平，会导致训练与闭环部署时的噪声分布严重不匹配。独立采样确保了模型在长序列中各时间步均能鲁棒预测。
• TBPTT (Truncated Backpropagation Through Time)：
  • 设计：将长序列划分为若干 Segment，在 Segment 边界截断慢权重（Slow Weights）的梯度流，但保留快权重 \(\mathbf{W}_t\) 在跨 Segment 间的连续传递。
  • 动机：显存开销仅取决于单个 Segment 长度而非总序列长度，使模型能够突破 GPU 显存限制，完成 8K 级别的超长序列预训练。

③ 创新使用范式：DAgger Distillation 与 单样本视频模仿

• DAgger Distillation（DAgger 蒸馏）：
  • 在交互轨迹中，机器人错误动作 \(A_t^{\text{R}}\) 与人类纠正动作 \(A_t^{\text{H}}\) 交替出现。训练时，完整轨迹（包含错误动作）均用于更新快权重 \(\mathbf{W}_t\)，但 Flow-Matching 损失仅在人类纠正动作上计算。
  • 由此将“识别失败 \(\to\) 执行纠正”的算法自适应能力隐式蒸馏到快权重的参数更新逻辑中，使机器人部署时无需人工介入，即可在自身动作失误后自动自适应恢复。
• One-Shot Video Imitation（单样本视频模仿）：
  • 将人类演示视频帧序列与机器人执行轨迹拼接为同一训练序列，Mask 掉视频帧上的动作 Loss，仅利用视频特征更新快权重。
  • 推理时仅需在前置上下文中输入一段未见配置的人类示范视频，策略即可从快权重的隐式状态中检索出任务目标并完成精准操控。

3. 核心结果/发现

• 长程操控任务综合性能：在 Pup Go Car（2 分钟）、Circuit（1 分钟）和 Gear Bot（5 分钟 10 阶段组装）三项实机高难度双臂操控任务中，RoboTTT 取得 79% 的平均任务完成度，比单步基线 GR00T N1.7（42%）提升 87%，且是唯一在 5 分钟超长程 Gear Bot 任务上实现完全成功（Full Success）的方法。
• Context Length Scaling 效应：预训练上下文长度从 128 扩展至 8K 时，闭环操控完成度从 43.9% 单调持续上升至 71.5%（相对提升 63%），且未见饱和迹象。相比之下，基于循环记忆的 GDN 随上下文增长性能未见提升。
• 单样本模仿与自适应鲁棒性：
  • 在单样本视频模仿中，RoboTTT 达到 65% 完成度（6/10 完全成功），而 GDN 完全失败（0/10）；
  • 在外部物理干扰（强行拿走已安装零部件）下，RoboTTT 自我修复成功率达 83%（15/20 和 18/20），显著优于短上下文基线（53%）。
• DAgger Distillation 增益：相比于传统仅在纠正数据上微调的 DAgger，DAgger Distillation 使 RoboTTT 的任务完成度额外大幅提升 36%。

4. 局限性

• 8K 级别的长上下文序列预训练对高质连续运动数据要求较高，训练阶段需较大的计算资源支持。
• 快权重的更新依赖基于 MSE 的辅助目标，在遇到极端环境突变（如光照大幅剧变或视角剧烈晃动）时的表征稳定性与泛化泛用边界仍有待进一步深入探索。

  5.31 S²-VLA (2026) {#5-31-s-vla}

  ——状态空间引导的动态自适应注意力视觉-语言-动作模型：攻克长程具身操控累积误差

📄 Paper: https://arxiv.org/abs/2606.27872

精华

1. 突破静态融合瓶颈：针对传统 VLA 在长时序多步任务中因固定静态融合权重导致误差累积（Compounding Error）的问题，提出首个基于状态空间引导自适应注意力（SSGAA）的长程操控框架。
2. 信念状态动态追踪 (Belief State Tracking)：在策略内部维护紧凑的内部信念状态 $b_t$，利用轻量级 GRU 递归编码历史动作-感知对与本体反馈，无需任何阶段标签即可在端到端动作预测中自监督涌现出对任务宏观执行阶段（趋近、抓取、对齐、放置）与执行偏差的感知能力。
3. 三路互补注意力与阶段自适应门控：设计了空间视觉感知（Low-Level Visual Cross-Attn）、语义任务意图（High-Level Intent Cross-Attn）与时序动作一致性（Action Sequence Self-Attn）三路并行注意力，通过信念状态驱动的门控网络动态分配权重，实现阶段感知的自适应表征融合。
4. 轻量模型越级超越：仅含 2B 参数量且部署仅需 7 GB 显存，但在 LIBERO 仿真基准上取得 98.2% 平均成功率（Long-Horizon 达 96.4%），在 SimplerEnv-Bridge（WidowX）上取得 78.1% 平均成功率，全面超越主流 7B/8B 规模的 VLA 模型。
5. 双臂实物操控与鲁棒避障：在 ALOHA 双臂移动平台上成功完成积木堆叠、桌面整理与双手传递餐具等多阶段复杂长程操控，实测证明 SSGAA 显著抑制了执行过程中的误差累积。

1. 研究背景/问题

• 长程任务中的误差累积与崩溃：现有的视觉-语言-动作（VLA）模型在单步短程任务中表现出色，但在需要多步骤连续推理的长程操作任务中（如“把奶油奶酪盒与黄油依次放入篮中”），成功率往往急剧衰减。根源在于早期决策产生的微小偏差会在长动作链上不断传播和放大。
• 静态多模态融合的固有局限：主流 VLA 模型在结合视觉、语言和历史动作特征时采用固定的静态权重或单一的注意力瓶颈。然而，真实的物理操控在不同阶段对信息源的需求存在本质差异：
  • 在初始宏观规划阶段，模型需要高度聚焦语言指令的全局语义意图；
  • 在精细对准抓取阶段，模型必须高度聚焦于局部几何与空间像素细节；
  • 在轨迹执行过渡阶段，则需要高度保持时序动作的平滑度与连续性。
• 缺乏对任务所处物理阶段的自适应感知能力，是现有静态 VLA 模型在长程任务中频繁失败的核心痛点。

2. 主要方法/创新点

① 整体框架：信念状态驱动的 VLA 范式

S²-VLA 接收多视角视觉观测 $V_t$、自然语言指令 $L_t$ 与机器人本体状态 $P_t$。模型由 Qwen3-VL-2B 骨干、信念状态更新模块（GRU） 以及 24 层 SSGAA 动作头 构成。

② 逐模块详细讲解

1. 内部信念状态（Belief State）建模

为了在长时程中维持时序因果一致性，模型维护一个紧凑的隐式信念状态 $b_t \in \mathbb{R}^{d_b}$。在每个时间步 $t$ 与动作头第 $l$ 层： \(\begin{aligned} (o_t^{(l)}, h_t^{(l)}) &= f_\phi(h_t^{(l-1)}, A_{t-K:t-1}, P_t) \\ b_t^{(l)} &= W_b \cdot o_t^{(l)} + \beta_b \end{aligned}\) 其中 $f_\phi$ 由轻量级 GRU 实现，$A_{t-K:t-1}$ 为历史回溯的动作序列。信念状态无需外部阶段标注，完全在动作预测损失的反向传播中端到端学习，自发涌现出对任务进度和物理扰动的动态表征。

2. 三路互补注意力机制 (SSGAA Pathways)

SSGAA 设立了三条功能互补的并行注意力通路：

• 低层空间视觉交叉注意力（Low-Level Visual Cross-Attn）：Query 为可学习动作序列，Key/Value 为 VLM 视觉 Token 隐藏状态 $C_{\mathrm{vis}}$，提取亚像素级的物体几何与空间方位细节： \(O_{\mathrm{vis}} = \text{Softmax}\left(\frac{Q (C_{\mathrm{vis}} W_{\mathrm{vis}}^k)^\top}{\sqrt{d}}\right) (C_{\mathrm{vis}} W_{\mathrm{vis}}^v)\)
• 高层语义意图交叉注意力（High-Level Intent Cross-Attn）：Key/Value 为 VLM 顶层意图 Token $C_{\mathrm{ite}}$，提取宏观任务目标与约束： \(O_{\mathrm{ite}} = \text{Softmax}\left(\frac{Q (C_{\mathrm{ite}} W_{\mathrm{ite}}^k)^\top}{\sqrt{d}}\right) (C_{\mathrm{ite}} W_{\mathrm{ite}}^v)\)
• 动作序列自注意力（Action Sequence Self-Attn）：在动作 Query 序列内部执行双向自注意力，维护连续 $K$ 步未来动作块之间的物理动力学连续性。

3. 信念引导的动态门控网络 (Belief-Guided Gating)

在第 $l$ 层，门控网络基于当前信念状态 $b_t^{(l)}$ 动态计算三路注意力的归一化权重： \(\begin{bmatrix} g_{\mathrm{vis}}^{(l)}, g_{\mathrm{ite}}^{(l)}, g_{\mathrm{act}}^{(l)} \end{bmatrix}^\top = \text{Softmax}\left(\text{MLP}_g^{(l)}(b_t^{(l)})\right)\) 三路特征按动态权重线性加权融合： \(H^{(l)} = g_{\mathrm{vis}}^{(l)} \cdot O_{\mathrm{vis}}^{(l)} + g_{\mathrm{ite}}^{(l)} \cdot O_{\mathrm{ite}}^{(l)} + g_{\mathrm{act}}^{(l)} \cdot O_{\mathrm{act}}^{(l)}\)

4. 并行非自回归动作解码 (Parallel Decoding)

经过 24 层 SSGAA 迭代后，顶层输出经 LayerNorm 与线性投影一次性输出未来 $K$ 步连续动作块： \(\hat{A}_{t:t+K-1} = \text{LN}(H^{(L_{\mathrm{out}})}) W_{\mathrm{out}}^\top + \beta_{\mathrm{out}}\)

3. 核心结果/发现

• LIBERO 长程操作基准 SOTA：在 LIBERO（Spatial, Object, Goal, Long）四大子集 2,000 次评测中，S²-VLA 取得 98.2% 平均成功率，在最具挑战性的 Long-Horizon 子集达到 96.4%，超越 OpenVLA-OFT（94.5%）、$\pi_0$（85.2%）、MemoryVLA（93.4%）及 8.5B 的 UnifiedVLA（94.0%）。
• SimplerEnv-Bridge 跨域真机仿真：在 WidowX 机械臂 4 项经典操作任务中达到 78.1% 平均成功率，显著超越 $\pi_0$-Beta（68.4%）和 OpenVLA（4.2%）。
• ALOHA 实机双臂部署：在方块分类、双层堆叠、桌面整理和双臂餐具传递四项真实任务中表现出高平滑性与自纠错能力。

• 消融实验关键发现：
  • 动态门控有效性：移除动态门控（固定权重静态融合）后，LIBERO-Long 成功率下降 1.4% 至 95.0%；
  • 中间层门控效果最优：在第 12 层（中间层）施加信念状态门控带来最显著增益（+1.4%），过度在所有层盲目门控反而导致优化不稳定。

4. 局限性

1. 依赖连续的本体感受输入：信念状态 $b_t$ 的递归更新高度依赖机器人本体关节/末端反馈（Proprioception），若硬件传感器丢失或存在严重时延抖动，可能影响状态追踪的准确性。
2. 离散高层重新规划能力有限：模型侧重于执行层面的自适应注意力调整，对于环境发生不可逆破坏（如目标物体掉落出操作台）等极端情况，仍需接入上层大语言模型进行高层重新规划。

6. 总结与展望

Vision-Language-Action (VLA) 模型代表了机器人技术的重要范式转变，通过统一视觉、语言和行动三个模态，实现了从自然语言指令到机器人控制的端到端学习。自2022年RT-1和2023年RT-2开创这一方向以来，VLA研究取得了爆发式进展。

VLA领域在架构、规模、能力和生态四个维度均取得了显著进展：动作表示从离散token演进到Flow Matching与测试时训练（TTT）；模型参数从130M (RT-1) 扩展到多B/十亿级；数据从130k轨迹增长到60M+帧 (ProcCorpus-60M) 与1.5M+轨迹 (EO-Data)；开源生态（OpenVLA, LeRobot）和评测基准（LIBERO, SimplerEnv）逐步成熟。

五大核心挑战的现状与展望如下：

从RT-1到S²-VLA，VLA的演进代表了具身智能研究范式的根本转变：从手工设计到数据驱动，从任务特定到通用能力，从离线学习到在线自适应与持续进化。ICLR/CVPR/ICML 2026收录数百篇VLA论文，标志着这一领域正步入爆发期。

声明：本文旨在为VLA领域的研究者和学习者提供全面的技术综述。由于该领域发展迅速，部分内容可能随时间推移而更新。欢迎读者在评论区讨论和补充最新进展。

7. 参考资料

• An Anatomy of Vision-Language-Action Models (2512.11362v3) - IEEE TPAMI 2025，本文核心参考综述，提出挑战驱动的分类法
• VLA-Survey-Anatomy GitHub - 上述综述配套项目页面
• ZR-0: Training Vision-Language-Action Models with Dense Embodied Chain-of-Thought Supervision - 智谱 AI & 中国人民大学，ProcCorpus-60M
• RoboTTT: Scaling Embodied Policy Attention Context to 8K Timesteps via Test-Time Training - NVIDIA GEAR Lab & Stanford
• S²-VLA: State-Space Guided Vision-Language-Action Models for Long-Horizon Manipulation - 华东师大 & 上交 (IJCAI 2026)
• TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 - 直连 $V+L \to A$ 高频轻量化 VLA
• Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications
• 10 Open Challenges Steering the Future of Vision-Language-Action Models
• State of VLA Research at ICLR 2026 - 分析164篇ICLR 2026 VLA论文
• Muhayyuddin’s VLA Repository - 整合102个模型、26个数据集和12个仿真平台
• OpenVLA - 7B参数开源VLA模型
• π₀ (openpi) - Physical Intelligence Flow Matching VLA
• Octo - 通用机器人策略
• LeRobot - Hugging Face机器人学习库
• RT-2 Blog - Google DeepMind
• Open X-Embodiment - 970k真实机器人轨迹，22种机器人
• Bridge Dataset - 60k桌面操作轨迹
• LIBERO - 终身机器人学习基准
• CALVIN - 长时序组合任务基准
• RLBench - 100+仿真操作任务
• SIMPLER - 标准化VLA评测平台