Awesome-VLA-Robotics

这是一个关于机器人视觉-语言-动作（VLA）模型的综合资源列表，收录了多个机器人学习数据集、模拟环境和评估基准，涵盖操作、导航、人机交互等多个应用领域，并按照技术方法和主题进行组织整理。

This is a comprehensive resource list focused on robotic Vision-Language-Action (VLA) models, which compiles multiple robotic learning datasets, simulation environments and evaluation benchmarks. It covers multiple application domains such as manipulation, navigation, and human-robot interaction, and is systematically organized by technical approaches and thematic categories.

原始信息汇总

数据集概述：Awesome VLA for Robotics

该页面是一个关于机器人视觉-语言-动作（Vision-Language-Action, VLA）模型的资源汇总，并非一个单一的数据集，而是一个整理了相关论文、模型、数据集和基准测试的列表。

核心内容结构

章节	内容描述
1. VLA模型定义	阐述VLA模型是专为机器人和具身AI设计的统一多模态AI系统，能够整合视觉感知、自然语言理解和动作生成。
2. 综述论文	列出了多篇关于VLA模型的综述性论文及其链接。
3. 关键VLA模型与研究论文	- 3.1 快速概览：以表格形式列出核心VLA模型（如RT-2, OpenVLA, Helix等），并附有贡献、架构、动作生成方法和论文/项目链接。<br>- 3.2 按应用领域分类：分为操作（Manipulation）、导航与移动操作（Navigation and Mobile Manipulation）、人机交互（HRI）、任务规划/推理（Task Planning / Reasoning）、人形机器人（Humanoid）及其他（Other）。<br>- 3.3 按技术方法分类：涉及模型架构、动作表示与生成、学习范式、输入模态与基础、微调改进方法。
4. 数据集与基准测试	- 4.1 快速概览：以表格形式列出核心数据集和基准（如Open X-Embodiment, BridgeData V2, MetaWorld等）。<br>- 4.2 机器人学习数据集：收录了多个用于机器人学习的数据集。<br>- 4.3 仿真环境：列出了仿真平台。<br>- 4.4 评估基准：提供了用于评估VLA模型的基准。
5. 挑战与未来方向	讨论了该领域面临的挑战和未来研究趋势。
6. 相关资源列表	提供了其他相关的资源汇聚列表链接。

关键资源列举

• 核心模型：RT-1, RT-2, OpenVLA, Helix, π0 (Pi-Zero), Octo, SayCan, NaVILA, TinyVLA, CogACT, Gemini Robotics, GR00T N1 等。
• 数据集与基准：Open X-Embodiment, BridgeData V2, MetaWorld, RLBench, CALVIN, LIBERO 等（具体列表在页面“4. Datasets and Benchmarks”部分）。

项目页面与持续更新

• 项目地址：https://github.com/Jiaaqiliu/Awesome-VLA-Robotics
• 说明：该项目是一个持续更新的社区资源，欢迎贡献。

搜集汇总

数据集介绍

构建方式

该数据集以系统化文献综述的方式构建，通过广泛搜集并整理视觉-语言-动作（VLA）模型在机器人学领域的前沿研究成果，构建了一个涵盖论文、模型、数据集及基准测试的综合性资源库。其构建过程遵循严谨的学术分类框架，首先依据应用领域（如操作、导航、人机交互）进行划分，进而根据技术路线（如模型架构、动作表征、学习范式）进行深度归类，最终形成层次分明、便于检索的知识图谱。

使用方法

使用者可通过该数据集的目录结构进行高效检索。例如，若需了解操作领域的VLA模型，可直接定位至“By Application Area”下的“Manipulation”子章节；若对扩散策略等技术细节感兴趣，则可查阅“By Technical Approach”部分。此外，数据集附带的模型概览表格（Quick Glance）提供了关键信息的速览入口，便于研究者进行快速对比与筛选，从而高效定位符合自身研究需求的文献或模型。

背景与挑战

背景概述

视觉-语言-动作（Vision-Language-Action, VLA）模型是近年来具身智能领域的一项突破性进展，其核心目标在于将视觉感知、自然语言理解与机器人动作生成融合为统一的端到端框架。该研究方向自2023年RT-2模型提出后迅速兴起，由Google DeepMind、斯坦福大学、加州大学伯克利分校等顶尖机构引领，旨在突破传统机器人系统中感知、规划与控制相互割裂的局限。VLA模型借鉴互联网规模预训练大模型（如LLM和VLM）的强大能力，通过将语言指令与视觉信息在物理世界中“落地”，驱动机器人完成复杂、非结构化的操作任务。该领域的影响力迅速扩展至操作、导航、人机交互及类人机器人等多个应用场景，催生了OpenVLA、π0、Helix等代表性模型，并推动着机器人从专用工具向通用智能体的范式转变。

当前挑战

VLA模型在迈向通用机器人应用的过程中面临多重严峻挑战。首先，领域核心问题在于如何实现从互联网预训练知识到物理动作策略的有效迁移，即解决“语义-动作”鸿沟，这要求模型在缺乏大规模真实机器人数据的情况下，仍能泛化至未见任务与环境。其次，构建过程中数据获取极为困难：高质量、多模态、跨具身的机器人操作数据稀缺且采集成本高昂，现有数据集如OpenX虽规模可观，但存在任务分布不均、动作表示异构等问题。此外，模型架构设计需兼顾实时性与灵活性，高维视觉与语言信息的融合常导致推理延迟，难以满足高频控制需求。动作表征的离散化与连续化策略亦存在权衡，而模型在长时序任务中的鲁棒性、安全性及持续学习能力仍是亟待攻克的瓶颈。

常用场景

经典使用场景

在机器人操作领域，Vision-Language-Action（VLA）模型最经典的使用场景是端到端地完成复杂操控任务。例如，模型接收自然语言指令（如“将红色杯子放在蓝色托盘上”）与视觉观测，直接输出机器人末端执行器的位姿或关节运动。这类场景涵盖从简单的抓取放置到需要精细力控的长时序任务，如RT-2、OpenVLA等模型在桌面整理、物品堆叠等任务中展现了强大的泛化能力。VLA模型通过融合视觉与语言信息，使机器人能够理解语义上下文并适应未见过的物体或布局，从而突破了传统方法对预设规则的依赖。

解决学术问题

该数据集系统地梳理了VLA模型在机器人学中的关键学术问题，核心在于解决多模态感知与动作生成之间的语义鸿沟。传统方法将视觉感知、语言理解与运动控制分离，导致模块间信息丢失且泛化性差。VLA通过统一框架将视觉-语言大模型（如PaLM-E、Gemini Robotics）的预训练知识迁移至物理世界，实现了从指令理解到动作执行的端到端推理。这一范式显著提升了机器人对复杂指令的零样本泛化能力，并解决了长时序任务中的累积误差问题，为具身智能体在非结构化环境中的自主决策提供了理论基础。

实际应用

在实际应用中，VLA模型正加速渗透至家庭服务、工业协作与自主导航等领域。例如，Helix模型被部署于人形机器人，实现全身协调的物体搬运与多机器人协作；NaVILA框架使四足机器人能够根据自然语言指令在复杂地形中自主导航。在工业场景中，VLA可辅助机械臂完成柔性装配任务，通过持续视觉反馈调整抓取策略。此外，TinyVLA等轻量模型的出现使得边缘设备上的实时推理成为可能，推动了VLA在智能家居、仓储物流等成本敏感场景中的落地。

数据集最近研究

最新研究方向

在具身智能领域，视觉-语言-动作（VLA）模型正成为连接大语言模型与物理世界交互的核心桥梁。当前研究前沿聚焦于构建能够处理复杂长时域任务的通用型机器人基础模型，其典型代表如融合层次化架构的Helix模型，通过系统1与系统2的协同实现仿人机器人的全身控制，以及采用流匹配技术生成连续动作轨迹的π0模型，在跨平台多任务场景中展现出卓越的泛化能力。这些工作不仅推动了从传统模块化机器人向端到端统一框架的范式转变，更通过将互联网规模预训练的视觉-语言知识有效迁移至动作生成，为机器人在非结构化家居环境中实现灵巧操作与自主导航开辟了全新路径。该方向的突破性进展正加速具身智能从实验室走向真实应用，其影响深远地重塑着人机协作的未来图景。