Awesome-VLA

github2026-06-03 更新2026-06-04 收录

下载链接：

https://github.com/LukeLIN-web/Awesome-VLA

下载链接

链接失效反馈

官方服务：

资源简介：

这是一个关于视觉-语言-动作（VLA）模型、基准测试和数据集的精选列表，专注于机器人操作和具身AI研究。该合集收录了多个大规模数据集资源，旨在为相关领域的研究提供实用的指南和资源索引。

This is a curated list of vision-language-action (VLA) models, benchmarks, and datasets, focused on robot manipulation and embodied AI research. This collection compiles numerous large-scale dataset resources, designed to provide practical guidance and resource indexing for research in relevant fields.

创建时间：

2025-06-23

原始信息汇总

数据集详情总结

数据集列表

Open X-Embodiment

网站: https://robotics-transformer-x.github.io/
代码仓库: https://github.com/kpertsch/rlds_dataset_mod
总大小: 约2.0TB
子数据集构成:
- fmb_dataset: 1.2T
- taco_play: 126G
- bc_z: 128G
- bridge_orig: 124G（210万样本）
- furniture_bench_dataset_converted_externally_to_rlds: 140G
- fractal20220817_data: 98G（378万样本）
- kuka: 70G
- dobbe: 22G
- berkeley_autolab_ur5: 20G
- stanford_hydra_dataset_converted_externally_to_rlds: 16G
- utaustin_mutex: 16G
- austin_sailor_dataset_converted_externally_to_rlds: 14G
- nyu_franka_play_dataset_converted_externally_to_rlds: 13G
- toto: 11G
- austin_sirius_dataset_converted_externally_to_rlds: 8.0G
- iamlab_cmu_pickup_insert_converted_externally_to_rlds: 5.9G
- roboturk: 4.5G
- berkeley_cable_routing: 3.3G
- viola: 3.2G
- jaco_play: 3.0G
- berkeley_fanuc_manipulation: 2.5G
- austin_buds_dataset_converted_externally_to_rlds: 1.2G
- cmu_stretch: 510M
- dlr_edan_shared_control_converted_externally_to_rlds: 263M
- ucsd_kitchen_dataset_converted_externally_to_rlds: 110M

GR00T Teleop Simulation Dataset

网站: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-GR00T-Teleop-Sim
说明: 包含24个桌面任务，每个任务1000条遥操作轨迹
存储格式及大小:
- HDF5格式: 约14GB
- LeRobot风格数据集: 约39GB

Droid

网站: https://droid-dataset.github.io/
说明: 包含1000+次遥操作会话和100+个独特任务，总数据量1.7TB

CALVIN

代码仓库: https://github.com/mees/calvin
大小: 约1.1TB

RoboTwin

代码仓库: https://github.com/robotwin-Platform/RoboTwin

BEHAVIOR-1K

数据集网站: https://behavior.stanford.edu/challenge/dataset.html

基准测试平台

已验证的基准

LIBERO: 网站 https://libero-project.github.io/main.html
SimplerEnv: 增强仓库 https://github.com/DelinQu/SimplerEnv-OpenVLA
RLBench: 仓库 https://github.com/stepjam/RLBench，常见测试18个任务，每个任务约4GB训练数据
RoboCasa: 论文 https://arxiv.org/abs/2406.02523v1，仓库 https://github.com/robocasa/robocasa 和 https://github.com/robocasa/robocasa-gr1-tabletop-tasks
CALVIN: 仓库 https://github.com/mees/calvin

待尝试的基准

Meta-World: 网站 https://meta-world.github.io/
RoboTwin: 仓库 https://github.com/robotwin-Platform/RoboTwin
GenieSim: 仓库 https://github.com/AgibotTech/genie_sim，仅支持Docker环境，使用较困难
BEHAVIOR-1K: 仓库 https://github.com/StanfordVL/BEHAVIOR-1K
MIKASA-Robo: 网站 https://sites.google.com/view/memorybenchrobots/

搜集汇总

数据集介绍

构建方式

在机器人操作与具身智能领域，视觉-语言-动作（VLA）模型正逐步成为连接感知、推理与执行的核心范式。Awesome-VLA数据集通过系统化整合公开的VLA模型、基准测试与数据集资源，构建了一个开源生态索引。其构建方式以社区驱动为核心，收录了包括SpatialVLA、OpenVLA-OFT、Pi0、ACT、Diffusion Policy、SmolVLA、GR00T N1.5和UniVLA在内的多种模型，每一模型均附有论文链接、复现状态及关键技术细节（如基础语言模型、动作头结构）。此外，数据集还整合了LIBERO、SimplerEnv、RLBench、RoboCasa、CALVIN等经过验证的基准测试，以及Open X-Embodiment、GR00T Teleop Simulation Dataset、Droid等大规模数据集，并提供了详细的存储容量与样本数量信息。

特点

该数据集的核心特点在于其实践导向的筛选机制与结构化组织方式。所有收录的模型均经过用户亲自测试或已有公开复现验证，确保了信息的可靠性。数据集对每个模型的技术细节进行了精细标注，例如Pi0模型使用PaliGemma-3B作为语言模型并搭配DiT动作头，GR00T N1.5采用流匹配DiT架构，这种粒度有助于研究者快速对比不同架构的差异。在基准测试方面，数据集区分了已验证与待尝试两类，降低了用户的选择成本。数据集的规模覆盖从数十兆字节的轻量级数据到数TB的大规模集合，如Open X-Embodiment达2.0TB，Droid数据集包含1000余次遥操作会话，体现了从简单到复杂场景的全面覆盖。

使用方法

用户可通过GitHub仓库直接访问该数据集，其使用方式遵循开源社区的标准流程。对于模型复现，用户可依据每个模型页面提供的论文链接与复现状态，结合代码仓库进行环境配置与训练。例如，Pi0模型在A100 GPU上使用bf16精度、batch size为12、DeepSpeed ZeRO-2优化策略即可完成微调，而SmolVLA模型在450M参数量下仅需4.1GB显存。基准测试方面，数据集提供了LIBERO和SimplerEnv的增强代码仓库，用户可通过预设脚本快速评估模型性能。数据集下载则直接链接至原始出处，如Open X-Embodiment通过RLDS格式访问，GR00T数据集托管于Hugging Face。用户还可通过提交Pull Request或邮件方式，分享自己的复现经验，共同完善这一资源库。

背景与挑战

背景概述

在具身智能与机器人操作领域，视觉-语言-动作（Vision-Language-Action, VLA）模型作为连接感知、认知与执行的核心范式，近年来取得了突破性进展。Awesome-VLA数据集由多机构研究人员于2025年系统整理，旨在汇集经过复现验证的VLA模型、基准测试与数据集资源，以推动该领域研究的可重复性与标准化。其核心研究问题聚焦于如何利用多模态大语言模型（如PaliGemma、Llama2）与扩散策略等生成式架构，实现从视觉语言输入到机器人动作端到端的高效映射。该数据集的影响力体现在为SpatialVLA、OpenVLA-OFT、Pi0等代表性模型提供了统一复现基准，并整合了LIBERO、SimplerEnv等关键评测平台，显著降低了研究者的入门门槛。

当前挑战

当前VLA领域面临的核心挑战包括：1）领域问题层面，机器人操作任务的高维连续动作空间与长程任务规划能力仍存在瓶颈，例如Pi0模型在数据有限时从零训练易失败，而ACT仅需70条演示即可学习平滑抓取，凸显数据效率与泛化性的矛盾；2）数据集构建过程中，大规模遥操作数据集（如Open X-Embodiment达2.0TB、Droid达1.7TB）的采集成本高昂，且异构机器人平台间的数据格式与任务定义差异显著，跨本体迁移困难；3）基准测试生态碎片化，RLBench、CALVIN等模拟环境与真实场景的Sim2Real鸿沟尚未弥合，部分工具（如GenieSim）依赖Docker与ROS配置，复现门槛较高。

常用场景

经典使用场景

在具身智能与机器人操作领域，Awesome-VLA数据集汇集了多种视觉-语言-动作（VLA）模型及基准测试，为研究者提供了统一且可复现的实验平台。其经典使用场景聚焦于机器人操作策略的模仿学习与泛化能力评估，例如在LIBERO、CALVIN等标准基准上，通过少量示范（如70条轨迹）即可训练出能够完成复杂抓取、放置及多步骤任务的策略模型。这些基准涵盖了从桌面操作到长时域任务的多层次挑战，使得VLA模型能够在模拟环境中系统性地验证其感知、推理与动作生成的协同能力。数据集还支持多任务联合训练，利用Open X-Embodiment等大规模异构数据，显著提升了模型在未见场景中的零样本迁移表现。

衍生相关工作

该数据集衍生了一系列具有深远影响的经典工作，推动了VLA范式的持续演进。SpatialVLA基于PaliGemma 3B架构引入空间感知的tokenizer与动作头，在LIBERO基准上达到94%的平均成功率，开创了轻量级VLA模型的高效复现路径。GR00T N1.5采用流匹配DiT动作头，结合NVIDIA Isaac平台实现了RoboCasa任务的可复现突破，为仿真到现实迁移提供了标准化框架。UniVLA则通过统一视觉-语言-动作表征，在跨任务泛化性能上树立了新标杆。这些工作不仅深化了对多模态对齐与动作去噪机制的理解，还催生了如SimplerEnv等增强型基准工具，形成了从模型设计到评估的完整学术闭环。

数据集最近研究