Awesome-Embodied-AI-Datasets

一个关于Embodied AI数据集的集合，包含72个数据集，最新更新于2025-04-23。数据集涵盖了机器人执行各种家庭任务，如拾取和放置物品、操作厨房设备等。

A comprehensive collection of Embodied AI datasets, encompassing 72 datasets, last updated on 2025-04-23. These datasets cover robots executing a variety of household tasks, such as picking up and placing objects, operating kitchen appliances, and more.

原始信息汇总

Awesome Embodied AI Datasets 概述

数据集统计

• 总数：72个
• 最后更新日期：2025-04-23

最新发布数据集（2025-04-22）

1. Language Table
2. DROID
3. LSMO Dataset
4. DLR Wheelchair Shared Control
5. TOTO Benchmark
6. DobbE
7. VIMA
8. DLR Sara Pour Dataset
9. Tokyo PR2 Tabletop Manipulation
10. TidyBot

数据集分类

A类

1. Austin BUDS

   • 任务：厨房长时任务（拿起锅、放置锅、使用工具推动）
   • 主页：https://ut-austin-rpl.github.io/rpl-BUDS/

2. Austin Mutex

   • 任务：家庭环境多样化任务（放置面包、打开空气炸锅等）
   • 主页：https://ut-austin-rpl.github.io/MUTEX/

3. Austin Sailor

   • 任务：玩具厨房物品交互（拾取放置食物、锅具）
   • 主页：https://ut-austin-rpl.github.io/sailor/

4. Austin Sirius

   • 任务：kcup和gear操作（插入kcup、安装齿轮）
   • 主页：https://ut-austin-rpl.github.io/sirius/

5. Austin VIOLA

   • 任务：家庭任务（摆桌子、制作咖啡）
   • 主页：https://ut-austin-rpl.github.io/VIOLA/

6. ALOHA

   • 任务：双手机器人复杂操作（拆糖果、穿鞋）
   • 主页：https://tonyzhaozh.github.io/aloha/

7. ASU TableTop Manipulation

   • 任务：桌面物体交互（拾取、推动、旋转）
   • 主页：https://link.springer.com/article/10.1007/s10514-023-10129-1

B类

1. Berkeley Autolab UR5

   • 任务：4种机器人操作（拾取放置、清扫、堆叠杯子）
   • 主页：https://sites.google.com/view/berkeley-ur5/home

2. Berkeley Bridge

   • 任务：家庭环境交互（重新排列、清扫、堆叠、折叠）
   • 主页：https://rail-berkeley.github.io/bridgedata/

3. Berkeley Cable Routing

   • 任务：电缆布线（通过紧密安装的夹子）
   • 主页：https://sites.google.com/view/cablerouting/home

4. Berkeley Fanuc Manipulation

   • 任务：多样化操作任务（打开抽屉、拾取物体、关门）
   • 主页：https://sites.google.com/berkeley.edu/fanuc-manipulation

5. Berkeley MVP Data

   • 任务：基本运动控制（到达、推动、拾取）
   • 主页：https://arxiv.org/abs/2203.06173

6. Berkeley RPT Data

   • 任务：拾取、堆叠、拆堆、箱内拾取
   • 主页：https://arxiv.org/abs/2306.10007

7. BC-Z

   • 任务：桌面物体交互（拾取、擦拭、放置、堆叠杯子）
   • 主页：https://www.kaggle.com/datasets/google/bc-z-robot/discussion/309201

C类

1. Columbia PushT Dataset

   • 任务：推动T形块到固定目标姿势
   • 主页：https://github.com/columbia-ai-robotics/diffusion_policy

2. ConqHose

   • 任务：抓取、提升和拖动真空软管
   • 主页：https://sites.google.com/view/conq-hose-manipulation-dataset/home

3. CoryHall

   • 任务：小型移动机器人在办公楼走廊导航
   • 主页：https://arxiv.org/abs/1709.10489

4. CMU Food Manipulation

   • 任务：与不同食物物品交互
   • 主页：https://sites.google.com/view/playing-with-food/

5. CMU Franka Exploration

   • 任务：探索厨房环境（拿起刀和蔬菜、打开橱柜）
   • 主页：https://human-world-model.github.io/

6. CMU Franka Pick-Insert Data

   • 任务：拾取不同形状物体并插入圆柱形钉
   • 主页：https://openreview.net/forum?id=WuBv9-IGDUA

7. CMU Play Fusion

   • 任务：复杂场景交互（烧烤架、摆桌子、放置餐具）
   • 主页：https://play-fusion.github.io/

8. CMU Stretch

   • 任务：家庭环境交互
   • 主页：https://robo-affordances.github.io/

D类

1. DobbE

   • 任务：7种任务（开门/抽屉、拾取放置、随机游戏）
   • 主页：https://github.com/notmahi/dobb-e

2. DLR Sara Grid Clamp Dataset

   • 任务：将网格夹具放置在桌面网格上
   • 主页：https://www.researchsquare.com/article/rs-3289569/v1

3. DLR Sara Pour Dataset

   • 任务：将乒乓球从杯中倒入桌面杯子
   • 主页：https://elib.dlr.de/193739/1/padalkar2023rlsct.pdf

4. DLR Wheelchair Shared Control

   • 任务：抓取桌面和架子上的不同物体
   • 主页：https://ieeexplore.ieee.org/document/9341156

5. DROID

   • 任务：各种家庭操作任务
   • 主页：https://droid-dataset.github.io/

E类

1. ETH Agent Affordances
   • 任务：从不同初始位置和门角度打开和关闭烤箱
   • 主页：https://ieeexplore.ieee.org/iel7/10160211/10160212/10160747.pdf

F类

1. Freiburg Franka Play

   • 任务：玩具积木交互（拾取放置、堆叠、打开抽屉、滑动门）
   • 主页：https://www.kaggle.com/datasets/oiermees/taco-robot

2. Furniture Bench

   • 任务：组装3D打印家具模型（抓取、插入、拧紧）
   • 主页：https://clvrai.github.io/furniture-bench/

3. FMB

   • 任务：与多样化3D打印物体交互（拾取、重新定位、组装）
   • 主页：https://functional-manipulation-benchmark.github.io/

I类

1. Imperial Wrist Cam

   • 任务：日常物体交互（抓取、插入、打开、堆叠）
   • 主页：https://github.com/normandipalo/rlds_dataset_builder

2. IO-AI Office PicknPlace

   • 任务：办公桌场景拾取放置（拿起胶水、放置订书机）
   • 主页：https://drive.google.com/drive/u/1/folders/1h5wfoENdXC5i4Jsh7xpnS34a-SO6h1PM

K类

1. KAIST Nonprehensile Objects
   • 任务：桌面非抓取操作（平移和重新定向物体）
   • 主页：https://github.com/JaeHyung-Kim/rlds_dataset_builder

L类

1. Language Table

   • 任务：推动桌面不同几何形状的积木
   • 主页：https://interactive-language.github.io/

2. LSMO Dataset

   • 任务：避开桌面障碍物并到达目标物体
   • 主页：https://journals.sagepub.com/doi/full/10.1177/02783649211044405

M类

1. Maniskill

   • 任务：与平面物体交互（拾取、堆叠立方体、插入钉子）
   • 主页：https://github.com/haosulab/ManiSkill2

2. MimicPlay

   • 任务：五种场景交互（厨房、书桌、花和花瓶、玩具三明治制作、布料折叠）
   • 主页：https://mimic-play.github.io/

3. MobileALOHA

   • 任务：真实厨房和室内环境交互（擦拭洒出的酒、存放重锅、呼叫电梯）
   • 主页：https://mobile-aloha.github.io/

4. MPI Muscular Proprioception

   • 任务：执行随机多正弦信号和固定目标压力
   • 主页：https://arxiv.org/abs/2307.02654

N类

1. NYU Franka Play

   • 任务：玩具厨房任意任务（打开/关闭微波炉门、转动炉灶旋钮）
   • 主页：https://play-to-policy.github.io/

2. NYU ROT

   • 任务：桌面多样化操作（开箱、堆叠杯子、倒水）
   • 主页：https://rot-robot.github.io/

3. NYU VINN

   • 任务：为各种橱柜开门
   • 主页：https://jyopari.github.io/VINN/

P类

1. Plex RoboSuite
   • 任务：开门、堆叠立方体、拾取放置物体、将环放在钉上
   • 主页：https://microsoft.github.io/PLEX/

Q类

1. QT-Opt

   • 任务：Kuka机器人在箱内拾取物体
   • 主页：https://arxiv.org/abs/1806.10293

2. QUT Dexterous Manpulation

   • 任务：桌面任务（分类餐具、烹饪、堆叠玩具积木）
   • 主页：https://github.com/fedeceola/rlds_dataset_builder

3. QUT Dynamic Grasping

   • 任务：抓取在XY平面连续随机移动的物体
   • 主页：https://github.com/krishanrana/rlds_dataset_builder

R类

1. Robonet

   • 任务：与面前箱子中的物体交互
   • 主页：https://www.robonet.wiki/

2. Roboturk

   • 任务：Sawyer机器人（熨平衣物、用碗建造塔、搜索物体）
   • 主页：https://roboturk.stanford.edu/dataset_real.html

3. RoboSet

   • 任务：厨房场景交互（铰接物体操作、擦拭桌子、精确技能）
   • 主页：https://robopen.github.io/roboset/

4. RoboVQA

   • 任务：在3个办公楼内执行用户的长时请求
   • 主页：https://anonymous-robovqa.github.io/

5. RECON

   • 任务：移动机器人探索户外环境
   • 主页：https://sites.google.com/view/recon-robot

搜集汇总

数据集介绍

构建方式

Awesome-Embodied-AI-Datasets是一个专注于具身智能（Embodied AI）领域的数据集集合，涵盖了72个不同的数据集，每个数据集都围绕机器人在真实或模拟环境中的交互任务展开。这些数据集通过多样化的机器人平台（如Franka、UR5、PR2等）在家庭、办公室、厨房等场景中执行任务，包括物体抓取、堆叠、开门、烹饪等复杂操作。数据采集方式包括传感器记录、动作捕捉和视觉反馈，确保数据的多样性和真实性。数据集持续更新，最新版本发布于2025年4月23日，反映了该领域的最新进展。

特点

该数据集集合的特点在于其广泛的任务覆盖和高度的多样性。数据集涵盖了从简单的拾取放置任务到复杂的长期任务（如烹饪和家具组装），涉及多种机器人形态（如双手机器人、移动机器人）和环境设置。每个数据集都提供了详细的元数据和任务描述，部分还包含视觉和动作数据。此外，数据集注重真实世界的应用场景，如家庭服务、工业操作和户外探索，为研究者提供了丰富的实验素材。数据集的开放性和标准化格式（如RLDS）也极大地方便了数据的共享和复用。

使用方法

使用Awesome-Embodied-AI-Datasets时，研究者可通过GitHub页面访问具体数据集的详情和下载链接。每个数据集通常包含README文件、数据格式说明和示例代码。数据可用于训练和评估机器人学习算法，如模仿学习、强化学习和多模态感知模型。部分数据集还提供了基准任务和评估指标，便于横向比较算法性能。用户可通过提交Issue参与讨论或贡献新数据集，项目遵循MIT许可，支持学术和商业用途。对于特定任务，建议先阅读相关论文或主页以了解数据采集协议和使用限制。

背景与挑战

背景概述

Awesome-Embodied-AI-Datasets是由多个研究机构共同维护的综合性数据集集合，专注于具身智能（Embodied AI）领域的研究。该数据集集合创建于2025年，由Freekatz等研究者发起，旨在整合全球范围内具身智能相关的多样化数据集。其核心研究问题聚焦于机器人如何在复杂物理环境中执行多模态任务，包括但不限于物体抓取、场景理解、任务规划等方向。该数据集集合涵盖了72个高质量子数据集，涉及厨房操作、家居整理、工业装配等多种场景，为具身智能领域的算法开发与性能评估提供了重要基准。其跨机构协作的开放模式显著促进了机器人学习、计算机视觉与自然语言处理等领域的交叉研究进展。

当前挑战

该数据集集合面临的核心挑战体现在两个维度：在领域问题层面，具身智能需要解决长时程任务规划、多模态感知融合、物理交互建模等复杂问题，而现有数据集的场景覆盖度和任务复杂度仍难以满足真实世界的需求；在构建过程层面，不同子数据集之间存在传感器配置异构、动作标注标准不统一、场景可迁移性有限等问题。具体而言，动态物体操作、非刚性物体交互、多机器人协作等前沿方向仍缺乏高质量数据支持。此外，如何平衡数据规模与标注质量、确保隐私安全与伦理合规，都是数据集构建过程中亟待解决的技术难题。

常用场景

经典使用场景

在具身智能领域，Awesome-Embodied-AI-Datasets作为涵盖72个数据集的综合性资源库，其经典使用场景聚焦于机器人复杂任务的长序列学习。例如Austin BUDS数据集中机器人完成'将锅具放入托盘并用工具推动'的厨房任务链，展现了多步骤物体操作与空间推理能力。这类场景通过模块化任务设计，为研究序列决策、动作规划提供了标准化测试平台。

衍生相关工作

基于该数据集衍生的经典工作包括：1) VIOLA框架利用Austin VIOLA的家庭任务数据实现视觉-语言-动作的三模态对齐；2) MimicPlay通过多场景交互数据提出层级模仿学习架构；3) Diffusion Policy在Columbia PushT数据集上验证了扩散模型在运动规划中的优越性。这些工作持续推动着具身智能从实验室向实际应用转化。

数据集最近研究

最新研究方向

随着具身智能（Embodied AI）领域的快速发展，Awesome-Embodied-AI-Datasets作为涵盖72个数据集的综合性资源库，正成为研究多模态交互与复杂任务学习的重要基石。最新研究方向聚焦于语言引导的机器人操作（如Language Table数据集）和动态环境下的自适应控制（如DROID和DobbE数据集），这些工作通过融合视觉、语言与运动规划，推动家庭服务机器人完成烹饪、整理等长周期任务。2025年新发布的TOTO Benchmark和VIMA等数据集进一步扩展了多任务泛化与模拟到真实（Sim2Real）迁移的评估边界，为具身智能在开放环境中的实际部署提供了关键测试平台。