RoboChallenge/Table30v2

RoboChallenge Table30 v2数据集包含30种不同的操作任务（Table30 v2），涵盖4种机器人实现方式。这些任务包括将书放回书架、系鞋带、整理化妆台等。数据集按任务组织，每个任务包含多个演示片段，包括任务描述、元数据和视频数据。元数据模式包括任务信息、视频详细信息和特定片段数据。此外，README还解释了如何将数据集转换为LeRobot格式，以便利用其全面的数据处理和加载功能。The RoboChallenge Table30 v2 Dataset includes 30 diverse manipulation tasks (Table30 v2) across 4 embodiments. These tasks range from placing books back onto the bookshelf to tying a knot with a string. The dataset is organized by tasks, with each task containing multiple demonstration episodes, including task descriptions, metadata, and video data. The metadata schema encompasses task information, video details, and episode-specific data. Furthermore, the README explains how to convert the dataset to the LeRobot format to leverage its comprehensive data processing and loading utilities.

搜集汇总

数据集介绍

构建方式

Table30v2数据集由30项多样化的操作任务构成，涵盖了四种不同的机器人形态（ARX5、UR5、ALOHA、DOS-W1）。每项任务均包含多个演示片段，数据按照任务名称组织成层级目录结构。每个片段内，依据单臂或双臂机器人的不同配置，分别存储机器人状态文件（如states.jsonl或left_states.jsonl与right_states.jsonl）以及多视角视频文件。此外，任务级别和片段级别的元数据分别以task_desc.json和episode_meta.json的形式记录，详细描述了任务提示、评分标准、机器人标识、时间戳、帧率及相机内外参等信息。

特点

该数据集具备高度的多样性与丰富性，涵盖了插花、系鞋带、整理桌面、折叠衣物等众多日常生活场景，既包括精确的3D定位任务，也涉及重复性操作和双臂协同动作。数据同步采集机器人本体感知信号（如关节角度、末端执行器位姿、夹爪宽度）与多视角高清视频（最高三个摄像头），为模仿学习与行为克隆研究提供了高质量的同步观测。不同机器人平台的状态数据结构统一但略有差异，既保证了跨平台的可比性，也保留了各自的控制特性。

使用方法

数据集提供了便捷的转换脚本convert_to_lerobot.py，推荐用户将原始数据转换为LeRobot格式，以充分利用该库高效的数据加载与预处理功能。用户需在Python 3.9+环境中安装lerobot、opencv-python和numpy等依赖，并设置HF_LEROBOT_HOME环境变量指定存储路径。通过运行脚本并指定仓库名称、原始数据集路径及帧采样间隔，即可完成转换。转换后的数据将自动保存至指定目录，并支持后续的统计计算与模型训练流程。

背景与挑战

背景概述

Table30v2数据集由RoboChallenge团队于近期发布，旨在推动机器人操作领域的研究进展。该数据集涵盖了30项多样化的操作任务，涉及书籍归位、系绳结、印章定位、整理化妆台、涂抹果酱等多种日常场景，并整合了ARX5、UR5、ALOHA及DOS-W1四种机器人平台的数据采集。其核心研究问题聚焦于提升机器人对复杂、非结构化环境的适应能力与操作精度，为多机器人系统下通用操作技能的泛化研究提供了基础。该数据集在领域内具有重要影响力，不仅丰富了机器人操作学习的基准测试库，还促进了跨平台数据格式的统一与标准化，为后续研究提供了可复用的数据资源。

当前挑战

数据集面临的挑战主要集中在领域问题与构建过程两个层面。在领域问题方面，机器人操作需应对任务的高度多样性，如精细操作（折叠衣物、打包物品）与柔顺控制（系绳结、涂果酱）带来的感知与执行耦合难题，同时多平台异构机器人（如单臂与双臂系统）的数据对齐与泛化也是一大难点。在构建过程中，不同机器人平台（如ARX5与UR5）的状态数据模式差异显著，尤其是相机配置与运动学参数的异质性增加了数据统一与转换的复杂性；此外，确保跨演示片段的一致性与高质量标注（如精确的本体感觉时间戳与摄像机外参）也是技术上的核心挑战。

常用场景

经典使用场景

在机器人学习与操控领域，Table30v2数据集作为一项涵盖30项多样化操纵任务的大规模示范数据集，其经典用途在于为模仿学习、行为克隆以及视觉运动策略的研究提供高质量的标准化训练与评估平台。该数据集融合了四种机械臂平台（ARX5、UR5、ALOHA、DOS-W1）的多视角视频记录与本体感知数据，使得研究者能够在统一框架下探索从简单的物品放置到复杂的系绳打结等多种操作技能。无论是单臂还是双臂协作场景，该数据集都为端到端策略学习提供了丰富的示范轨迹，尤其适用于验证模型在精细操控、空间推理与任务泛化方面的能力。

实际应用

在实际应用场景中，Table30v2数据集为多种服务型与工业型机器人任务提供了直接可用的训练数据。例如，在智能家居环境中，机器人可以通过学习数据集中涵盖的整理书籍、折叠衣物、安置餐具等示范，实现家庭杂物的自动化整理与清洁。在轻工业生产线领域，数据集中的物品分类、打包装箱与抓取放置等任务，为机器人在分拣、装配与物流环节的自主作业提供了可复现的基准。此外，基于该数据集训练的模型还可用于服务机器人完成诸如浇花、摆放花果、擦拭桌面等日常维护工作，显著提升了机器人在非结构化环境中的适应能力与执行效率。

衍生相关工作

自Table30v2数据集发布以来，它已催生了一系列相关经典科研工作。在模仿学习方面，研究人员基于该数据集发展了基于扩散策略的动作生成模型，有效提升了在复杂任务上的动作平滑度与成功执行率。在视觉运动策略领域，该数据集被用于预训练大规模视觉编码器，证明了多任务共享表示在机器人操纵中的巨大潜力。此外，该数据集也助力了跨任务课程学习算法的研究，通过有序安排任务训练顺序，显著缩短了新技能的习得时间。在一些最新工作中，研究者甚至利用该数据集的多样化任务，推动了基于语言指令驱动的零样本任务泛化技术的快速发展，为未来机器人通用智能的诞生奠定了坚实的实验基础。