Table30v2

RoboChallenge Table30 v2 数据集是一个专注于多样化操作任务的数据集，包含30个不同的任务，涵盖4种机器人实现（ARX5、UR5、ALOHA、DOS-W1）。每个任务都有详细的任务描述和评分标准，数据集按任务组织，每个任务包含多个演示片段。每个片段包括元数据、机器人状态数据和多视角视频数据。机器人状态数据包括关节角度、末端执行器位姿、夹持器状态等，具体字段因机器人实现而异。数据集适用于机器人操作任务的研究和开发，特别是多视角视频和机器人状态数据的联合分析。

原始信息汇总

RoboChallenge Table30 v2 数据集概述

数据集基本信息

• 数据集名称: RoboChallenge Table30 v2 Dataset
• 托管地址: https://huggingface.co/datasets/RoboChallenge/Table30v2

任务与机器人平台

任务列表

数据集包含30个多样化的操作任务：

• put_the_books_back - 将书放回书架。
• tie_a_knot - 用桌上的绳子打结。
• stamp_positioning - 在纸张的签名区域盖章。
• tidy_up_the_makeup_table - 整理桌上的化妆品。
• paint_jam - 在面包上涂抹果酱。
• pack_the_items - 将平板电脑及其配件装箱。
• wrap_with_a_soft_cloth - 用桌上的布包裹物品。
• put_in_pen_container - 将桌上的笔放入笔筒。
• put_the_pencil_case_into_the_schoolbag - 将笔袋放入背包。
• put_the_shoes_back - 将桌上的两双鞋子配对并放在鞋架上。
• untie_the_shoelaces - 解开鞋带，然后将其放在桌上。
• scoop_with_a_small_spoon - 用勺子舀豆子放入空碗中。
• wipe_the_blackboard - 擦干净黑板。
• lint_roller_remove_dirt - 使用粘毛器清洁衣物上的碎屑。
• turn_on_the_light_switch - 打开灯。
• hold_the_tray_with_both_hands - 将桌上的球放在小托盘上，然后移动到大托盘。
• fold_the_clothes - 折叠T恤并整齐地堆放在桌子的左上角。
• pack_the_toothbrush_holder - 依次将牙刷和牙膏放入洗漱盒，关闭盒子，然后放入篮子。
• place_objects_into_desk_drawer - 打开抽屉，放入开瓶器，然后关闭抽屉。
• sweep_the_trash - 将桌上的垃圾扫入簸箕。
• arrange_flowers - 将4朵花放入花瓶。
• press_the_button - 按以下顺序按下按钮：粉色、蓝色、绿色，然后黄色。
• pick_out_the_green_blocks - 找出所有绿色积木并将其放入篮子。
• hang_the_cup - 将杯子挂在架子上。
• water_the_flowers - 给盆栽植物浇水。
• wipe_the_table - 用抹布擦掉桌子上的污渍。
• arrange_fruits - 整理篮子里的水果。
• shred_paper - 将纸张放入碎纸机。
• item_classification - 将文具放入黄色盒子，电子产品放入蓝色盒子。
• stack_bowls - 将蓝色碗放入米色碗中，将绿色碗放入蓝色碗中。

机器人平台

数据集涵盖4种机器人平台：

• ARX5 - 单臂，配备三摄像头设置（腕部 + 全局 + 右侧视图）
• UR5 - 单臂，配备双摄像头设置（腕部 + 全局视图）
• ALOHA - 双臂，配备三腕部摄像头设置（左腕部 + 右腕部 + 全局视图）
• DOS-W1 - 双臂，配备三腕部摄像头设置（左腕部 + 右腕部 + 全局视图）

数据集结构

目录层次

数据集按任务组织，每个任务包含多个演示片段：

. ├── <task_name>/ # 例如：arrange_the_flowers, fold_t_shirt │ ├── task_desc.json # 任务描述 │ ├── meta/ # 任务级元数据 │ │ ├── task_info.json
│ └── data/ # 片段数据 │ ├── episode_000000/ # 单个片段 │ │ ├── meta/ │ │ │ └── episode_meta.json # 片段元数据 │ │ ├── states/ │ │ │ # 单臂机器人 (ARX5, UR5) │ │ │ ├── states.jsonl # 单臂机器人状态 │ │ │ # 双臂机器人 (ALOHA, DOS-W1) │ │ │ ├── left_states.jsonl # 左臂状态 │ │ │ └── right_states.jsonl # 右臂状态 │ │ └── videos/ │ │ # 视频配置因机器人型号而异： │ │ # ARX5 │ │ ├── cam_arm_rgb.mp4 # 腕部视图 │ │ ├── cam_global_rgb.mp4 # 全局视图 │ │ └── cam_side_rgb.mp4 # 侧视图 │ │ # UR5 │ │ ├── cam_global_rgb.mp4 # 全局视图 │ │ └── cam_arm_rgb.mp4 # 腕部视图 │ │ # ALOHA │ │ ├── cam_high_rgb.mp4 # 全局视图 │ │ ├── cam_left_wrist_rgb.mp4 # 左腕部视图 │ │ └── cam_right_wrist_rgb.mp4 # 右腕部视图 │ │ # DOS-W1 │ │ ├── cam_high_rgb.mp4 # 全局视图 │ │ ├── cam_left_wrist_rgb.mp4 # 左腕部视图 │ │ └── cam_right_wrist_rgb.mp4 # 右腕部视图 │ ├── episode_000001/ │ └── ... ├── convert_to_lerobot.py # 转换脚本 └── README.md

元数据模式

task_info.json

json { "task_desc": { "task_name": "arrange_flowers", // 任务标识符 "prompt": "Put the 4 flowers into the vase.", "description": "...", "scoring": "...", // 评分标准 "task_tag": [ // 任务特征标签 "repeated", "single-arm", "ARX5", "precise3d" ] }, "video_info": { "fps": 30, // 视频帧率 "ext": "mp4", // 视频格式 "encoding": { "vcodec": "libx264", // 视频编解码器 "pix_fmt": "yuv420p" // 像素格式 } } }

episode_meta.json

json { "start_time": 1750405586.3430033, // 开始时间戳（Unix） "end_time": 1750405642.5247612, // 结束时间戳（Unix） "frames": 1672, // 总视频帧数 "robot_id": "rc_arx5_5", // 机器人标识符 "features": { "cam_global": { // 相机信息 "intrinsics": [], // 内参 "extrinsics": { // 外参 "arms": { "arm": [] // 相对于手臂的外参 } } } } }

机器人状态模式

每个片段包含以JSONL格式存储的状态数据。根据机器人平台，结构略有不同：

• 单臂机器人 (ARX5, UR5) → states.jsonl
• 双臂机器人 (ALOHA, DOS-W1) → left_states.jsonl 和 right_states.jsonl

每个文件按帧记录机器人的本体感知信号，包括关节角度、末端执行器位姿、夹爪状态和时间戳。具体字段定义和坐标约定因平台而异。

ARX5

数据名称	数据键	形状	语义
关节控制	joint_positions	(6,)	从基座到末端执行器的关节角度（弧度）。
关节速度	joint_velocities	(6,)	6个关节的速度。
关节力矩	efforts	(7,)	6个关节和夹爪的力矩。（由官方API提供，精度不保证。）
位姿控制	ee_positions	(7,)	末端执行器位姿 (tx, ty, tz, rx, ry, rz, rw)，其中 (tx, ty, tz) 是相对于手臂基座坐标的位置，(rx, ry, rz, rw) 是四元数旋转。
夹爪控制	gripper_width	(1,)	夹爪宽度的实际测量值（米）。
夹爪速度	gripper_velocity	(1,)	夹爪的速度。
时间戳	timestamp	(1,)	每帧的浮点时间戳（毫秒）。

UR5

数据名称	数据键	形状	语义
关节控制	joint_positions	(6,)	从基座到末端执行器的关节角度（弧度）。
位姿控制	ee_positions	(7,)	末端执行器位姿 (tx, ty, tz, rx, ry, rz, rw)，其中 (tx, ty, tz) 是相对于手臂基座坐标的位置，(rx, ry, rz, rw) 是四元数旋转。
夹爪控制	gripper_width	(1,)	夹爪宽度的实际测量值（米）。
时间戳	timestamp	(1,)	每帧的浮点时间戳（毫秒）。

DOS-W1

数据名称	数据键	形状	语义
关节控制	joint_positions	(6,)	从基座到末端执行器的关节角度（弧度）。
位姿控制	ee_positions	(7,)	末端执行器位姿 (tx, ty, tz, rx, ry, rz, rw)，其中 (tx, ty, tz) 是相对于手臂基座坐标的位置，(rx, ry, rz, rw) 是四元数旋转。
夹爪控制	gripper_width	(1,)	夹爪宽度的实际测量值（米）。
时间戳	timestamp	(1,)	每帧的浮点时间戳（毫秒）。

ALOHA

数据名称	数据键	形状	语义
关节控制	joint_positions	(6,)	从基座到末端执行器的从动关节角度（弧度）。
关节速度	joint_velocities	(7,)	6个关节的速度。
夹爪控制	gripper_width	(1,)	夹爪宽度的实际测量值（米）。
位姿控制	ee_positions	(7,)	末端执行器位姿 (tx, ty, tz, rx, ry, rz, rw)，其中 (tx, ty, tz) 是相对于手臂基座坐标的位置，(rx, ry, rz, rw) 是四元数旋转。
关节力矩	efforts	(7,)	6个关节和夹爪的力矩。（由官方API提供，精度不保证。）
时间戳	timestamp	(1,)	每帧的浮点时间戳（毫秒）。

转换为LeRobot格式

数据集提供了转换脚本 convert_to_lerobot.py，可将数据转换为 LeRobot 格式，以便利用其全面的数据处理和加载工具。

前提条件

• Python 3.9+ 及以下包：
  • lerobot@0cf864870cf29f4738d3ade893e6fd13fbd7cdb5
  • opencv-python
  • numpy
• 配置 $HF_LEROBOT_HOME（如果未设置，默认为 ~/.cache/huggingface/lerobot）。

使用方法

从仓库根目录运行转换器： bash python convert_to_lerobot.py --repo-name example_repo --raw-dataset /path/to/example_dataset --frame-interval 1

输出

• 帧和元数据保存到 $HF_LEROBOT_HOME/<repo-name>。
• 脚本最后调用 dataset.consolidate(run_compute_stats=False)。如果需要聚合统计信息，请使用 run_compute_stats=True 运行或执行单独的统计作业。

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量、多样化的演示数据是推动算法进步的关键。Table30v2数据集通过精心设计的实验流程构建，涵盖了30种不同的桌面操作任务，涉及整理书籍、系绳结、摆放物品等日常活动。数据采集在四种机器人实体上进行，包括单臂的ARX5与UR5，以及双臂的ALOHA与DOS-W1，每种实体均配备了多视角摄像头系统，以捕捉丰富的视觉信息。每个任务下包含多个演示片段，数据以层次化结构组织，包含任务描述、元数据以及按帧记录的机器人状态与同步视频，确保了数据的完整性与可追溯性。

特点

该数据集的核心特点在于其任务多样性与实体异构性。30项任务覆盖了从简单抓放到复杂序列操作的广泛技能，体现了真实世界任务的复杂性。四种机器人实体在机械结构、自由度与传感器配置上各不相同，为研究跨平台泛化与迁移学习提供了宝贵资源。数据集提供了精细的结构化元数据，包括任务标签、评分标准以及详细的机器人本体感知状态，如关节角度、末端执行器位姿与夹爪宽度。多视角视频数据与精确的时间戳同步，共同构成了一个多模态、高精度的基准测试平台。

使用方法

为便于研究社区利用，数据集推荐转换为LeRobot格式以利用其高效的数据处理管线。用户可通过提供的转换脚本，指定原始数据路径与输出仓库名称，将ARX5实体的数据转换为标准格式；对于其他实体，可参照脚本逻辑进行适配。转换后的数据将包含帧图像与整合的元数据，存放于指定缓存目录。研究者随后可使用LeRobot库加载数据，进行机器人策略学习、模仿学习或视觉运动控制等任务的模型训练与评估，充分发挥该数据集在推动通用机器人操作能力研究方面的价值。

背景与挑战

背景概述

在机器人操作学习领域，构建能够泛化至多样化现实任务的智能体是核心研究目标。Table30v2数据集由RoboChallenge团队创建，旨在为机器人模仿学习与策略泛化提供大规模、多任务、多形态的演示数据。该数据集涵盖了30项精细的日常操作任务，涉及书籍整理、打结、物品分类等复杂场景，并支持ARX5、UR5、ALOHA及DOS-W1四种机器人形态，每种形态均配备了多视角视觉与本体感知数据。其结构化设计不仅促进了跨任务与跨平台的知识迁移研究，也为推动机器人从单一技能向通用操作能力演进奠定了关键的数据基础。

当前挑战

Table30v2数据集致力于解决机器人模仿学习中任务泛化与形态适应的核心挑战。具体而言，其需应对多样化操作任务所固有的复杂性，如长时程动作规划、精细物体操控以及多步骤逻辑序列执行。在构建过程中，挑战主要集中于多平台数据采集的标准化，需协调不同机器人硬件（单臂与双臂）的传感器配置、坐标系对齐与时间同步，同时确保演示轨迹的高质量与一致性。此外，将异构原始数据转换为统一、可扩展的格式以供算法训练，亦是一项关键的技术难点。

常用场景

经典使用场景

在机器人操作学习领域，Table30v2数据集为模仿学习与强化学习算法提供了丰富的多任务演示基准。该数据集涵盖了30种多样化的桌面操作任务，如整理书籍、系鞋带、浇花等，并支持ARX5、UR5、ALOHA和DOS-W1四种机器人本体。研究者通常利用其高质量的多视角视频与机器人状态数据，训练端到端的视觉运动策略模型，以评估算法在复杂长时序任务中的泛化能力与鲁棒性。

实际应用

在现实场景中，Table30v2数据集所涵盖的任务与家庭服务、轻工业装配及物流分拣等领域的自动化需求高度契合。基于该数据集训练的模型，能够为开发具备整理物品、清洁环境、分类包装等能力的服务机器人或协作机械臂提供关键技术支撑。这些技术有望应用于智能家居、康复辅助、柔性生产线等具体场景，提升自动化系统的适应性与智能化水平。

衍生相关工作

围绕Table30v2数据集，已衍生出一系列重要的研究工作。例如，研究者利用其多任务演示数据开发了基于Transformer的序列建模方法，以学习通用的操作技能表示。同时，该数据集也被广泛用于评估视觉语言模型在机器人任务规划中的能力，探索如何将自然语言指令转化为具体的操作序列。此外，针对其提供的多本体数据，相关研究致力于解决从仿真到实物的策略迁移以及跨机器人平台的技能泛化等关键问题。