RoboChallenge-lerobot

RoboChallenge基准数据集，采用LeRobot v3.0格式。包含26个操作任务，总计22,111个episodes和29,162,844帧。每个子任务都是一个独立的配置（子集），涵盖了多种机器人操作场景，如整理花朵、摆放水果、折叠餐巾等。数据集结构遵循LeRobot v3.0格式，包含视频、状态观测、动作等多种特征。

RoboChallenge benchmark dataset, which adopts the LeRobot v3.0 format. It encompasses 26 manipulation tasks, with a total of 22,111 episodes and 29,162,844 frames. Each subtask represents an independent configuration (subset), covering a wide range of robotic manipulation scenarios including flower arrangement, fruit placement, napkin folding, and others. The dataset structure adheres to the LeRobot v3.0 specification, featuring multiple modalities such as videos, state observations, actions, and additional relevant features.

原始信息汇总

RoboChallenge-lerobot 数据集概述

基本信息

• 数据集名称: RoboChallenge-lerobot
• 托管地址: https://huggingface.co/datasets/Traly/RoboChallenge-lerobot
• 原始数据集: RoboChallenge/Table30 (https://huggingface.co/datasets/RoboChallenge/Table30)
• 数据集性质: 非官方转换版本
• 目标格式: LeRobot v3.0 格式
• 许可证: Apache-2.0
• 主要标签: LeRobot, robotics, RoboChallenge
• 任务类别: robotics

数据集规模

• 总任务数: 26 个操作任务
• 总情节数: 22,111 个情节
• 总帧数: 29,162,844 帧

子任务配置与数据

数据集包含 26 个独立的子任务配置，每个配置对应一个具体的操作任务。所有子任务的数据文件均为 Parquet 格式，且仅包含训练集分割。

子任务列表与统计

子任务	情节数	帧数	帧率 (FPS)	机器人平台
arrange_flowers	973	1,729,903	30	arx5
arrange_fruits_in_basket	965	2,229,219	30	ur5
arrange_paper_cups	773	1,576,111	30	arx5
clean_dining_table	982	1,603,318	30	aloha
fold_dishcloth	958	1,171,347	30	arx5
hang_toothbrush_cup	576	344,470	30	ur5
make_vegetarian_sandwich	1,397	1,677,603	30	aloha
move_objects_into_box	792	969,474	30	franka
open_the_drawer	590	420,979	30	arx5
place_shoes_on_rack	937	1,151,867	30	arx5
plug_in_network_cable	515	466,785	30	aloha
pour_fries_into_plate	1,534	1,524,966	30	aloha
press_three_buttons	578	413,563	30	franka
put_cup_on_coaster	649	295,152	30	arx5
put_opener_in_drawer	974	764,976	30	aloha
search_green_boxes	661	756,081	30	arx5
set_the_plates	599	2,088,877	30	ur5
shred_scrap_paper	767	811,337	30	ur5
sort_books	920	2,946,192	30	ur5
sort_electronic_products	948	2,008,774	30	arx5
stack_bowls	1,047	467,403	30	aloha
stack_color_blocks	579	431,550	30	ur5
turn_on_faucet	1,005	774,245	30	aloha
turn_on_light_switch	580	260,707	30	arx5
water_potted_plant	956	1,094,621	30	arx5
wipe_the_table	856	1,183,324	30	arx5
总计	22,111	29,162,844

涉及的机器人平台包括：arx5, ur5, aloha, franka。

数据集结构

每个子任务遵循 LeRobot v3.0 格式组织，主要目录结构如下：

<子任务名>/ ├── data/ # 存储核心数据文件（Parquet格式） ├── meta/ # 存储元数据（info.json, stats.json, tasks.parquet, episodes） └── videos/ # 存储视频数据（对应不同的图像观测）

数据特征

根据 meta/info.json 定义，数据集包含以下特征：

观测数据

1. 图像观测:

   • observation.wrist_image: 腕部摄像头图像。
     • 类型: 视频
     • 形状: [480, 640, 3] (高度, 宽度, 通道)
     • 编码: AV1
     • 像素格式: yuv420p
     • 帧率: 30 FPS
     • 非深度图，无音频。
   • observation.global_image: 全局摄像头图像。
     • 属性与 observation.wrist_image 相同。
   • observation.right_image: 右侧摄像头图像。
     • 属性与 observation.wrist_image 相同。

2. 状态观测:

   • observation.state: 状态向量。
     • 类型: float32
     • 形状: [7]

动作与索引数据

• action: 动作向量。
  • 类型: float32
  • 形状: [7]
• timestamp: 时间戳。
  • 类型: float32
  • 形状: [1]
• frame_index: 帧索引。
  • 类型: int64
  • 形状: [1]
• episode_index: 情节索引。
  • 类型: int64
  • 形状: [1]
• index: 数据索引。
  • 类型: int64
  • 形状: [1]
• task_index: 任务索引。
  • 类型: int64
  • 形状: [1]

加载方式

通过 LeRobot 库加载

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset dataset = LeRobotDataset("Traly/RoboChallenge-lerobot", subsets=["arrange_flowers"])

通过 HuggingFace Datasets 库加载

python from datasets import load_dataset ds = load_dataset("Traly/RoboChallenge-lerobot", "arrange_flowers")

引用信息

引用信息待补充 ([More Information Needed])。

搜集汇总

数据集介绍

构建方式

RoboChallenge-lerobot数据集源自RoboChallenge/Table30基准测试，经过非官方转换以适应LeRobot v3.0格式。该数据集涵盖了26项精细操作任务，共计22,111个示范片段与29,162,844帧图像数据。每个子任务作为独立的配置子集存在，通过将原始数据重新组织为统一的目录结构，包括parquet格式的数据文件、元信息文件以及视频文件，确保了数据的高效存取与兼容性。构建过程中，各类任务数据按照机器人类型、帧率等参数进行规范化处理，形成标准化的训练样本。

使用方法

数据集的使用可通过LeRobot库或HuggingFace Datasets工具实现便捷加载。用户可指定子任务名称，例如`arrange_flowers`，通过`LeRobotDataset`接口直接获取标准化数据。加载后的数据包含视频帧、机器人状态、动作指令及时间戳等字段，便于直接用于训练模仿学习或强化学习模型。每个子任务的数据结构遵循统一的parquet与视频文件组织方式，开发者可依据`meta/info.json`中的特征定义灵活调用所需模态，实现高效的数据处理与模型迭代。

背景与挑战

背景概述

在机器人学习领域，模仿学习与操作技能迁移的进展高度依赖于大规模、多样化的演示数据集。RoboChallenge-lerobot数据集正是在这一背景下应运而生，由Traly等人基于原始的RoboChallenge/Table30数据集进行非官方格式转换，于近期发布在HuggingFace平台。该数据集聚焦于桌面精细操作任务，涵盖26种不同场景，包括插花、折叠抹布、制作素食三明治等，总计超过22,000个示范回合与2900万帧视觉-状态序列。其核心研究问题在于为多机器人平台（如Arx5、UR5、Aloha、Franka）提供统一、标准化的训练基准，以评估和提升机器人在复杂日常任务中的泛化能力。作为LeRobot v3.0格式的典范，该数据集极大地推动了机器人操作领域的开放研究与可复现性，成为连接仿真环境与真实世界操作的关键桥梁。

当前挑战

当前RoboChallenge-lerobot数据集面临多重挑战。在领域问题层面，尽管其覆盖了丰富的操作任务，但各子任务间的技能迁移与零样本泛化仍是尚未解决的难题——例如从“叠碗”到“堆叠积木”这类看似相似的动作，由于物体几何与动力学差异，现有模型往往难以直接复用策略。在构建过程中，数据采集面临异构机器人本体（如灵巧手与平行夹爪）、不同传感器配置（如腕部与全局相机视角）以及动作空间维度（7维关节指令）的不一致性，这给跨平台策略学习带来了严重的域偏移问题。此外，部分任务（如“挂牙刷杯”）的示范回合数较少（仅576回合），导致数据长尾分布，可能削弱模型在低频场景下的鲁棒性。视频编码采用AV1格式虽节省存储，但解码耗时可能影响大规模训练的效率。

常用场景

经典使用场景

RoboChallenge-lerobot 数据集涵盖了26项精细操作任务，如插花、整理餐具、叠毛巾、插网线等，共计超过22,000个演示片段与2,900万帧视觉-动作序列。其经典使用场景在于为模仿学习提供大规模、多机器人平台（包括arx5、ur5、aloha、franka）的专家演示数据，研究者可基于此训练机器人从图像观测直接映射到连续动作的策略网络，实现端到端的技能习得。该数据集采用LeRobot v3.0标准化格式，集成了多视角视频与机器人状态信息，极大降低了数据预处理门槛，成为机器人行为克隆与离线强化学习研究的基准资源。

解决学术问题

该数据集有效破解了机器人学习领域长期面临的数据稀缺与任务单一化的困境。传统研究受限于少量、低质或单一平台的演示数据，难以验证算法在多样化场景下的泛化能力。RoboChallenge-lerobot提供了涵盖家庭服务、精细装配、物体整理等多类任务的异构数据，使学术界得以系统性地研究多任务学习、跨机器人迁移以及长程操作中的时序依赖建模。其标准化格式还推动了离线策略评估与数据高效学习方法的进步，为构建通用操作智能提供了关键的数据基础设施。

实际应用

在实际应用中，该数据集为服务机器人、工业协作臂以及家庭辅助设备的技能部署提供了坚实的训练基础。例如，整理餐具、摆放鞋子、浇水植物等任务可直接迁移至智能家居场景，使机器人能够自主完成日常杂务；而插网线、按按钮、分类电子产品等操作则适用于工业巡检与仓储物流环节。借助该数据集训练的策略，机器人可减少对人工编程的依赖，通过数据驱动的方式快速适应新环境与新物体，显著提升部署效率与任务成功率。

数据集最近研究

最新研究方向

RoboChallenge-lerobot数据集作为面向多任务、多机器人平台的精细化操作基准，正引领着模仿学习与机器人泛化能力的前沿探索。该数据集涵盖26种日常任务，从插花、叠布到制作素食三明治，跨越arx5、ur5、aloha、franka等多种机械臂构型，总计超过2900万帧高保真视频与状态动作轨迹。当前研究热点集中于利用此类大规模、异构数据训练统一的视觉-运动策略，推动机器人从单一技能向通用操作智能的跃迁。例如，结合LeRobot框架的标准化格式，研究者可便捷地提取多视角图像与低维状态信息，进行端到端的行为克隆或离线强化学习，进而探索跨任务、跨本体的零样本迁移能力。该数据集的发布不仅为家庭服务、精细装配等场景提供了可复现的评估平台，更在具身智能领域催生了关于数据多样性、任务复杂度与策略鲁棒性之间关联的深入讨论，对构建下一代通用机器人操作模型具有里程碑式的意义。