RoCo_TaskBoardAssembly

RoCo任务板装配演示数据集是一个用于任务板零件装配的真实世界机器人操作数据集。该数据集由Sharpa发布，采用LeRobot兼容格式（v3.0和v2.1），旨在支持模仿学习、视觉运动策略学习、视觉触觉表征学习以及接触丰富操作的研究。数据集专门服务于RoCo IROS 2026挑战赛的任务板装配赛道，为参赛团队提供训练和策略开发数据。数据集包含30个收集季节（seasons），共计562个演示片段（episodes），超过246万帧数据（30 FPS），总规模约324.3 GB。每个演示片段包含多种同步的传感器模态：6个同步的视频流（左/右头部摄像头、左/右手腕摄像头、触觉变形视频、原始触觉视频）、65维的关节空间机器人状态与动作向量（涵盖双臂、双灵巧手及躯干/电机相关关节）、60维的触觉力/扭矩信号（10个指尖各6轴）、关节扭矩信号以及时间戳、帧索引等元数据。该数据集的核心应用场景是训练能够处理接触丰富、需要精确零件定位、精细接触时机、双手协调以及在手-物体遮挡下具有鲁棒感知能力的机器人装配策略。数据结构按季节组织，每个季节均提供`lerobot3.0`（推荐新用户使用）和`lerobotv2.1`（用于向后兼容）两种导出格式，便于用户集成到现有的LeRobot生态系统中进行策略学习和评估。

原始信息汇总

数据集概述

RoCo Task Board Assembly Demonstrations 是一个真实世界的机器人操作数据集，专注于任务板上的零件装配任务。该数据集由 Sharpa 发布，采用 LeRobot兼容格式，适用于模仿学习、视觉运动策略学习、视觉-触觉表征学习以及接触丰富的操作研究。

核心任务与挑战

• 任务：任务板零件装配，需要精确的零件定位、精细的接触时机、双臂协调，以及在手-物遮挡下的鲁棒感知。
• 挑战：接触丰富、精度敏感，策略需应对物体接触、手部遮挡、触觉事件和精细的姿态调整。

数据集规模与格式

• 总采集季节 (Seasons)：30 个
• 总片段 (Episodes)：562 个（每个季节对应一个独立采集会话）
• 总帧数 (Frames)：2,461,024 帧（在 lerobot3.0 和 lerobotv2.1 中相同）
• 帧率 (FPS)：30
• 数据格式：lerobot3.0 和 lerobotv2.1（每个季节均提供两种格式）
• 数据大小：约 324.3 GB
• 许可协议：Creative Commons Attribution 4.0 International (CC-BY-4.0)

数据模态

模态类别	具体内容	详细说明
视觉 (Video)	6 个同步视频流	包括头部左侧、头部右侧、左腕、右腕、触觉形变、原始触觉摄像头，均为 MP4 格式。lerobot3.0 主要采用 AV1 编码，lerobotv2.1 主要采用 H.264 编码。
状态/动作 (State/Action)	65 维联合空间向量	包含左臂 (7维)、左手 (22维)、右臂 (7维)、右手 (22维)、躯干/电机 (7维)。observation.state 和 action 均为 65 维浮点向量。
触觉 (Tactile)	60 维信号 + 双视频流	包括 10 个指尖的力/力矩信号（observation.tactile，60 维：指尖 x 6 轴），以及形变导向视频 (observation.images.tactile_deform，480x1200x3) 和原始触觉视频 (observation.images.tactile_raw，480x1600x3)。
其他	关节力矩、时间戳、帧索引等	observation.state.joint_torque (65维)、timestamp、frame_index、episode_index、task_index。

数据结构

数据集按采集季节（Season）组织，每个季节文件夹包含 lerobot3.0 和 lerobotv2.1 两个子目录。

RoCo_TaskBoardAssembly/ ├── season_POC22061_2026_06_11_14_29_08_train/ │ ├── lerobot3.0/ │ │ ├── meta/ # 元数据 (info.json, modality.json, episodes/, tasks.parquet) │ │ ├── data/ # Parquet 帧数据文件 │ │ └── videos/ # 分摄像头的 MP4 视频文件 │ └── lerobotv2.1/ # 相同结构，用于兼容旧版 LeRobot └── season_.../

• 核心元数据文件：meta/info.json，定义了总片段数、总帧数、FPS、数据拆分、数据路径、视频路径及特征结构。
• 文件路径模板：LeRobot v3.0 使用 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet 和 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 等模板。

应用建议

• 典型策略学习设置：
  • 视觉观测：选取一个或多个 observation.images.* 流。
  • 本体感知：observation.state。
  • 可选触觉：observation.tactile。
  • 监督目标：action。
• 多视图策略：建议从四路视觉流（头部左、头部右、左腕、右腕）开始，再按需加入触觉视频流。
• 实验拆分：建议按季节进行训练/评估集的拆分，避免同一采集会话内的演示混合。

搜集汇总

数据集介绍

构建方式

RoCo_TaskBoardAssembly数据集由Sharpa团队在真实机器人平台上采集，专注于任务板装配这一接触密集型的精细操作任务。数据通过双臂灵巧手系统，利用遥操作方式完成零件装配演示，并同步记录多模态感知信息。整个采集过程涵盖30个采集季节，共计562个演示回合，每个回合包含约30帧/秒的高频数据。数据集以LeRobot v3.0和v2.1两种格式组织，按季节分目录存储，便于研究者按需加载不同阶段的数据。

特点

该数据集的核心特色在于其丰富的多模态同步信息。它包含六路同步视频流，分别来自左右头部相机、左右腕部相机以及触觉变形与原始触觉相机，提供480×480或更高分辨率的视觉观测。同时，65维的关节空间状态与动作向量覆盖双臂、灵巧手及躯干电机，触觉模态则提供60维指尖力/力矩信号及高分辨率触觉视频。这种多源异构数据的精细对齐为接触操作、视触觉融合及双臂协调策略的学习提供了前所未有的数据支撑。

使用方法

研究者可通过Git LFS克隆整个数据集，或利用稀疏检出功能仅下载特定季节。使用LeRobot生态工具可便捷解析meta/info.json获取特征模式与文件路径模板。典型的使用方式是将多路视觉观测、本体感知状态及可选的触觉信号作为输入，以关节空间动作为学习目标，进行模仿学习或策略训练。建议按季节划分训练与验证集，避免同批次数据混用，以保证评估的公正性与策略的泛化能力。

背景与挑战

背景概述

在机器人灵巧操作领域，接触丰富的装配任务长期受制于多模态感知融合与精密力控策略的匮乏。由Sharpa团队于2026年发布的RoCo_TaskBoardAssembly数据集，专为任务板装配场景设计，旨在攻克手部遮挡下的部件定位、双手协调及力觉反馈等核心难题。该数据集包含562条示范轨迹，同步采集了六视角视频、触觉力/力矩信号及65维关节空间状态，以30Hz频率记录，总数据量达324.3GB。其发布直接支撑了RoCo IROS 2026挑战赛，为模仿学习与视觉-触觉表征研究提供了标准化基准，推动了复杂接触操作从仿真到真实部署的跨越。

当前挑战

该数据集面对的领域挑战集中于接触丰富装配的通病：精密部件定位需亚毫米级精度，手部自遮挡导致视觉跟踪失效，以及双手协调中力矩的时滞耦合。数据构建过程亦充满难点——30个采集季节需重复校准双臂灵巧手的零位，触觉传感器在连续接触下易漂移，且多摄同步（6路视频与触觉流）须在30FPS下保持亚帧级对齐。此外，不同季节间光照与夹具磨损引入的域偏移，以及562条示范中操作风格的不可控差异，对策略的泛化性提出了严苛要求。

常用场景

经典使用场景

在机器人操作研究领域，接触丰富的精密装配任务长期缺乏真实世界的高质量示范数据集。RoCo_TaskBoardAssembly数据集恰如其分地填补了这一空白，为模仿学习、视觉运动策略学习以及视触觉表征学习提供了极具价值的训练资源。该数据集的经典应用场景在于训练双机械臂与灵巧手协同完成作业板零件的精确装配，其涵盖的562个示范片段包含了同步的多视角视觉、触觉信号、关节力矩以及65维的状态与动作空间信息，使得研究者能够构建端到端的策略模型，应对零件定位、接触时机把控和手部遮挡等核心挑战。

实际应用

在实际应用层面，RoCo_TaskBoardAssembly数据集所承载的技术能力具有广泛的工业转化价值。基于该数据集训练的装配策略可直接迁移至制造业中的精密零部件组装场景，例如电子元件插件、汽车线束连接器和微小齿轮装配等需要精细接触控制的工序。数据集中展现的双手协调操作也为医疗手术机器人的精细操作技能学习提供了参考，例如在缝合或组织操作中同步控制多器械的能力。此外，该数据集所引入的触觉学习范式能够赋能服务机器人完成需要触感反馈的日常任务，如插拔充电器、旋拧瓶盖或组装家具，从而显著提升机器人在非结构化环境中执行接触丰富任务的成功率。

衍生相关工作

该数据集的发布预期将催生一系列具有深远影响力的衍生研究工作。以其为核心训练数据的RoCo IROS 2026挑战赛本身就是一个重要的学术事件，旨在促进真实世界装配策略的标准化评估与比较。围绕该数据集，研究者可能衍生出多模态融合策略网络，探索如何有效整合视觉、触觉与力矩信号以提升鲁棒性；也可能催生基于扩散模型的接触丰富操作生成方法，以及结合大语言模型进行任务拆解与条件策略学习的新范式。此外，数据集的LeRobot兼容格式便于社区进行基准测试和模型复现，有望推动建立接触丰富操作领域的统一评价体系，从而加速该方向的整体研究进程。