CoRL2026-CSI/UR7e_Ours_Distribute_Choco_100epi

该数据集名为CoRL2026-CSI/UR7e_Ours_Distribute_Choco_100epi，是一个机器人数据集，使用LeRobot工具创建。数据集包含100个episodes，总计42,503帧，专为UR7e机器人设计。数据以parquet文件格式存储，视频文件以MP4格式存储，帧率为10fps。数据集的特征包括机器人的状态观察（7个关节位置）、动作（7个关节位置）、来自两个摄像头的图像观察（顶部视角和手腕视角，分辨率均为480x640，3通道）、技能信息（类型、进度、目标位置等）、末端执行器位置、时间戳、帧索引、episode索引等。数据集主要用于机器人学习和控制任务，支持训练和评估。This dataset, named CoRL2026-CSI/UR7e_Ours_Distribute_Choco_100epi, is a robotics dataset created using the LeRobot tool. It contains 100 episodes with a total of 42,503 frames, designed for the UR7e robot. The data is stored in parquet file format, with video files in MP4 format at a frame rate of 10fps. The dataset features include robot state observations (7 joint positions), actions (7 joint positions), image observations from two cameras (top view and wrist view, both at 480x640 resolution with 3 channels), skill information (type, progress, goal positions, etc.), end-effector positions, timestamps, frame indices, episode indices, and more. It is intended for robotics learning and control tasks, supporting training and evaluation.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot开源框架构建，专注于UR7e机械臂在巧克力分配任务上的精细操作。通过遥操作或自动演示方式，系统采集了100个完整回合的操作数据，总计42503帧画面，并以10帧/秒的采样频率进行记录。数据以Parquet格式存储于分块文件中，每块容量1000帧，同时配有同步录制的H.264编码视频，涵盖顶部与腕部两个视角的视觉信息。所有数据均被划分为训练集，未设验证与测试分割，以确保模型在单一任务场景下的充分学习。

特点

数据集的核心特色在于其多维度的状态与动作表征，不仅记录了机械臂七个关节的位置与夹爪状态，还完整保留了人类操作者的技能类型、进程变量及自然语言指令，形成从底层运动到高层语义的完整映射。每个回合均包含关节空间与任务空间的目标位置，以及末端执行器的位姿信息，为模仿学习与逆强化学习提供了丰富的结构化样本。此外，视频与状态数据的同步存储使得模型能够同时利用视觉与本体感知信息，增强了数据的学习潜力。

使用方法

使用者可通过LeRobot库提供的API轻松加载数据集，直接读取分块Parquet文件以获取状态序列与动作标签，或通过视频路径访问对应视角的视觉观测。典型应用流程包括定义数据加载器、预处理观察与动作特征，并基于回合索引进行训练与验证。数据集中于单任务设置（巧克力分配），后续可结合自然语言字段探索指令跟随学习范式。建议配合Hugging Face Spaces上的可视化工具预览数据，以快速理解动作序列与视觉流的结构关系。

背景与挑战

背景概述

在机器人学习领域，模仿学习（Imitation Learning）已成为赋予机器人复杂操作技能的核心范式，其性能高度依赖于高质量示范数据的可用性。UR7e_Ours_Distribute_Choco_100epi数据集正是在此背景下，由面向CoRL2026会议的研究团队创建，旨在推动工业级机械臂在精细操作任务中的学习研究。该数据集聚焦于UR7e机器人执行“分发巧克力”这一具体任务，共包含100个示范片段、超过4.2万帧数据，以及来自顶置和腕部两个视角的同步视频流。通过记录机器人关节状态、末端执行器位姿、夹爪状态及自然语言指令等多模态信息，该数据集为研究技能泛化、人机交互中的语言引导操作等问题提供了宝贵资源。其基于LeRobot框架的标准化结构，也促进了数据集在机器人学习社区内的共享与复现，有望成为评估多模态模仿学习算法在类人精细装配场景中表现的重要基准。

当前挑战

该数据集主要应对的领域挑战在于，如何使机器人从有限的示范中习得可泛化的精细操作技能，尤其是在面对物体位姿变化、光照条件差异等环境干扰时，仍能稳定完成诸如分发巧克力这类需精准力控与轨迹规划的任务。构建过程中亦面临多重难题：首先，高精度六轴机械臂UR7e的遥操作数据采集系统需可靠记录包括7维关节状态、6维末端位姿及夹爪状态在内的连续控制信号，对硬件同步性与软件稳定性要求严苛；其次，需设计涵盖多样化初始条件与操作路径的100个示范片段，以保证数据集的覆盖度与鲁棒性，避免策略学习陷入过拟合；此外，多模态数据的对齐与标准化也构成挑战，尤其是来自顶置与腕部相机的视频流需与关节状态、语言描述等模态在时序上精准同步，这要求数据处理管线具有高度一致性，以支撑后续算法的有效训练与评估。

常用场景

经典使用场景

UR7e_Ours_Distribute_Choco_100epi数据集专为机器人操作技能学习而构建，聚焦于巧克力分发这一精细化任务。该数据集包含100个示范回合，涵盖UR7e机械臂在桌面环境下从抓取、移动到释放巧克力的完整动作序列。其经典使用场景在于作为模仿学习与行为克隆任务的训练基准，研究者可利用其中的关节状态、末端执行器位姿以及顶部和腕部双视角视觉观测，训练机器人从人类演示中复现分发操作。多模态数据融合特性使其特别适合开发视觉-运动控制联合模型，为技能泛化研究提供标准化测试平台。

解决学术问题

该数据集核心解决了机器人精细操作中示范数据稀缺与任务特异性建模的学术难题。通过提供高频率（10Hz）记录的全状态空间信息，包括7维关节位置、6维末端位姿及双视觉流，它使研究者能够系统性地探索基于多模态输入的策略学习范式。数据集统一了技能类型、进度和自然语言指令等元信息，为研究分层强化学习、任务分解与语义引导的机器人操控提供结构化支撑。其标准化格式（LeRobot框架）降低了复现成本，加速了从示范到可部署策略的学术验证流程。

衍生相关工作

基于该数据集已衍生出多项前沿研究，如利用其多视角视觉特征开发跨任务技能迁移算法，在巧克力分发基础上泛化到类似的小零件装配操作。部分工作将其与语言模型结合，通过数据集中携带的自然语言指令元信息训练可交互式机器人助手，实现从口头命令到具体操作的端到端映射。另有研究以其为基准比较不同的示范学习架构性能，包括扩散策略、基于Transformer的轨迹预测及视觉-语言-动作联合模型。这些衍生工作共同推动了机器人从单一任务复现向开放式操作智能的进化。