CoRL2026-CSI/UR7e_phase1_Sort_RGBblock_10fps

该数据集是使用LeRobot创建的机器人学数据集，专门针对UR7e机器人设计，用于排序任务（Sort）。数据集包含20个episodes，总计11441帧，帧率为10fps。数据以Parquet格式存储，并包括以下特征：机器人关节位置观察（7个浮点数）、动作（7个浮点数）、来自顶部和腕部RealSense相机的RGB视频（分辨率480x640，10fps）、技能类型（字符串）、技能进度（浮点数）、技能目标位置（关节、世界坐标系和机器人坐标系中的位置和姿态，以及夹爪位置）、自然语言指令（字符串）、末端执行器位置（机器人坐标系中的位置和姿态）、夹爪二进制状态、时间戳、帧索引、episode索引等。数据集适用于机器人控制、模仿学习或强化学习任务，并遵循Apache 2.0许可证。This dataset was created using LeRobot and is designed for robotics tasks, specifically for the UR7e robot in a sorting task (Sort). It contains 20 episodes with a total of 11441 frames at 10fps. The data is stored in Parquet format and includes features such as robot joint position observations (7 floats), actions (7 floats), RGB videos from top-view and wrist RealSense cameras (resolution 480x640, 10fps), skill type (string), skill progress (float), skill goal positions (joint, world, and robot coordinates including position and orientation, and gripper position), natural language instructions (string), end-effector position (in robot coordinates), gripper binary state, timestamps, frame indices, episode indices, and more. The dataset is suitable for robot control, imitation learning, or reinforcement learning tasks and is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于UR7e机械臂在分拣任务中的表现。数据采集自一个名为“Sort_RGBblock”的物理实验场景，机械臂通过操作彩色积木完成分类任务。数据集包含20个完整演示片段（episodes），总计11441帧图像与状态信息。数据以10帧/秒的固定频率采样，并以parquet格式存储结构化数据（状态、动作、技能参数等），同时将高分辨率视觉观测（480×640像素）编码为H.264视频文件，分别来自顶部与腕部两个视角的Realsense深度相机。此外，数据按1000帧为单元切分为多个chunk，便于分布式处理与流式加载。

特点

该数据集的一大特色是多模态、高保真的数据融合体系。它同时提供机械臂7自由度关节状态（shoulder_pan至gripper）、末端执行器位姿（xyzrpy）、夹爪开合状态（gripper_binary）以及多视角RGB图像，完整还原了机器人的感知与控制闭环。每条轨迹还附带技能类型（skill.type）、技能进度（skill.progress）及多层级目标位置（关节/世界/机器人坐标系下的xyzrpy与夹爪位置），甚至包含自然语言描述（skill.natural_language）。所有特征均采用统一的float32或int64格式，维度与物理含义清晰标注，兼具时间戳与帧索引，为模仿学习、行为克隆、多任务强化学习等研究提供了结构严谨、语义丰富的基准数据。

使用方法

用户可通过LeRobot库（https://github.com/huggingface/lerobot）直接加载与可视化该数据集。首先安装LeRobot，然后使用`dataset = LeRobotDataset('CoRL2026-CSI/UR7e_phase1_Sort_RGBblock_10fps')`命令即可初始化数据集对象，获取按episode组织的迭代器。数据集中所有episodes均划入训练集（splits.train = "0:20"），用户可按需自定义验证集划分。利用内置数据加载器，可批量获取observation.state、action、observation.images等特征张量，视频帧会自动解码为numpy数组。此外，Hugging Face Spaces提供了在线可视化界面（点击README中的badge），无需本地环境即可浏览各episode的轨迹回放与状态变化，特别适合快速验证数据质量与算法效果。

背景与挑战

背景概述

UR7e_phase1_Sort_RGBblock_10fps数据集由CoRL2026-CSI团队于近期创建，基于LeRobot框架构建，专注于机器人操作领域的物体分拣任务。该数据集以通用机器人UR7e为载体，通过20个演示片段、11441帧数据，记录了机器人对RGB色块的自主分拣过程。核心研究问题在于探索机器人从视觉感知到动作执行的端到端学习能力，为模仿学习和强化学习提供高质量的多模态训练样本。数据集涵盖7维关节状态、动作指令、双视角视觉影像（顶部与腕部）、技能类型与自然语言标签等丰富特征，为细粒度机器人技能学习与仿真迁移研究奠定了数据基础。其公开化与标准化发布对推动具身智能领域的数据驱动研究具有重要影响。

当前挑战

该数据集所解决的领域问题聚焦于机器人精细分拣任务的模仿学习，面临的核心挑战包括：1）机器人操作的高维状态空间与连续动作空间导致样本效率低下，需通过高保真演示数据提升策略泛化性；2）多模态感知融合中，视觉与本体感受信息的时域对齐存在精度瓶颈，尤其是每秒10帧的低采样率可能遗漏关键过渡动作。构建过程中遇到的挑战包括：1）精确标注技能目标（如关节目标、世界坐标系位姿、夹爪状态）需要高精度自动标注系统，人工校验成本极高；2）20个演示片段的数据量有限，难以覆盖复杂分拣场景中的边缘情况，可能引入数据偏差；3）双摄像头视角下的光照变化与遮挡问题对视频质量一致性提出苛刻要求。

常用场景

经典使用场景

UR7e_phase1_Sort_RGBblock_10fps数据集专为机器人操控领域中的物体分拣任务而设计，记录了UR7e机械臂在10帧每秒采样频率下，通过RGB视觉引导对彩色方块进行排序的完整操作过程。该数据集包含了来自顶部与腕部两个视角的实时视频流、七维关节状态与动作指令、末端执行器位姿及夹爪状态等丰富模态信息。经典使用场景聚焦于模仿学习与行为克隆算法的训练与评估，研究者可利用其中连续的动作-状态序列，让机器人学习从视觉感知到精细操控的端到端映射策略。同时，数据集提供了技能类型、进度及自然语言指令等结构化标注，为多任务学习与语言条件化的机器人操控研究奠定了数据基础。

解决学术问题

该数据集针对机器人学习领域中模仿策略泛化性不足与多模态数据融合困难的学术难题，提供了标准化、高保真的操作演示数据。通过记录20个完整回合、超过11000帧的精细操控轨迹，有效支撑了基于视觉的机器人分拣任务中策略可迁移性的研究。其核心价值在于，一方面帮助学术界探索如何从有限的专家演示中提取鲁棒的控制策略，缓解样本效率低下的瓶颈；另一方面，推动视觉-运动联合表征的建模研究，利用对齐的RGB图像和关节动作数据，剖析感知与控制的耦合机制。该数据集已成为验证新型模仿学习架构（如扩散策略）在结构化分拣场景下性能的基准平台，其影响延伸至具身智能的跨任务迁移与技能组合等前沿方向。

衍生相关工作

围绕该数据集，衍生出一系列推动机器人学习领域发展的代表性工作。基于其标准化轨迹格式，研究者开发了适用于LeRobot框架的轻量化模仿学习基线模型，探索了从低帧率视觉输入中恢复精细操控动作的可行性。后续工作进一步利用数据集中的技能进度与目标位姿信息，提出了基于分阶段奖励的形状塑造方法，显著提升了策略在长时域分拣任务中的执行稳定性。同时，该数据集被引入作为多任务联合训练的基础资源，催生了在视觉语言模型引导下进行跨技能泛化的相关研究，例如通过条件扩散模型实现从自然语言描述到分拣策略的零样本生成，这些工作共同奠定了数据集在具身智能领域作为算法孵化与验证枢纽的重要地位。