task1_1_5_rgb

该数据集是一个面向机器人操作的示范数据集，由 LeRobot 框架创建，采用 Apache-2.0 许可证。数据集包含来自双 UR5e 机械臂（dual_ur5e_rosbag）的 119 个演示 episode，共计 283,528 帧，专注于单一任务。每个时间步记录以下信息：14维状态观测（包括左右臂各6个关节角度和2个夹爪位置）、12维关节位置、12维关节速度、14维动作目标（目标关节角度和夹爪）、2维夹爪位置，以及来自四个摄像头（前视、顶视、左腕、右腕）的 RGB 视频（分辨率240x424，30fps，AV1编码）。此外还包括时间戳、帧索引、episode 索引、索引和任务索引。数据全部用于训练（train:0:119）。该数据集适用于机器人模仿学习、行为克隆、强化学习等任务。This dataset is a demonstration dataset for robot manipulation, created by the LeRobot framework and licensed under Apache-2.0. It contains 119 demonstration episodes from dual UR5e robotic arms (dual_ur5e_rosbag), totaling 283,528 frames, focusing on a single task. Each timestep records the following information: 14-dimensional state observations (including 6 joint angles for each arm and 2 gripper positions), 12-dimensional joint positions, 12-dimensional joint velocities, 14-dimensional action targets (target joint angles and grippers), 2-dimensional gripper positions, and RGB videos from four cameras (front, top, left wrist, right wrist) with resolution 240x424 at 30fps encoded in AV1. Additionally, timestamps, frame indices, episode indices, indices, and task indices are included. All data is used for training (train:0:119). This dataset is suitable for tasks such as robot imitation learning, behavior cloning, and reinforcement learning.

原始信息汇总

数据集概述

• 数据集名称: takeru01/task1_1_5_rgb
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 创建工具: 由 LeRobot 创建
• 可视化界面: 可视化该数据集

数据集结构

元数据信息

• 数据格式: Parquet 文件（data/*/*.parquet）
• 机器人类型: dual_ur5e_rosbag（双臂UR5e机器人）
• 采样频率 (fps): 30
• 总集数: 119
• 总帧数: 283,528
• 总任务数: 1
• 数据分片大小: 1000
• 数据文件大小: 约 100 MB（parquet 文件）
• 视频文件大小: 约 200 MB（mp4 文件）
• 数据划分: 训练集包含全部 119 集（train: "0:119"）

特征定义

特征名称	数据类型	形状	说明
observation.state	float32	[14]	包含双臂6个关节位置（各6维）、双臂夹爪位置（各1维），共14维
observation.joint_position	float32	[12]	双臂6个关节的关节位置，共12维
observation.joint_velocity	float32	[12]	双臂6个关节的关节速度，共12维
action	float32	[14]	目标动作，包括双臂目标关节位置（各6维）和目标夹爪位置（各1维），共14维
observation.gripper_position	float32	[2]	双臂夹爪位置，共2维（左、右）
observation.images.camera_front	video	[240, 424, 3]	前置摄像头图像，分辨率 240x424，RGB三通道，AV1编码，30fps
observation.images.camera_top	video	[240, 424, 3]	顶部摄像头图像，分辨率 240x424，RGB三通道，AV1编码，30fps
observation.images.camera_left_wrist	video	[240, 424, 3]	左手腕摄像头图像，分辨率 240x424，RGB三通道，AV1编码，30fps
observation.images.camera_right_wrist	video	[240, 424, 3]	右手腕摄像头图像，分辨率 240x424，RGB三通道，AV1编码，30fps
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集数索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据路径

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• BibTeX: 该数据集的引用信息尚未提供（[More Information Needed]）。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计，涵盖了双UR5e机械臂的精细操控场景。数据采集以30帧每秒的频率进行，共包含119个演示片段，总计283,528帧原始数据。每个时间步记录的信息全面，包括左右手臂各关节的位置、速度、夹爪状态以及多视角摄像头捕获的视觉图像。数据以Parquet格式存储，辅以AV1编码的视频流，确保数据读取的高效性与压缩率。

使用方法

此数据集适用于训练机器人的视觉运动策略，尤其适合双臂协同操作任务。使用时，可通过LeRobot提供的可视化工具快速预览数据质量。数据划分方式明确，全部119个片段均作为训练集。研究人员可直接加载Parquet文件获取状态-动作对，同时解压视频文件提取视觉特征。建议利用其统一的特征命名体系，便于接入主流的学习框架，并借助Python库如HuggingFace Datasets进行高效的数据流读取，以加速研究迭代。

背景与挑战

背景概述

在机器人学习领域，模仿学习与遥操作数据的采集与利用已成为推动智能体自主操作能力发展的关键路径。该数据集由研究者利用LeRobot框架于近期创建，以Apache-2.0许可发布，聚焦于双臂机器人（dual_ur5e_rosbag）的操控任务。其核心研究问题在于捕获高频率（30Hz）的多模态传感信息，包括四路摄像头（前方、顶部、左右手腕）的视觉流、关节状态、关节速度、夹爪位置及14维的动作指令，旨在为策略学习提供丰富且同步的观测-动作对。该数据集包含119个演示片段，共283,528帧，其结构化设计（如将视频与Parquet数据分离存储）体现了对高效数据管理及深度学习训练兼容性的考量，为机器人操作技能的研究提供了基准资源，并有望推动视觉-运动控制策略的泛化与鲁棒性研究。

当前挑战

该数据集所解决的领域问题集中于双臂协调操作中的策略学习，其面临的挑战在于：首先，高维视觉与本体感受信息的融合，需在时序对齐与特征提取上保持精確，以应对动态操作中的延迟与噪声；其次，双机械臂（UR5e）的14自由度动作空间与夹爪控制带来复杂的运动学与动力学约束，要求模型能捕捉关节间的耦合关系，从而生成平滑且可行的轨迹。在数据集构建过程中，亦遇到多重挑战：遥操作演示的采集需确保多视角视频（240x424）与机器人状态的同步，任何时间戳偏差都会影响状态-动作对的质量；AV1编码视频虽压缩效率高，但解码开销或引入视觉失真，影响后续模型训练的稳定性；此外，数据规模（119个episodes）相对有限，可能难以覆盖任务的多样性，易导致策略过拟合，亟需数据增强或模拟环境补充，以提升泛化性能。

常用场景

经典使用场景

task1_1_5_rgb 数据集是专为机器人学习与具身智能研究设计的高质量多模态数据集，涵盖了双 UR5e 机械臂在真实环境中的复杂操作任务。该数据集以 30 Hz 的频率同步采集多视角 RGB 视觉信息、关节状态、关节速度、夹爪位置及目标动作序列，为模仿学习、行为克隆和视觉-运动控制策略的训练提供了丰富的监督信号。其经典使用场景包括基于视觉的机器人操作技能学习、端到端神经策略的离线训练，以及多任务或元学习框架中的任务表示与泛化能力验证。数据集的精细化标注与标准化格式使得研究者能够便捷地开展跨场景对比实验，推动机器人操作智能的稳健发展。

解决学术问题

该数据集有效解决了机器人学习领域长期困扰研究者的数据稀缺与多样性不足问题，其包含 119 个完整操作轨迹，每个轨迹涵盖了双臂协同动作与多视角视觉观测，为开发高泛化性能的视觉运动策略提供了坚实的数据基础。通过提供精确的关节级控制指令和丰富的状态信息，它支持了从低层控制到高层规划的学术研究，例如多传感器融合、状态表示学习、动作序列生成以及因果推理在机器人操作中的应用。此外，数据的时序连续性和同步性为研究非平稳环境下的学习稳定性、样本效率提升和跨任务知识迁移等关键挑战提供了理想的研究平台，其公开可复现性也促进了机器人学习社区的科学进步。

实际应用

在实际应用中，task1_1_5_rgb 数据集可直接用于训练工业机器人完成精密装配、物料分拣和柔性操作等任务，其多视角视觉输入与精确动作指令有助于提升机器人适应复杂环境的能力。该数据集为机器人企业或研究机构提供了一条从仿真环境到真实世界迁移的有效路径，加速了基于学习方法的机器人系统的落地部署。通过利用该数据集训练的模型，能够实现机器人对未知物体姿态变化的鲁棒性响应，并保障操作过程的安全性与高效性。在自动化生产线、物流仓储及家庭服务等场景中，该数据集所支持的智能策略可大幅降低人工编程成本，提高生产柔性和智能化水平。

数据集最近研究

最新研究方向

该数据集聚焦于双UR5e机械臂的精细操作任务，通过多视角RGB视觉观测与高维关节状态数据的同步采集，为具身智能时代的机器人学习提供关键数据支撑。当前研究前沿方向涵盖基于视觉-语言-动作模型的端到端模仿学习、跨任务泛化策略以及机器人操作的仿真到现实迁移技术。利用此数据集，研究者可深入探索在复杂操作场景下的动作生成与鲁棒控制，推动机器人系统在工业、医疗及家庭服务等领域的实际应用，其开源特性亦促进了多模态数据融合与协同操作算法的快速发展。