FR5_task2_transfer_the_gray_tablets_from_the_brown_bottle_into_another_brown_bottle

该数据集是使用LeRobot框架创建的机器人操作数据集，专门用于机器人技术领域的研究与应用。数据集包含一个单一任务：将灰色药片从棕色瓶子转移到另一个棕色瓶子。数据规模为200个完整的操作序列（episodes），总计293,120帧数据，数据文件大小为100MB，视频文件大小为200MB，采集帧率为20fps。数据以Parquet文件格式存储，并全部划分为训练集。数据集提供了丰富的多模态信息，包括：1. 机器人动作：7维浮点数组，表示6个关节和夹爪的位置指令。2. 机器人状态观测：7维浮点数组，表示6个关节和夹爪的实际位置。3. 多视角视觉观测：包含三个同步的RGB视频流，分辨率均为480x640，分别来自左上角摄像头、右上角摄像头和手部摄像头，用于提供环境与操作的多角度视觉信息。4. 元数据：包括时间戳、帧索引、episode索引和任务索引，用于数据的时间对齐和序列组织。该数据集适用于机器人模仿学习、强化学习、视觉运动策略学习等任务，为研究多模态感知与机器人操作控制提供了结构化的真实数据。This dataset is a robot manipulation dataset created using the LeRobot framework, specifically designed for research and applications in robotics. It contains a single task: transferring a gray pill from one brown bottle to another brown bottle. The dataset comprises 200 complete operation sequences (episodes), totaling 293,120 frames, with a data file size of 100MB and a video file size of 200MB, captured at a frame rate of 20fps. The data is stored in Parquet format and is entirely allocated to the training set. It provides rich multimodal information, including: 1. Robot actions: 7-dimensional floating-point arrays representing position commands for 6 joints and the gripper. 2. Robot state observations: 7-dimensional floating-point arrays representing the actual positions of 6 joints and the gripper. 3. Multi-view visual observations: three synchronized RGB video streams, each with a resolution of 480x640, from the top-left camera, top-right camera, and hand camera, offering multi-angle visual information of the environment and operations. 4. Metadata: including timestamps, frame indices, episode indices, and task indices, used for temporal alignment and sequence organization. This dataset is suitable for tasks such as robot imitation learning, reinforcement learning, and visual-motor policy learning, providing structured real-world data for research on multimodal perception and robot manipulation control.

原始信息汇总

数据集概述

• 数据集名称：FR5_task2_transfer_the_gray_tablets_from_the_brown_bottle_into_another_brown_bottle
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot
• 创建工具：LeRobot (https://github.com/huggingface/lerobot)

数据集规模

指标	数值
总轮次（Episodes）	200
总帧数（Frames）	293,120
总任务数	1
数据文件大小	100 MB
视频文件大小	200 MB
帧率（FPS）	20
数据分块大小	1,000 帧/块
机器人类型	fairino_follower

数据集分割

• 训练集：索引 0 至 199（共 200 个轮次）

数据特征

特征名称	数据类型	形状	说明
action	float32	(7,)	7 维关节位置与夹爪位置动作
observation.state	float32	(7,)	7 维关节与夹爪状态观测
observation.images.top_left	video (AV1)	(480, 640, 3)	左上角摄像头视频，20 FPS
observation.images.top_right	video (AV1)	(480, 640, 3)	右上角摄像头视频，20 FPS
observation.images.hand	video (AV1)	(480, 640, 3)	手部摄像头视频，20 FPS
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	轮次索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引（固定为 0）

数据存储路径

• 数据文件：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 暂无提供 BibTeX 引用格式。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的演示数据。数据集专注于一个特定任务：将灰色药片从棕色瓶子转移至另一个棕色瓶子。数据采集使用Fairino Follower机器人，共收集了200个完整演示片段，总计293120帧，帧率为20 FPS。数据以分块形式存储，每块包含1000帧，并分别以Parquet格式保存结构化数据（如关节位置、夹爪位置等动作与状态信息），以MP4格式保存从多个视角（左上、右上、手部相机）录制的视频流。所有数据均按训练集划分，覆盖全部200个片段。

特点

数据集的核心特点在于其多模态融合的精细设计。每个演示片段同步记录了7维关节与夹爪状态、7维动作指令，以及三个摄像头视角（480×640分辨率）的RGB视频，像素格式为AV1编码的YUV420p。这种多视角与时间序列的紧密结合，为模仿学习等机器人技能学习算法提供了丰富而紧凑的输入。此外，数据集中包含的时间戳、帧索引、片段索引等元数据字段，便于进行时间对齐与序列建模，而单一任务聚焦的设计则确保了数据分布的高度一致性。

使用方法

用户可通过LeRobot库便捷加载此数据集，利用其内置的数据可视化界面（Hugging Face Space）直观查看演示片段。使用时，需根据元数据中的‘features’定义，提取‘observation.state’作为模型输入状态，以‘action’作为目标输出进行行为克隆训练。视频数据可作为图像观测的替代或补充进行端到端策略学习。数据集已全部标注为训练集，无需额外划分。建议在加载时按‘chunks_size’为1000进行分块逐批读取，以优化内存使用，并依据‘fps’为20的时间戳信息进行时序处理或重采样。

背景与挑战

背景概述

在机器人操作领域，从仿真环境向真实世界的技能迁移一直是研究焦点，尤其是面对精细操作任务时，数据驱动的学习方法相较于传统编程展现出显著优势。本数据集由coport-uni团队于近期创建，旨在解决‘将灰色药片从棕色瓶子转移至另一棕色瓶子’这一典型精细操作子任务，其核心研究问题聚焦于如何利用遥操作数据实现机器人对易碎、不规则物体的可靠抓取与转移。该数据集基于LeRobot框架构建，包含200个完整演示片段，总计近30万帧多视角视频（左、右、手部摄像头）与7维关节动作序列，为模仿学习、迁移学习及灵巧操作研究提供了标准化基准。作为机器人任务技能学习领域的重要资源，该数据集填补了药物分拣等精细场景中高质量多模态数据集的空缺，推动从单一任务演示到通用操作技能泛化的技术演进。

当前挑战

该数据集所应对的领域挑战主要包括：1）精细操作任务中，药片形状不规则、易滚动且瓶口狭窄，导致基于传统抓取规划的模型成功率低下，而模仿学习需应对高维状态-动作空间中的小样本泛化难题。2）构建过程中，遥操作采集需克服力反馈缺失与延迟，确保200次演示中的动作一致性；同时，多视角（480×640分辨率）视频数据与7维关节状态在20FPS下同步记录，需解决异构传感器校准误差与数据对齐问题。此外，数据集仅含单一任务标签，缺乏对操作失败案例或环境光照、桌子颜色等变量的系统性覆盖，这限制了模型对动态场景中干扰因素的鲁棒性提升。真实与仿真间的仿真-真实差距进一步加剧了策略迁移的挑战，要求数据集提供更丰富的域随机化参数或用于域适应训练的跨域标注。

常用场景

经典使用场景

在机器人操作与灵巧操控领域，该数据集聚焦于一项精细且具代表性的任务：将灰色药片从棕色药瓶转移至另一棕色药瓶中。其经典使用场景多见于模仿学习与行为克隆研究中，研究人员利用200条演示轨迹和近30万帧多视角视觉数据（含左上、右上及手部摄像头），结合七维关节状态与动作信息，训练机器人掌握平稳抓取、精确转移与安全放置的完整操作流程，为复杂物体搬运任务提供了标准化训练基准。

实际应用

在实际应用层面，该数据集天然契合制药与医疗辅料分装场景的自动化需求，例如在无菌环境下完成药片或胶囊的跨容器转移。此外，它还可赋能家庭服务机器人执行药箱整理、精细物件拾放等日常任务，以及工业产线上针对易碎或易滚动物体的安全搬运操作。其包含的手部近场视觉与多角度环境图像，为部署于真实物理世界的机器人提供了应对光照变化与遮挡干扰的宝贵训练素材。

衍生相关工作

围绕该数据集，已衍生出一系列探索策略泛化与数据高效的经典工作。研究者常基于LeRobot框架，利用其结构化parquet格式与视频数据，训练扩散策略、动作分块变换器（ACT）或隐式行为克隆模型，验证在相同任务上不同架构的模仿效率。同时，该数据集也被用作多任务学习的子集，或与同系列其他转移任务联合，研究跨物体的操作技能迁移，催生了关于视觉表征解耦与示范重用技术的深入讨论。