robotwin_dk1_realcam_stack_blocks_three_1000

该数据集是为‘堆叠三个方块’任务创建的双臂操作演示数据，使用RoboTwin模拟器生成，并进行了领域随机化。数据集包含1000个演示片段，总计323,557帧（约317.2分钟，17帧/秒），平均每个片段时长为19.0秒。使用的机器人是TRLC DK1双臂机器人（bi_dk1_follower），每只手臂有6个自由度和平行夹爪。数据集包含三个摄像头的视频数据：头部摄像头、左手腕摄像头和右手腕摄像头，分辨率均为640x360，编码为h264，帧率为17fps。动作空间和状态空间均为14维浮点数组，分别表示关节位置目标和当前关节位置及夹爪状态。任务描述包括多个具体的堆叠方块的指令。数据集可通过LeRobotDataset库加载，适用于机器人操作任务的研究和开发。

原始信息汇总

数据集概述

基本描述

• 数据集名称: robotwin_dk1_realcam_stack_blocks_three_1000
• 创建工具: 使用 LeRobot 创建。
• 任务类别: 机器人学
• 标签: LeRobot, RoboTwin, bimanual, simulation
• 许可证: Apache-2.0
• 配置: 默认配置，数据文件位于 data/*/*.parquet。

数据集详情

• 任务: Stack Blocks Three（堆叠三个积木）
• 生成环境: 在 RoboTwin 模拟器中生成，并使用了领域随机化。
• 机器人: TRLC DK1 双手臂机器人 (bi_dk1_follower)，包含两个6自由度手臂和并行夹爪。
• 演示数量: 1000 个片段
• 总帧数: 323,557 帧
• 总时长: 317.2 分钟（按 17 fps 计算）
• 平均片段长度: 19.0 秒

传感器配置

相机

相机名称	分辨率	编码格式	帧率
observation.images.head	640x360	h264	17
observation.images.left_wrist	640x360	h264	17
observation.images.right_wrist	640x360	h264	17

动作与状态空间

• 动作 (action): float32[14]，表示关节位置目标（每只手臂6个关节 + 1个夹爪）。
• 观测状态 (observation.state): float32[14]，表示当前关节位置和夹爪状态。

任务描述示例

1. "Use the right arm, the left arm, and the left arm to move red block, green block, and blue block to the center, then stack blue block on green block and green block on red block."
2. "Bring red block, green block, and blue block to the tables center and arrange them by stacking blue block over green block and green block over red block."
3. "Centralize red block, green block, and blue block before stacking blue block on green block and green block on red block."
4. "Use the right arm, the left arm, and the right arm to move red block, green block, and blue block to the center and stack them."
5. "Relocate red block, green block, and blue block to the tables center, stacking blue block over green block and green block over red block."

加载方式

python from lerobot.datasets.lerobot_dataset import LeRobotDataset

dataset = LeRobotDataset("andreaskoepf/robotwin_dk1_realcam_stack_blocks_three_1000") frame = dataset[0] print(frame["observation.state"].shape) # torch.Size([14]) print(frame["action"].shape) # torch.Size([14])

引用

bibtex @misc{robotwin2025, title = {RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins}, author = {Chen, Yao Mu et al.}, year = {2025}, url = {https://github.com/TianxingChen/RoboTwin} }

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的双臂操作数据对于推动灵巧控制算法的进步至关重要。robotwin_dk1_realcam_stack_blocks_three_1000数据集正是基于这一需求，在RoboTwin仿真环境中通过领域随机化技术构建而成。该数据集包含了1000条完整的任务演示轨迹，总计超过32万帧数据，模拟了TRLC DK1双臂机器人执行“堆叠三个积木”的复杂操作。每条轨迹均通过预设的关节位置目标动作序列生成，并同步采集了来自头部及左右腕部摄像头的视觉观测，确保了数据在动作指令与多视角感知上的对齐与丰富性。

特点

该数据集的核心特点体现在其高度的真实性与系统性。它专门针对双臂协同操作设计，动作空间与状态空间均以14维浮点数向量精确表征了机器人的关节位置与夹爪状态。数据集提供了多模态的观测信息，包括三路固定帧率的摄像头视频流，能够全面捕捉任务执行过程中的环境动态与机器人自身状态。此外，数据集附带了多种自然语言描述的任务指令，为结合视觉语言模型进行研究提供了便利。其大规模、长时序的演示数据，为深度强化学习与模仿学习算法提供了稳定且多样化的训练基础。

使用方法

研究人员可以便捷地通过LeRobot库加载并使用此数据集。导入指定的LeRobotDataset类并传入数据集标识符，即可访问其中存储的演示数据。数据以帧为单位进行组织，每一帧都包含了对应的状态观测、动作指令以及图像数据。这种结构化的访问方式使得用户能够轻松地按需提取时间序列，用于策略训练、行为克隆或轨迹分析等任务。数据集与主流机器人学习框架兼容，为复现实验、开发新算法以及进行仿真到实物的迁移研究提供了标准化的数据接口。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统因其能够执行复杂灵巧任务而备受关注。robotwin_dk1_realcam_stack_blocks_three_1000数据集由RoboTwin研究团队于2025年创建，依托LeRobot平台与RoboTwin仿真环境生成。该数据集聚焦于双手机器人堆叠积木任务，旨在通过大量演示数据推动模仿学习与强化学习算法的发展。其核心研究问题在于如何让机器人通过视觉与状态观测，自主完成多步骤、多对象的精细操作，对提升机器人自主操作能力具有重要影响。

当前挑战

该数据集致力于解决机器人操作中多对象堆叠任务的挑战，涉及复杂的动作规划、手眼协调与对象交互。构建过程中的挑战包括在仿真环境中实现高保真的物理交互与视觉渲染，确保数据多样性与真实性；同时，需处理多视角图像数据同步、高维动作空间标注，以及通过领域随机化技术弥合仿真与现实之间的差距，为实际机器人部署提供可靠基础。

常用场景

经典使用场景

在机器人学领域，双手机器人操作任务的仿真与学习是推动智能体自主执行复杂动作的关键。robotwin_dk1_realcam_stack_blocks_three_1000数据集通过模拟双TRLC DK1机械臂执行“堆叠三个积木”任务，提供了大量带有多视角视觉观测和关节状态的动作演示数据。该数据集典型应用于训练基于模仿学习或强化学习的机器人控制策略，使模型能够从人类示范中学习精细的抓取、搬运与堆叠技能，为机器人操作任务的算法开发提供了标准化的评估基准。

实际应用

在工业自动化和物流分拣等实际场景中，机器人需要具备灵活、可靠地处理不规则物体的能力。基于此数据集训练的模型，能够赋能双手机器人完成类似“堆叠积木”的精密装配或货物码垛任务。通过迁移学习，这些在仿真中习得的策略可以进一步适配到真实世界的机器人系统上，提升生产线上的自动化水平与柔性，减少对精密预编程的依赖，为实现更智能、自适应的制造流程提供了技术路径。

衍生相关工作

该数据集作为RoboTwin基准的一部分，已经催生了一系列围绕双手机器人操作的研究。例如，基于其进行的生成式数字孪生研究，探索了如何利用仿真数据构建更逼真的虚拟训练环境。同时，它也支撑了在动作克隆、行为提取以及多任务策略学习等方面的算法创新工作，为后续构建更通用、更鲁棒的机器人操作模型奠定了数据基础，并促进了开源机器人学习生态的繁荣。