andreaskoepf/dk1_cutlery_basket_2026-04-24

该数据集用于机器人学习任务，具体任务是将餐具从篮子转移到抽屉托盘中。使用的机器人是TRLC DK1 bimanual（`bi_dk1_follower`），具有两个6自由度的手臂和夹爪。数据集包含90个episodes，总计295,890帧（约82.2分钟，60帧每秒），平均每个episode长度为54.8秒。数据集提供了三个摄像头的视频流（头部、左腕、右腕），分辨率为640x360，编码为hevc，帧率为60fps。观察空间包括40维的关节位置、速度和扭矩数据，动作空间包括14维的关节位置目标数据。数据集采用Apache-2.0许可证。

This dataset is designed for robotics learning tasks, specifically the task of transferring all utensils from the basket to the drawer tray. The robot used is the TRLC DK1 bimanual (`bi_dk1_follower`), featuring two 6-DOF arms with grippers. The dataset contains 90 episodes, totaling 295,890 frames (approximately 82.2 minutes at 60 fps), with an average episode length of 54.8 seconds. It includes video streams from three cameras (head, left wrist, right wrist) at 640x360 resolution, encoded in hevc at 60 fps. The observation space consists of 40-dimensional joint positions, velocities, and torques, while the action space includes 14-dimensional joint position targets. The dataset is licensed under Apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，依托TRLC DK1双机械臂机器人平台进行数据采集。机器人配备两条六自由度手臂及夹爪，以60帧每秒的采样频率，通过三台高清相机（头部视角及左右腕部视角）同步记录视觉与状态信息。任务设定为将洗碗篮中的餐具转移至抽屉托盘，共完成90个演示轨迹，累积采集295,890帧数据，平均每个轨迹时长约54.8秒。数据以Parquet格式存储，视频采用HEVC编码，整体结构符合LeRobot v3.0标准。

特点

数据集的核心特点在于其精细的多模态观测空间与动作空间的对称设计。观测空间包含40维浮点向量，涵盖双臂及夹爪的位置、速度与力矩信息，并辅以三路640×360分辨率的视觉流。动作空间为14维浮点向量，精确对应双臂各关节位置目标。数据以60帧每秒的高频采样确保了动作序列的时序连贯性，总计超过86GB的存储体量保证了轨迹的丰富性与多样性。

使用方法

使用LeRobot库可便捷加载该数据集，通过`LeRobotDataset('andreaskoepf/dk1_cutlery_basket_2026-04-24')`直接实例化。用户可按索引访问单帧数据，获取40维状态向量、14维动作向量及三通道视觉图像（格式为[C, H, W]）。数据集默认划分为全部90个轨迹用于训练，适合用于模仿学习或强化学习中的策略训练与评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习与操作技能的泛化能力是当前研究的前沿热点，尤其面对家庭场景中精细且重复的日常任务。dk1_cutlery_basket_2026-04-24数据集由The Robot Learning Company于2026年创建，依托TRLC DK1双机械臂平台，旨在解决“将餐具从沥水篮转移至抽屉收纳盒”这一高精度操作问题。该数据集通过LeRobot框架采集，包含90个演示片段，总时长约82分钟，以60帧/秒的速率记录了三路高清视觉流（头部及左右腕部摄像头）与40维状态空间信息。其核心研究问题聚焦于双机械臂在非结构化环境下的协调控制与泛化操作，为家庭服务机器人学习提供了基准数据，有望推动机器人餐具整理等精细家务技能的自主化进程。

当前挑战

该数据集所面临的挑战主要体现在两个层面：首先，从领域问题看，餐具转移任务要求机器人具备对多种形状、材质及摆放姿态的餐具进行稳定抓取与精准放置的能力，同时需应对篮子与抽屉的空间约束，这与传统结构化分拣任务相比，极大提升了感知与控制的难度。在构建过程中，双机械臂的协同操作引入了高维状态空间（40维）与14维连续动作空间，数据采集设备需在60帧/秒的高采样率下同步记录关节位置、速度、力矩以及多视角视觉信息，对硬件同步与数据对齐提出了严苛要求。此外，90个演示片段的规模虽能初步支撑行为克隆训练，但面对真实家庭环境的多样性，数据量仍显不足，如何通过数据增强或仿真迁移来提升泛化能力是当前亟待破解的核心瓶颈。

常用场景

经典使用场景

在机器人操作与具身智能研究领域，dk1_cutlery_basket_2026-04-24数据集主要用于训练和评估双臂协作机器人在精细操作任务中的表现。其核心场景聚焦于‘从餐具篮中取出所有餐具并整齐放置于抽屉托盘’，这一任务高度模拟了家庭或餐饮服务环境中的日常整理需求。数据集包含90个演示片段，总时长超过82分钟，以60帧每秒的高频采样记录了机器人头部及左右腕部摄像头的视觉信息，同时提供了包含关节位置、速度与力矩在内的40维状态空间和14维动作空间。这些丰富的数据使得研究者能够利用模仿学习或强化学习算法，让机器人习得从感知到动作的端到端映射策略。

解决学术问题

该数据集针对性地解决了双臂机器人在非结构化环境中执行精细抓取与有序放置任务时所面临的学术难题。传统研究多集中于单臂操作或结构化场景，而本数据集提供的高质量人机演示数据，为探索双臂协同的灵巧操作、多视角感知融合以及长时域任务规划提供了重要基准。它有助于推动模仿学习中的‘对应点’问题研究，即如何将人类专家的演示有效泛化至机器人本体，并验证了利用多模态传感信号（视觉、力矩、位置）来应对物体不规则排列与动态遮挡等复杂情境的可行性。这一工作对于理解机器人如何通过精准力控实现柔顺操作也具有深远意义。

衍生相关工作

围绕该数据集已衍生出多项具有代表性的研究工作。在算法层面，研究者基于其高帧率多视角视频流，发展了面向双臂机器人的融合注意力机制的行为克隆模型，显著提升了在复杂遮挡条件下的抓取成功率。在表征学习方面，有工作利用数据集中包含的力矩信息，探索了基于触觉感知的柔顺控制策略，使机器人能自适应调整夹持力以应对陶瓷或玻璃餐具。此外，该数据集还被用作评测多任务元学习框架的标准场景，检验算法在有限演示下快速泛化至相似整理任务的潜力，并启发了若干关于长时序任务自动分段与子技能组合的研究方向。