andreaskoepf/dk1_cutlery_basket_2026-04-21

将餐具篮中的餐具卸载到抽屉整理器中。

- **机器人:** TRLC DK1 双手臂 (`bi_dk1_follower`) — 2× 6自由度手臂带夹爪
- **任务:** 将餐具篮中的餐具卸载到抽屉整理器中。
- **片段数:** 135
- **总帧数:** 624,729 (173.5 分钟 @ 60 fps)
- **平均片段长度:** 77.1秒
- **许可证:** apache-2.0

### 摄像头

| 摄像头 | 分辨率 | 编解码器 | 帧率 |
|---|---|---|---|
| `observation.images.head` | 640x360 | hevc | 60 |
| `observation.images.left_wrist` | 640x360 | hevc | 60 |
| `observation.images.right_wrist` | 640x360 | hevc | 60 |

### 观察空间

- **`observation.state`**: float32[40] — left_joint_1.pos, left_joint_2.pos, left_joint_3.pos, left_joint_4.pos, left_joint_5.pos, left_joint_6.pos... (双臂和夹爪的关节位置、速度和扭矩)
- **`observation.images.*`**: 3个摄像头流

### 动作空间

- **`action`**: float32[14] — left_joint_1.pos, left_joint_2.pos, left_joint_3.pos, left_joint_4.pos, left_joint_5.pos, left_joint_6.pos... (双臂和夹爪的关节目标位置)

Unload the cutlery basket into the drawer organizer.

- **Robot:** TRLC DK1 bimanual (`bi_dk1_follower`) — 2× 6-DOF arms with grippers
- **Task:** Unload the cutlery basket into the drawer organizer.
- **Episodes:** 135
- **Total frames:** 624,729 (173.5 min @ 60 fps)
- **Avg episode length:** 77.1s
- **License:** apache-2.0

### Cameras

| Camera | Resolution | Codec | FPS |
|---|---|---|---|
| `observation.images.head` | 640x360 | hevc | 60 |
| `observation.images.left_wrist` | 640x360 | hevc | 60 |
| `observation.images.right_wrist` | 640x360 | hevc | 60 |

### Observation Space

- **`observation.state`**: float32[40] — left_joint_1.pos, left_joint_2.pos, left_joint_3.pos, left_joint_4.pos, left_joint_5.pos, left_joint_6.pos... (joint positions, velocities, torques for both arms + grippers)
- **`observation.images.*`**: 3 camera streams

### Action Space

- **`action`**: float32[14] — left_joint_1.pos, left_joint_2.pos, left_joint_3.pos, left_joint_4.pos, left_joint_5.pos, left_joint_6.pos... (joint position targets for both arms + grippers)

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精细化的家务任务数据集对于推动模仿学习与强化学习算法的进步至关重要。该数据集基于TRLC DK1双臂机器人平台构建，配备两个六自由度机械臂及夹爪，专注于完成从刀叉篮中取出餐具并放入抽屉整理器的典型家庭任务。数据采集过程通过人类遥操作实现，以60帧每秒的高频速率同步记录来自头部、左手腕和右手腕三个视角的640×360分辨率视频流，同时以浮点数组形式存储了包含关节位置、速度和力矩在内的40维观测状态与14维动作指令。数据集共收录了135个示范片段，累计时长约173.5分钟，总计624,729帧实验数据，平均每个片段持续77.1秒，为双臂协同操作提供了丰富的运动学与动力学记录。

特点

该数据集的核心优势在于其高保真度与结构化完整性。首先，多模态感知信息被严谨地组织为三个高清视频流与低层级状态量的复合特征空间，其中观测值涵盖了双臂六个关节及其夹爪的完整位置、角速度与力矩信息，动作空间则对应了从当前状态到下一时刻的关节位置目标，形成了清晰的因果映射关系。其次，所有传感器数据均以恒定60帧每秒的频率同步采样，确保了时间序列上的精确对齐，为行为克隆或运动预测任务提供了可靠的时序基础。此外，每个片段都附带了时间戳、帧索引与任务标签的元数据，便于数据分割与轨迹筛选，彰显了工业级机器人数据集应有的严谨规范。

使用方法

基于HuggingFace的LeRobot生态，该数据集可通过其原生API高效加载。研究者仅需调用LeRobotDataset构造方法并传入数据集标识符，即可直接获取标准化的PyTorch张量格式样本。每个样本中，观测图像以通道优先的张量形式（3×720×1280）呈现，状态向量则封装为40维浮点张量，便于直接接入卷积网络与多层感知器。数据集已内置训练分割（前135个片段），并支持通过索引或迭代器随机访问任意帧。同时，配套的可视化工具与元数据信息文件（info.json）提供了数据块存储结构及编解码参数的详细说明，显著降低了研究者在数据解析与模型部署环节的技术门槛。

背景与挑战

背景概述

在机器人学习领域，模仿学习与遥操作数据的获取是训练高鲁棒性操作模型的核心瓶颈。该数据集由The Robot Learning Company于2026年4月创建，依托HuggingFace LeRobot框架，聚焦于双机械臂协作场景中的精细家庭操作任务——将餐具篮中的物品卸载至抽屉收纳盒中。研究团队采用TRLC DK1双机械臂系统（各含6自由度臂与夹爪），以60帧/秒高频采集135个演示轨迹，总计超过62万帧、约173分钟的非结构化运动数据。数据集提供了三视角视觉观测（头部与双腕部）及完整的关节状态、速度、力矩、动作序列，为构建复杂接触操作任务的端到端策略提供了高保真训练素材，推动了灵巧操作与工业级双臂协同的基准研究。

当前挑战

该数据集解决的领域核心挑战在于实现非结构化环境下的精细双臂协作操作，其难点包括：1）任务涉及从容器中取出多类型餐具并有序放置于抽屉隔间，要求模型具备复杂抓取序列规划、柔性物体适应性操作以及碰撞规避能力；2）双臂协同需解决运动学耦合与实时避碰问题，尤其在高频60Hz控制下保持关节轨迹的平滑性与稳定性。构建过程中，高频多传感器数据（40维状态+三路视频流）的精准时间同步、大规模HEVC视频的高效编解码与存储优化（视频文件超18GB），以及跨次重现的示教动作一致性确保，均构成了工程实现上的显著挑战。

常用场景

经典使用场景

在机器人操作与模仿学习的研究领域中，dk1_cutlery_basket_2026-04-21数据集为执行精细化餐具整理任务提供了理想的数据基础。该数据集依托TRLC DK1双臂机器人平台，采集了135条将洗碗篮中餐具卸载并整齐摆放至抽屉收纳盒的高质量演示轨迹，共计超过62万帧视觉与关节状态数据。研究者常借助此数据集训练端到端的模仿学习模型，通过多视角视觉信号与双臂协同动作的映射，使机器人学会在复杂家庭场景中完成结构化物品的分类与放置操作。

衍生相关工作

该数据集衍生出了多项引领双臂操作发展的经典研究工作。例如，基于LeRobot框架的端到端策略迁移方法利用该数据集的视觉-运动耦合特征，验证了预训练视觉编码器在跨场景餐具整理中的零样本泛化能力。另一项代表性工作则结合扩散策略与隐式行为克隆，在保持任务成功率超过95%的前提下将平均操作周期压缩至60秒以内。此外，该数据还被用于构建双臂阻抗控制的安全学习框架，显著降低了执行过程中对易碎餐具的碰撞风险。

数据集最近研究

最新研究方向

该数据集聚焦于双机械臂协同操作中的精细餐具整理任务，为具身智能领域的前沿探索提供了关键支撑。在家庭服务机器人走向实用化的浪潮中，如何让机器人高效、安全地处理非结构化环境中的细小物件已成为研究热点。此数据集通过TRLC DK1双臂机器人执行从洗碗篮到抽屉的转移任务，记录了135个高质量示范片段，涵盖多视角视觉与关节级力位信息，为模仿学习、行为克隆以及基于扩散策略的运动生成等算法提供了真实的基线基准。结合LeRobot生态，该资源有望推动机器人从感知到动作的端到端泛化能力突破，加速家用机器人在日常生活场景中的落地进程。