andreaskoepf/dk1_cutlery_basket_2026-04-22

该数据集记录了使用TRLC DK1双机械臂机器人（bi_dk1_follower）执行将餐具从篮子分类到抽屉整理器中的任务。数据集包含50个episodes，总计361,416帧（约100.4分钟，60fps），平均每个episode长度为120.5秒。数据集中包括了三个摄像头的视频流（头部、左腕、右腕），分辨率均为640x360，编码格式为hevc，帧率为60fps。观察空间包括40维的浮点数数组（关节位置、速度、扭矩等），动作空间包括14维的浮点数数组（关节目标位置）。数据集采用Apache-2.0许可证。

This dataset captures the task of sorting cutlery from a basket into drawer compartments using the TRLC DK1 bimanual robot (`bi_dk1_follower`). It includes 50 episodes, totaling 361,416 frames (100.4 minutes @ 60 fps), with an average episode length of 120.5s. The dataset features three camera streams (head, left wrist, right wrist) at 640x360 resolution, HEVC codec, and 60 fps. The observation space consists of a float32[40] array (joint positions, velocities, torques), while the action space is a float32[14] array (joint position targets). The dataset is licensed under Apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，利用TRLC DK1双臂机器人平台（bi_dk1_follower）完成餐具分类任务。机器人配备两个六自由度机械臂及夹爪，通过遥操作收集了50个演示片段，总帧数达361,416帧，以60帧/秒的速率记录，平均每个片段时长约120.5秒。数据由三组摄像头（头部及左右腕部）以640x360分辨率、HEVC编码同步采集，并记录关节位置、速度、力矩等40维观测状态及14维动作指令，存储为parquet与mp4格式。

使用方法

数据集通过LeRobot库直接加载，用户只需一行代码即可实例化。访问特定帧时，可获取torch.Tensor格式的状态（shape=40）、动作（shape=14）以及多视角图像（shape=[3,360,640]），便于快速接入训练流程。数据按索引分片存储，支持灵活读取，推荐用于训练机器人操作策略，尤其适合双臂协同和基于视觉的决策模型，如模仿学习中的行为克隆或扩散策略方法。

背景与挑战

背景概述

该数据集由The Robot Learning Company于2026年创建，旨在解决机器人领域的精细操作任务——餐具分拣。研究聚焦于利用TRLC DK1双臂机器人（各含6自由度关节与夹爪）执行将餐具篮内物品归类至抽屉隔间的任务。数据集包含50个演示片段，总计361,416帧（约100.4分钟），以60帧/秒的高频采样，提供了丰富的多模态观测（三视角相机与40维状态信息）及14维动作指令。作为基于LeRobot框架构建的开源资源，其发布为双臂协同操作的模仿学习研究提供了标准化基准，推动了机器人日常家务操作能力的进步。

当前挑战

当前挑战涵盖领域问题与构建难点。领域层面，餐具分拣需应对物体形状、大小与摆放姿态的多样性，以及双臂协调避碰与动态环境适应性，超越传统单臂抓取任务的复杂度。构建中，高帧率（60fps）多相机同步与海量视频数据（约10GB）的高效存储管理构成技术瓶颈，同时确保50个演示片段在任务一致性与动作多样性间取得平衡，并精准标注关节位置、速度与力矩等多维状态，对数据采集的稳定性和标定精度提出严苛要求。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，dk1_cutlery_basket_2026-04-22数据集为双臂协调操作任务提供了精细的运动规划与感知基准。该数据集聚焦于将餐具从沥水篮分类放置至抽屉收纳盒这一日常家务场景，依托TRLC DK1双臂机器人平台，采集了50个演示回合的高频数据，涵盖双臂六自由度关节的位置、速度、力矩以及头部与左右腕部三路高清视觉流。研究者可基于此数据集训练模仿学习或离线强化学习模型，学习从视觉观测到多关节动作映射的端到端策略，尤其适用于研究双臂协同中的空间约束规避与精细抓取放置行为。

解决学术问题

该数据集着力解决双向臂机器人在非结构化环境中执行分类整理任务时面临的几个核心学术挑战：如何从高维视觉与本体感知信息中提取鲁棒的状态表征，如何建模双臂间复杂的运动协调以避免碰撞与干涉，以及如何实现细粒度物体操作（如不同形状餐具的轻拿轻放）。通过提供标准化、高保真的演示轨迹，它为复现和对比各种行为克隆、逆强化学习及基于模型的强化学习方法提供了公平的竞技场，推动了跨具身形态的策略泛化研究，对理解人类灵巧操作的本质机理具有重要参考价值。

实际应用

在实际应用层面，该数据集所模拟的餐具分类任务直接映射至家庭服务机器人、智能厨房自动化及仓储物流中的分拣场景。借助所学策略，机器人可自主完成餐具从清洗区到收纳区的递送、识别与归类，从而减轻家务劳动负担，提升生活品质。此外，该数据采集与训练范式可迁移至医疗康复中的器械整理、实验室器皿分拣等精细操作环境，为构建通用型双臂操作智能体奠定数据基础。其开源的Apache-2.0协议进一步降低了产业界部署与二次开发的门槛。

数据集最近研究

最新研究方向

该数据集聚焦于双臂协作机器人在精细操作任务中的模仿学习研究，特别是家庭场景下的餐具分类整理。随着具身智能的兴起，机器人从结构化工业环境向非结构化家庭场景迁移成为前沿热点。dk1_cutlery_basket_2026-04-22通过TRLC DK1双臂平台采集了50个演示片段，涵盖高帧率多视角视觉观测（头、左腕、右腕）与40维关节状态数据，为学习复杂、多步骤的灵巧操作提供了高质量基准。其在LeRobot框架下的标准化格式促进了基于扩散策略（DP）或动作分块（ACT）等先进算法的训练与评估。该数据集不仅回应了家庭服务机器人对“小物体精细分拣”能力的需求，还推动了双臂协同控制与多模态感知融合的研究，是连接仿真与真实世界操作的重要桥梁。