andreaskoepf/dk1_cutlery_basket_2026-04-25

该数据集记录了使用TRLC DK1双机械臂机器人（`bi_dk1_follower`）将餐具篮中的餐具卸载到抽屉整理器中的任务。数据集包含47个 episodes，总计181,775帧（50.5分钟，60 fps），平均每个episode长度为64.5秒。数据集提供了三个摄像头的视频流（头部、左腕、右腕），分辨率为640x360，编码为hevc，帧率为60 fps。观察空间包括40维的浮点数组（关节位置、速度、扭矩等），动作空间包括14维的浮点数组（关节位置目标）。数据集结构详细，包含视频和数据文件的信息，以及加载和使用示例。

This dataset captures the task of unloading a cutlery basket into a drawer organizer using a TRLC DK1 bimanual robot (`bi_dk1_follower`). It includes 47 episodes, totaling 181,775 frames (50.5 minutes at 60 fps), with an average episode length of 64.5 seconds. The dataset provides video streams from three cameras (head, left wrist, right wrist) at 640x360 resolution, hevc codec, and 60 fps. The observation space consists of a 40-dimensional float array (joint positions, velocities, torques, etc.), and the action space includes a 14-dimensional float array (joint position targets). The dataset structure is detailed, with information on video and data files, along with examples for loading and usage.

搜集汇总

数据集介绍

构建方式

该数据集采用LeRobot框架构建，利用TRLC DK1双机械臂机器人系统（配备两个6自由度手臂及夹爪）执行从餐具篮向抽屉收纳盒卸载餐具的任务。通过遥操作采集47个演示回合，共计181,775帧数据，以60帧/秒的采样频率记录，平均每个回合持续约64.5秒。数据以Parquet和HEVC编码视频格式存储，并组织为训练集，涵盖完整的机械臂关节状态与多视角视觉观测。

特点

数据集的核心特点在于其高维度、多模态的观测空间与精细化的动作表征。观测空间包含40维的浮点状态向量，融合了双臂与夹爪的关节位置、速度及力矩信息，以及头部、左腕和右腕三路640×360分辨率的HEVC编码视频流。动作空间为14维的关节位置目标，覆盖左右各6个自由度及夹爪开合。数据总量约5.3GB，结构规范，便于机器人操作技能学习。

使用方法

用户可通过LeRobot库的`LeRobotDataset`类直接加载数据集，例如：`dataset = LeRobotDataset("andreaskoepf/dk1_cutlery_basket_2026-04-25")`。访问单帧数据时，可获取状态向量（形状[40]）、动作向量（形状[14]）及三视角图像（形状[3, 360, 640]），适合用于模仿学习与强化学习的策略训练与评估。数据集按0:47的划分作为训练集，支持端到端的机器人操作模型开发。

背景与挑战

背景概述

该数据集由The Robot Learning Company于2026年4月创建，依托LeRobot框架采集，专注于双臂协作机器人在日常家务场景中的操作能力。核心研究问题在于如何使双机械臂系统协同完成精细的物体转移任务，具体为将餐具篮中的物品卸载至抽屉整理器中。数据集采用TRLC DK1双机械臂平台，配备6自由度手臂与夹爪，以60帧/秒的高频采集三路摄像头视觉信息及40维状态空间数据，为模仿学习与强化学习提供了密集的机器人操作基准。其发布对于推动家庭服务机器人从单一操作向双臂协调作业的演进具有重要参考价值，为复杂场景下的机器人自主决策与精细控制提供了高质量的训练与评估资源。

当前挑战

该数据集所应对的领域挑战集中于日常家务中非结构化物体的操作，餐具形态多样、排列杂乱，要求机器人具备灵活的抓取策略与双臂协同避碰能力，区别于传统工业场景的固定流程。在构建过程中，挑战体现在任务复现的稳定性与数据采集的多样性平衡上：一方面需确保每次演示动作的一致性以降低噪声，另一方面又要避免过度标准化导致模型泛化能力受限。此外，47条演示片段共50.5分钟的数据量对长时程模仿学习的时序依赖建模提出了更高要求，如何从有限的高维示教中提取通用的操作策略仍是该领域的核心难点。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，dk1_cutlery_basket_2026-04-25数据集为模仿学习与行为克隆提供了高质量的双臂协同操作范例。该数据集记录了TRLC DK1双臂机器人将餐具篮中的物品逐一取出并整齐放置于抽屉收纳盒中的完整流程，共计47个演示回合，包含逾18万帧以60帧每秒高频采样的状态-动作序列。配合头部与左右腕部三路摄像头提供的立体视觉观测，研究者可基于此训练机器人精细抓取、位姿调整与避障规划等核心技能，尤其适用于研究双臂在非结构化家庭环境中的协调操作策略。

解决学术问题

该数据集针对家庭服务机器人领域中餐具整理这一典型但高难度的操作任务，系统性地回应了双臂协同灵巧操作研究中长期面临的若干关键学术问题。集中解决了如何从多维传感信息中有效提取高频动作策略、如何建模双臂在紧凑空间内避免自碰撞与互碰撞的协同机制，以及如何将人类示教操作在不同任务变体间迁移泛化。其意义在于为模仿学习、逆强化学习及离线强化学习等范式提供了经过精心标注的真实物理世界基准，显著推动了机器人在餐饮家务场景中实现精细化、安全化自主作业的学术进程。

衍生相关工作

围绕dk1_cutlery_basket数据集，已催生出多项具有代表性的衍生研究工作。典型方向包括基于条件扩散策略的双臂协同动作生成模型，该模型利用数据中的多模态观测与低层级关节指令，学习生成高度柔顺的抓取-放置轨迹；以及基于Transformer架构的时序动作分割算法，可从连续的演示视频中自动提取餐具操作的关键子步骤。此外，部分工作聚焦于数据增强与领域随机化技术，通过在仿真环境中重演采集的轨迹，生成变体样本以提升策略的泛化性。这些经典工作共同推动了数据集在双臂精细操作研究中的核心基准地位。