andreaskoepf/dk1_cutlery_basket_2026-04-23

该数据集记录了使用TRLC DK1双机械臂机器人（`bi_dk1_follower`）将餐具篮中的餐具卸载到抽屉整理器中的任务。数据集包含67个任务片段，总计281,086帧（以60帧/秒的速度播放约78.1分钟），平均每个片段时长为69.9秒。数据集提供了三个摄像头的视频流（头部、左腕、右腕），分辨率为640x360，编码为hevc，帧率为60fps。观测空间包括40个浮点数的状态向量（关节位置、速度、扭矩）和三个摄像头流。动作空间包括14个浮点数的关节位置目标。数据集结构包括元数据、数据文件和视频文件，总数据大小为33MB，视频文件大小为8211MB。

This dataset captures the task of unloading a cutlery basket into a drawer organizer using a TRLC DK1 bimanual robot (`bi_dk1_follower`). It includes 67 episodes with a total of 281,086 frames (approximately 78.1 minutes at 60 fps), averaging 69.9 seconds per episode. The dataset provides video streams from three cameras (head, left wrist, right wrist) at 640x360 resolution, encoded in hevc at 60 fps. The observation space consists of a 40-dimensional float32 state vector (joint positions, velocities, torques) and three camera streams. The action space includes a 14-dimensional float32 vector for joint position targets. The dataset structure includes metadata, data files, and video files, with a total data size of 33MB and video files totaling 8211MB.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在记录机器人从餐具篮中取出物品并放入抽屉收纳器的精细操作任务。数据采集使用了TRLC DK1双臂机器人平台，其配备两个六自由度机械臂与夹爪，通过遥控操作完成67个演示回合。每个回合以每秒60帧的速率同步记录高精度状态与图像信息，总计捕获超过28万帧数据，平均回合时长约为69.9秒。数据以Parquet格式存储结构化状态与动作序列，并辅以HEVC编码的视频流，确保海量时序数据的高效存取与复现。

特点

数据集的核心特点在于其高保真度的多模态观测空间与精准的动作表征。观测空间包含40维浮点状态向量，融合了双臂各关节的位置、速度与力矩信息，以及三个摄像头（头部、左腕、右腕）提供的640×360分辨率彩色图像。动作空间为14维向量，对应于双臂各关节与夹爪的位置目标。所有数据以60帧每秒的高时间分辨率对齐，且视频采用高效HEVC编码以平衡画质与存储开销。数据集严格分为训练与验证集，共包含67个回合，单个任务场景的集中设计使其适合探索少样本模仿学习策略。

使用方法

数据集通过LeRobot库的LeRobotDataset接口加载，用户可直接指定数据集标识符以获取完整的观测与动作序列。便捷的索引机制允许访问单帧数据，其中观测状态与动作向量可直接用于训练；多视角图像以张量形式返回，便于多模态融合。数据结构支持按回合、帧索引或任务区分，且内置的元信息文件描述了特征名称、形状与编码细节，便于定制化数据流水线。研究人员可结合PyTorch等框架构建策略网络，利用高精度状态与视觉输入训练双臂协作模型，或在仿真环境中进行策略迁移评估。

背景与挑战

背景概述

dk1_cutlery_basket_2026-04-23数据集由The Robot Learning Company于2026年创建，依托HuggingFace的LeRobot框架构建，旨在推动双机械臂精细操作任务的研究。该数据集聚焦于“从餐具篮中卸载物品至抽屉整理器”这一日常家务操作，记录了67个演示片段，总计281,086帧（约78.1分钟），以60 fps的高帧率通过头部、左右腕部三路摄像头捕捉视觉与状态信息。作为机器人学习领域的重要资源，它填补了双机械臂协同操作在柔顺控制与任务泛化方面的数据空白，为模仿学习与强化学习提供了高保真基准，对智能家居自动化研究具有显著影响力。

当前挑战

该数据集核心挑战在于解决双机械臂在非结构化环境中执行精细操作时的协同控制与感知问题，例如餐具篮内物体的随机摆放与不同抓取策略的鲁棒性。构建过程中，需处理多视角图像与高维状态空间（40维关节状态）的同步采集，以及60 fps下视频流的实时编码与存储，同时确保67个演示片段在动作、状态与视觉信号间的时间对齐精度。此外，双机械臂的14维动作空间与复杂的力矩控制需求，对数据采集的物理一致性及后续策略学习的泛化能力提出了额外挑战。

常用场景

经典使用场景

在机器人学习与操作领域，dk1_cutlery_basket_2026-04-23数据集的核心价值在于为双臂协作的精细操作任务提供了高质量的示范轨迹。该数据集聚焦于“将餐具篮中的物品卸载至抽屉收纳盒”这一典型家务场景，记录了TRLC DK1双臂机器人（配备2×6自由度臂与夹爪）在执行任务过程中的完整状态与动作序列。包含67个演示片段，总计281,086帧，以60帧/秒的采样频率捕捉了头部及左右腕部三个视角的视觉观测，同时记录了40维的状态信息（包括关节位置、速度与力矩）和14维的动作指令。这一精细化的多模态数据为模仿学习、行为克隆以及离线强化学习等算法的训练与评估奠定了坚实基础，尤其适用于需要协调双臂灵巧操作的研究设定。

解决学术问题

该数据集直面服务机器人在复杂家居环境中面临的精准抓取与有序放置这一学术挑战。经典研究问题包括如何从高维的视觉与本体感知信息中学习鲁棒的双臂协同策略，以及如何将多模态观测（图像与关节状态）有效地映射至连续动作空间。dk1_cutlery_basket_2026-04-23通过提供大量经过实物专家演示的、富含细微接触力学的交互数据，使得研究者能够深入探索基于示范的灵巧操作学习，降低直接手工设计控制律的难度。其深远意义在于推动机器人从单一重复任务向可泛化、非结构化场景的自主决策演进，为家庭服务机器人的智能化提供可复现的基准与训练语料，加速具身智能领域从仿真环境向真实世界部署的进程。

衍生相关工作

该数据集促进了双臂灵巧操作领域一系列系统与算法的诞生与验证。衍生出的经典工作包括基于扩散策略的模仿学习方法，例如将Diffusion Policy应用于高维视觉与状态序列以实现端到端的动作轨迹生成；以及行为Transformer架构的变体，通过自回归建模捕获长时序的动作依赖关系。在模型优化方面，多任务学习框架与域随机化技术被引入以增强策略对未见布局与物体形态的泛化能力。此外，该数据集还支持了无模型强化学习中的离策略评估与预训练-微调范式，为大规模数据驱动的机器人操作研究提供了支撑。基于此数据集的竞争性基准测试也催生了更高效的数据增广策略与对比学习表示，持续推动领域边界拓展。