TrossenRoboticsCommunity/stationary-organize-tools-converted-v3-relative

该数据集是使用LeRobot创建的机器人操作数据集，专注于将所有工具放入笔筒的任务。数据集采用Trossen AI双手机器人（bimanual_widowxai，14自由度，30帧/秒）收集，包含83个episodes和111,785帧数据。数据采集使用了四个RGB摄像头：cam_high、cam_low、cam_left_wrist和cam_right_wrist，分辨率均为480x640。该数据集是从v2.1版本的trossen_ai_stationary_organize_tools数据集通过LeRobot v2-to-v3转换器转换而来的相对动作变体，动作归一化统计信息存储在相对空间中（关节动作相对于当前状态，夹爪保持绝对）。数据集遵循Apache-2.0许可证。This dataset was created using LeRobot. Task: Put all the tools on the table into the pen holder. Robot: Trossen AI bimanual stationary (bimanual_widowxai), 14-DoF, 30 fps. Episodes / Frames: 83 / 111,785. Cameras: cam_high, cam_low, cam_left_wrist, cam_right_wrist (RGB, 480x640). Source: converted from the v2.1 dataset `trossen_ai_stationary_organize_tools` via the LeRobot v2-to-v3 converter. License: apache-2.0. Relative-action variant: Action normalization statistics are stored in relative space (arm joints relative to the current state; grippers kept absolute).

搜集汇总

数据集介绍

构建方式

该数据集源自Trossen AI公司开发的双臂固定机器人平台bimanual_widowxai，通过LeRobot社区提供的v2-to-v3转换工具，将原始v2.1数据集trossen_ai_stationary_organize_tools进行格式升级与规范重构而成。数据采集过程涵盖了83条示教轨迹，共计111,785帧，以30帧每秒的速率记录机器人执行“将所有工具放入笔筒”这一精细化操作任务。在动作表示方面，本数据集采用相对空间编码策略——机械臂关节运动量相对于当前状态进行归一化，而夹爪动作则保持绝对坐标，并通过预计算的动作统计信息存储在相对空间中，为后续模仿学习提供更鲁棒的归一化基础。

使用方法

借助LeRobot开源框架，用户可通过命令行工具一键启动训练流程，核心参数需指定数据集仓库ID并启用相对动作模式。例如执行lerobot-train指令时，需设置--dataset.repo_id指向该数据集名称，同时将--policy.type设为pi05等策略类型，并开启--policy.use_relative_actions=true。值得注意的是，需通过--policy.relative_exclude_joints明确排除移动底座关节（如carriage）的相对化处理。数据以Parquet格式存储结构化的时间序列特征，视频则采用AV1编码的MP4文件保存，用户可依据chunk索引和文件索引灵活访问指定片段，适配多种模仿学习与机器人操作算法的训练需求。

背景与挑战

背景概述

stationary-organize-tools-converted-v3-relative数据集的创建源于机器人操作领域对精细化、可复现行为数据日益增长的需求。由Trossen AI团队和LeRobot社区于近期联合构建，该数据集聚焦于“将桌面上的所有工具放入笔筒”这一具体操作任务，使用的是Trossen AI双机械臂固定基座机器人（bimanual_widowxai），具备14个自由度，以30帧/秒的频率采集。数据从v2.1版本通过LeRobot v2-to-v3转换器迁移而来，并特别设计了相对动作变体，旨在为模仿学习、策略训练提供标准化、高性能的数据基础。其发布在Apache-2.0许可下，为机器人学习社区提供了关键的中等规模基准，推动了多视角视觉与动作空间的联合建模研究。

当前挑战

该数据集所应对的领域挑战在于，如何实现非结构化环境中多物体精细操作的鲁棒学习，特别是工具自身形状、位置、姿态的多样性使得简单的端到端映射难以泛化。相对动作空间的引入虽提高了对初始状态的适应性，却增加了对动作归一化和策略条件设定的要求。在构建过程中，挑战集中在数据采集的稳定性和完整性：83个episodes、超过11万帧的高频视频和多视角同步（四个RGB摄像头）带来了存储与标定的巨大压力；不同视角之间的空间对齐以及基座机器人关节间耦合（如carriage关节）的精确建模亦是难点。此外，从v2.1到v3格式的转换、相对动作统计量的计算与存储，均需确保不引入系统性偏差，这对数据管道设计提出了严苛要求。

常用场景

经典使用场景

stationary-organize-tools-converted-v3-relative数据集是面向机器人精细化操作研究领域的标杆性资源，专为模仿学习和基于视觉的运动规划任务而设计。其核心场景聚焦于双机械臂协同完成桌面工具归位作业——将散落于桌面的各式工具悉数置入笔筒之中。该数据集以Trossen AI双腕固定式机械臂为载体，通过四台高清摄像头（高位、低位及左右腕部视角）以30帧/秒的速率同步采集RGB图像及14维关节状态信息，共包含83个演示片段与超过11万帧标注数据。尤为关键的是，该版本采用相对动作空间编码，将机械臂关节动作表示为相对于当前状态的变化量，显著提升了策略对不同初始构型的泛化能力，为训练鲁棒的视觉运动策略提供了高质量的训练与验证基准。

解决学术问题

该数据集直面机器人精细操作领域中技能泛化性与样本效率双重学术挑战。通过构造‘工具归位’这一多维约束任务——涉及多类别物体识别、双臂避碰与力位混合控制，为验证模仿学习算法在复杂装配场景下的迁移能力提供了标准实验平台。其相对动作表示方案从根本上解决了动作分布偏移问题，使基于行为克隆的模型在面对未见初始姿态时仍能保持操作稳定性。数据集公开的14维全状态空间与多视角视觉流，助力研究者解构视触觉融合机制，推动从单一轨迹复现到动作基元习得的范式演进。此外，其标准化的LeRobot v3格式与Apache-2.0许可，大幅降低了异构算法复现的壁垒，成为评估下一代端到端机器人学习方法（如扩散策略、因果推理模型）的核心基准。

实际应用

在工业智造与智能仓储场景中，该数据集训练的视觉运动策略可直接迁移至精密装配、物料分拣和实验器具管理等需要柔性操作的任务。例如，医疗实验室的自动试管整理系统可基于该数据集的相对动作策略，快速适应不同规格耗材的排列组合；电子制造产线上的双机械臂协同插件环节，能够借助数据集中习得的避碰常识实现高效作业。家庭服务领域，机器人得以从演示中掌握散落物品的分类归位逻辑，将其延展至书本整理、餐具回收等日常场景。数据集背后的多视角融合范式更为复杂环境下的半自主遥操作提供了降维方案——操作员只需通过单目图像给出粗糙目标指示，系统即可依据预先习得的相对动作先验完成高精度执行，显著降低人机协同的认知负荷与部署成本。

数据集最近研究

最新研究方向

该数据集聚焦于机器人灵巧操作领域的前沿探索，围绕「将桌上工具归入笔筒」这一精细化任务，为双臂协作与相对动作控制提供了标准化训练基准。基于Trossen AI双机械臂平台采集的83个示范片段（逾11万帧），数据集通过四视角视觉输入（高、低、左腕、右腕）与14维关节空间动作记录，构建了多模态学习基础。其核心创新在于采用相对动作表征——动作归一化基于当前状态的相对位移而非绝对位置，这与扩散策略（如Pi0系列）中的相对动作学习范式深度契合。当前研究热点集中于利用此类相对动作数据集训练具备泛化能力的操作模型，探索在未见过工具布局与目标构型下的零样本迁移，以及将视觉语言模型与相对动作预测结合，实现从自然语言指令到复杂操作序列的端到端映射，推动机器人从单一场景演示迈向可扩展的通用技能习得。