jellyho/droid_merged_skills_moving

这是一个合并的DROID技能数据集，专注于moving（移动）技能。它合并了一个经过语言过滤的DROID技能子集和针对同一技能新收集的环境数据。数据来源于两个子数据集：jellyho/droid_subsets_moving（298个episodes）和jellyho/droid_move_banana（21个episodes）。数据集使用标准化的8D向量格式表示状态和动作：观察状态包括7个关节位置和夹爪位置，动作包括7个关节速度和夹爪位置。统计信息显示，共有319个episodes、50755帧、301个独特任务，状态和动作的维度均为8，视频键包括observation.images.wrist_left和observation.images.side_view_1_left，总计638个视频。任务示例包括移动香蕉靠近绿色碗等。文件结构包含元数据、数据文件和视频文件。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot - DROID - 机器人学 - skill-filtered - merged - joint-velocity-action - gripper-position - moving 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- # 合并DROID技能数据集：moving（移动任务） 本数据集将经过语言过滤的DROID技能子集与针对同一技能新采集的环境数据进行合并。 ## 仓库信息 - Hugging Face 仓库：`jellyho/droid_merged_skills_moving` - 本地合并数据集路径：`/scratch/jellyho/droid_merged_skills_v21/moving` - 对应技能：`moving` - LeRobot 代码库版本：`v2.1` ## 数据源 json [ "jellyho/droid_subsets_moving", "jellyho/droid_move_banana" ] | 源数据集 | 轨迹段数 | | --- | --- | | jellyho/droid_subsets_moving | 298 | | jellyho/droid_move_banana | 21 | ## 状态与动作 紧凑的LeRobot训练字段被标准化为8维向量： text observation.state = [关节位置_0..6, 夹爪位置] action = [关节速度_0..6, 夹爪位置] 对于原始DROID子集的数据行，`action`由`action.joint_velocity`与`action.gripper_position`拼接推导得到。对于新采集的数据行，`action`由`observation.joint_velocities[:7]`加上从原始`action`向量中提取的采集到的夹爪位置组合得到。 Parquet文件中仍保留详细列，例如`action.joint_position`、`action.joint_velocity`、`action.gripper_position`、`observation.state.joint_position`以及`observation.state.gripper_position`。 ## 数据集统计信息 - 总轨迹段数：`319` - 总帧数：`50755` - 唯一任务数：`301` - `observation.state` 形状：`[8]` - `action` 形状：`[8]` - 视频键名：`['observation.images.wrist_left', 'observation.images.side_view_1_left']` - 总视频文件数：`638` ## 高频轨迹段任务描述 | 任务描述 | 轨迹段数 | | --- | --- | | ['将香蕉移至绿碗附近'] | 21 | | ['将最上层抽屉向右拉开'] | 1 | | ['将白色餐盘在桌面上略微上移，再将其向左小幅滑动'] | 1 | | ['将瓶子从托盘下层隔间移至上层隔间'] | 1 | | ['将绿白相间的小袋向前移动'] | 1 | | ['将棕色小熊玩偶向前移动'] | 1 | | ['将较大的立方体物体移至托盘'] | 1 | | ['将白色马克杯向前移动。'] | 1 | | ['将青绿色物体向前移动'] | 1 | | ['将白色小球向右移动'] | 1 | ## 文件结构 text meta/info.json meta/tasks.jsonl meta/episodes.jsonl meta/episodes_stats.jsonl data/chunk-000/episode_*.parquet videos/chunk-000/observation.images.wrist_left/episode_*.mp4 episodes.csv merge_summary.json

搜集汇总

数据集介绍

构建方式

该数据集“droid_merged_skills_moving”专注于机器人操作领域中的“moving”技能，通过融合两个来源的数据构建而成。其一为经语言筛选后的DROID子集“jellyho/droid_subsets_moving”，贡献了298个机器人操作片段；其二为针对同一技能新收集的环境数据“jellyho/droid_move_banana”，包含21个片段。最终合并得到319个片段、50755帧、301个独特任务。数据以Parquet格式存储，并配以标准化动作和状态表示，确保不同来源数据的统一性和兼容性。

特点

该数据集的核心特点在于将语言过滤后的DROID技能子集与新收集的环境数据进行有机结合，扩展了“moving”技能的多样化场景。状态和动作均标准化为8维向量，包含7个关节位置/速度与1个夹爪位置，便于机器人学习模型直接使用。数据集保留了原始详细列，如关节位置、速度和夹爪位置，同时提供左右腕部视角的视频（共计638个视频），确保视觉与状态信息的丰富性。任务描述多样，如前移香蕉、拉开抽屉等，覆盖301个独特指令。

使用方法

该数据集适用于LeRobot框架下的机器人模仿学习与策略训练。用户可直接加载Parquet文件中的状态（observation.state）和动作（action）向量，其维度均为8。同时，数据集提供了元数据文件（如tasks.jsonl、episodes.jsonl）和视频文件，便于按任务或片段进行过滤与可视化。基于LeRobot v2.1版本构建，用户可通过索引片段或任务字符串选取数据，用于训练如扩散策略或行为克隆等模型，实现从观察到动作的端到端映射。

背景与挑战

背景概述

在机器人学习领域，技能迁移与数据融合是实现泛化行为的关键瓶颈。为此，研究人员于近期构建了droid_merged_skills_moving数据集，由jellyho等研究者主导，依托LeRobot v2.1框架，将经过语言过滤的DROID子集（含298个片段）与新采集的“移动”技能环境数据（含21个片段）合并而成。该数据集聚焦于机器人移动操作任务，包含319个片段、50755帧图像及301种独特任务指令，如“将香蕉移近绿色碗”等，通过标准化8维状态-动作空间（关节位置与夹爪状态）统一多源数据，显著增强了机器人对移动技能的泛化能力，对推动机器人操作从单一场景向多样化真实环境的跨越具有重要影响力。

当前挑战

该数据集致力于解决的领域核心挑战是机器人操作任务中的技能通用性与数据异构性问题：传统数据集常局限于单一环境或动作模式，难以支撑复杂移动技能的高效迁移与鲁棒执行。构建过程中面临多重困难，包括来自不同源（DROID子集与新采集数据）的动作表示不一致（如原始动作来源分别为关节速度信号与完整动作向量），需精心设计映射规则以实现统一；此外，语言指令的自动筛选与任务对齐、跨设备传感器噪声抑制、以及319个片段中301种任务指令的稀疏性与类别不均衡也构成显著障碍，最终通过标准化动作格式与精细的元数据管理加以克服。

常用场景

经典使用场景

在机器人学习领域，该数据集被广泛用于模仿学习和行为克隆任务，特别是针对‘移动’这一基础技能。研究者通过将语言过滤后的DROID子集与新采集的环境数据合并，构建了一个包含319个片段、超过5万帧的丰富数据资源，其中每个样本均以8维联合速度与夹爪位置向量作为状态和动作表示。该设计使得模型能够学习从视觉观测（如腕部相机和侧视相机图像）到机械臂操作的映射关系，从而复现诸如“将香蕉移近绿色碗”“拉出最上层抽屉”等300余种具象化任务。数据集的紧凑格式和多视角视频记录，为端到端策略的离线训练提供了标准化基准。

衍生相关工作

该数据集作为DROID项目技能过滤与融合管线的典型产物，衍生了一系列关于机器人基础技能迁移与多源数据融合的经典研究。相关工作包括利用该数据集预训练的视觉-运动策略在未见环境中的零样本泛化评估，以及结合语言嵌入实现动作语义对齐的跨技能学习框架。此外，研究者基于此混合数据构建了联合速度与夹爪位姿统一表征的基准，验证了紧凑动作空间对提升数据效率和策略收敛速度的有效性。该数据集还催生了针对异构机器人平台间动作空间差异的归一化方法，以及基于关键帧采样的长序列操作预测模型，丰富了具身智能体低层运动控制的理论与技术体系。

数据集最近研究

最新研究方向

在机器人操作技能学习领域，DROID大规模灵巧操作数据集正推动从通用抓取向细粒度技能迁移的范式转变。本数据集创新性地融合了语言过滤的DROID子集与新增环境数据，聚焦于“移动”这一核心操作技能，其标准化8维状态-动作空间（关节位置+夹爪位姿）为模仿学习与强化学习提供了统一表征框架。319个片段涵盖301个独特任务，从精细的香蕉推移到抽屉开合，映射出机器人操作从结构化环境向开放世界场景的演进趋势。特别值得注意的是，该数据集保留了关节速度与夹爪位置的原始多模态信息，使研究者能够探索速度级控制与位置级控制的协同机制，为构建具有泛化能力的移动操作基元提供了关键数据支撑。