HorizonRobotics/InstructMove-Dataset

InstructMove是一个语言条件化的机器人操作数据集，采用LeRobot格式。它包含用于对象拾取、空间基础拾取和对象放置的指令跟随轨迹。当前版本包括使用PiperX双臂机器人和Franka机器人收集的数据。数据集涵盖多个任务：基于属性（如颜色、形状或外观）拾取对象、基于类别（语义类别和视觉描述）拾取对象、将指定对象放置到目标容器中，以及基于空间关系（如左、右、近、远）拾取对象。总计包含500个情节，每个情节以.zip存档形式提供，包含轨迹数据、视频和元数据（如情节和任务注释）。InstructMove is a language-conditioned robot manipulation dataset in LeRobot format. It contains instruction-following trajectories for object picking, spatially grounded picking, and object placement. The current release includes data collected with PiperX dual-arm and Franka robots. The dataset covers multiple tasks: picking an object specified by visual attributes such as color, shape, or appearance; picking an object specified by its semantic category and visual description; placing a specified object in or on a target container; and picking an object identified through a spatial relation to another object, such as left of, right of, near, or far from. It totals 500 episodes, each packaged as a .zip archive containing trajectory data, videos, and metadata, including episode and task annotations.

搜集汇总

数据集介绍

构建方式

InstructMove-Dataset 是一个基于语言条件的机器人操控数据集，遵循 LeRobot 标准格式构建。数据集包含 500 条指令跟随轨迹，涵盖视觉属性指定抓取、语义类别指定抓取、空间关系指定抓取以及物体放置等任务。数据由 PiperX 双臂机器人和 Franka 机器人采集，每个任务对应 100 条示范轨迹，并以独立压缩包形式存储。每个压缩包内包含轨迹数据、视频文件以及完整的元数据文件（如 info.json、episodes.jsonl、tasks.jsonl 和 stats.json），确保数据结构的规范性和可复现性。

特点

该数据集的核心特点在于其任务多样性与机器人平台的互补性。PiperX 双臂机器人负责执行基于视觉属性、语义类别的抓取以及物体放置任务，而 Franka 机器人则专注于空间关系指定抓取任务（如“左边”、“右边”等方位指令）。每条轨迹均附有自然语言指令，实现了语言理解与机器人操控的深度融合。此外，数据集的元数据文件提供详细的轨迹和任务注释，便于进行多任务学习和跨机器人平台的迁移研究。

使用方法

使用该数据集时，首先需解压对应任务的压缩包，例如执行 'unzip lerobot_dataset/pick_category/piperx_0710.zip -d pick_category'。随后，通过 LeRobot 库的 LeRobotDataset API 加载解压后的目录，即可直接访问轨迹数据、视频和元信息。数据集适用于训练语言条件下的机器人操控模型，用户可依据任务标签和指令筛选特定子集，进行仿真训练或迁移学习实验。

背景与挑战

背景概述

InstructMove-Dataset是一个面向语言条件机器人操作的数据集，于2025年发布，由Hugging Face LeRobot团队和合作机构共同构建。该数据集聚焦于自然语言指令与机器人操作的结合，旨在通过语言描述引导机器人完成精确抓取、空间关系理解和物体放置等复杂任务。其核心研究问题在于如何使机器人能够基于自然语言指令，在动态环境中自主执行操作，从而推动人机交互的智能化进程。数据集包含由PiperX双臂和Franka机器人采集的500条轨迹，涵盖属性抓取、类别抓取、空间抓取和物体放置等多种任务类型，为语言引导的机器人操作研究提供了标准化基准。该数据集在LeRobot框架下发布，采用统一格式，便于研究人员复现和扩展，对机器人学、自然语言处理和多模态学习等领域具有重要推动作用。

当前挑战

InstructMove-Dataset面临的挑战包括领域问题和构建过程两方面。在领域问题方面，主要挑战在于如何将开放式的自然语言指令精确映射到机器人低层控制动作，这涉及语义理解、空间推理和动态环境适应的复杂融合，而语言歧义性和任务多样性进一步加剧了难度。在构建过程中，数据采集面临机器人的物理限制，例如PiperX双臂和Franka机器人各自的动作空间和传感器配置不同，需确保跨平台数据的可移植性和一致性。此外，任务标注的精确性是一大难题，如空间关系（左、右、远、近）的主观性可能导致标签不一致，而复杂操作（如物体放置）需要多视角视频和轨迹数据的同步记录，增加了数据采集与质量控制的复杂度。

常用场景

经典使用场景

InstructMove-Dataset是面向语言条件机器人操控研究的基础性数据集，其经典使用场景集中在基于自然语言指令的物体抓取与放置任务。数据集涵盖依据视觉属性（如颜色、形状）指定物体、依据语义类别描述物体、以及通过空间关系（如左侧、右侧、靠近）定位物体等多种指令形式，为训练和评估机器人理解复杂语言指令并执行对应操作提供了标准化数据支撑。研究者通常利用该数据集训练策略网络，使其能够将语言嵌入与视觉观测及动作序列进行端到端匹配，从而在多样化的物体和容器布局中完成物体选取与精准放置。该数据集的双臂构型与单臂构型数据亦为跨机器人形态的泛化研究奠定了基础。

解决学术问题

该数据集系统性地回应了语言与机器人操控结合中几个关键学术难题。其核心贡献在于提供了细粒度的指令-轨迹对齐数据，解决了传统数据集缺乏自然语言与低层动作空间直接映射的瓶颈。通过包含视觉属性指定、语义类别区分和空间关系推理等不同类型的指令，数据集支持对语言理解泛化能力、语义指代消解以及多模态融合机制的研究。具体而言，它帮助学者探索如何在部分观测和物体分布密集的场景下，利用语言先验指导注意力机制，提升抓取与放置任务的准确率与鲁棒性。这些工作推动了语言引导操控从简单模板指令向开放世界语义理解的重要跨越，对发展具有交互理解能力的智能机器人系统具有方法论意义。

衍生相关工作

自InstructMove-Dataset发布以来，围绕它衍生了一系列推动语言-机器人操控领域进步的代表性工作。基于该数据集中‘Pick by attribute’子集，研究者发展了视觉语言特征对齐模块，显著增强了机器人对颜色、形状等属性噪声的鲁棒识别能力。利用‘Spatial pick’子集，多个团队提出了空间关系自适应注意力机制，使机器人能够更精确地理解‘左侧’、‘右侧’等相对空间描述。此外，数据集的‘Place A to B’任务被广泛用作评估语言条件强化学习和示范学习方法的基准，催生了融合自然语言奖励塑形的高效策略搜索算法。部分工作还将该数据集扩展至多任务学习与零样本迁移设定，推动了语言指令驱动的机器人操控从封闭场景向开放世界泛化的研究进程。