MOVE

MOVE真实世界机器人操作数据集是通过MOVE（基于运动的变化增强）范式收集的真实世界机器人操作数据集，由清华大学和智源人工智能研究院联合发布。该数据集的核心价值在于在专家演示过程中注入动态特征增强，从而捕获更丰富的空间配置，显著提高策略性能，特别是在空间泛化到未见位置和数据效率方面。数据集聚焦于真实世界的拾取和放置任务，使用Piper机械臂通过Pika设备在动态环境配置下收集。数据字段包括时间步ID、RGB图像观察、机器人关节状态/动作和主设备状态。数据集分为两个子集，分别基于35,000和75,000个时间步，用于测试空间泛化能力和性能扩展。数据集的优势包括高空间泛化和卓越的数据效率，是训练鲁棒的真实世界机器人操作策略的理想资源。

原始信息汇总

MOVE 真实世界操作数据集概述

数据集基本信息

• 数据集名称: MOVE Real-World Manipulation Dataset
• 发布机构: 清华大学 (Tsinghua University) 与 智源人工智能研究院 (Beijing Academy of Artificial Intelligence - BAAI)
• 许可证: MIT
• 核心范式: 基于运动的可变性增强 (Motion-Based Variability Enhancement, MOVE)
• 核心价值: 在专家演示过程中向环境（物体和相机）注入动态特征增强，在单条轨迹内捕获更丰富的空间配置，显著提升策略性能，特别是在对未见位置的空间泛化能力和数据效率方面。

数据集结构

• 核心任务: 真实世界抓取放置 (Real-World Pick-and-Place)
• 采集设备: 使用 Piper 机械臂，通过 Pika 设备 遥操作，在动态环境配置下采集。

数据字段

每条轨迹包含一系列时间步，记录了机器人策略学习所需的基本观测和状态信息。

字段键	数据类型	描述
timestep_id	int	轨迹内的时间步顺序索引。
camera/color/Camera	PIL.Image / ndarray	RGB 图像观测。由于 MOVE 范式，图像捕获了动态变化的物体、目标和相机视角。
arm/jointStatePosition/joint_single	array[float]	机器人关节状态/动作。Piper 机械臂的关节位置，代表机器人当前时间步的状态或执行的动作。
/arm/jointStatePosition/master	array[float]	主设备状态。Pika 遥操作主设备的关节或位置状态，记录了人类操作者的意图。

注意：此数据集严格仅包含上述三个关键数据流。不包含显式的 3D 坐标、世界坐标系下的相机位姿或其他计算得出的元数据。

数据划分

真实世界数据集根据环境交互步骤（时间步）总数进行划分，用于效率评估：

划分名称	任务	总时间步数	描述
real_world_35k	真实世界抓取放置（例如，橙子到托盘）	35,000	一个具有挑战性的低数据场景，用于测试空间泛化能力。
real_world_75k	真实世界抓取放置	75,000	用于性能扩展以及与静态基线的效率比较。

关键优势

• 高空间泛化能力: 在此动态增强数据上训练的策略，在空间随机化、未见配置的测试中表现出更高的成功率。
• 卓越的数据效率: 与传统静态方法收集的数据集相比，MOVE 数据集使策略能够以显著更少的总时间步数实现具有竞争力的性能。

使用方式

此数据集是训练鲁棒的真实世界机器人操作策略的理想资源，特别是那些依赖于高泛化性视觉运动数据的策略。

加载数据

python from datasets import load_dataset

加载 75k 时间步的真实世界子集

dataset = load_dataset("your-huggingface-org/MOVE", "real_world_75k")

访问图像和状态数据

first_example = dataset["train"][0] image = first_example["camera/color/Camera"] robot_state = first_example["arm/jointStatePosition/joint_single"]

引用

如果此工作对您有帮助，请考虑引用我们的论文：

@misc{wang2025movesimplemotionbaseddata, title={MOVE: A Simple Motion-Based Data Collection Paradigm for Spatial Generalization in Robotic Manipulation}, author={Huanqian Wang and Chi Bene Chen and Yang Yue and Danhua Tao and Tong Guo and Shaoxuan Xie and Denghang Huang and Shiji Song and Guocai Yao and Gao Huang}, year={2025}, eprint={2512.04813}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2512.04813}, }

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据采集的范式直接影响策略的泛化能力。MOVE数据集采用了一种创新的运动基变异性增强范式进行构建，通过在专家演示过程中向环境对象和相机视角动态注入特征增强，从而在单条轨迹内捕获更丰富的空间配置变化。该数据集使用Piper机械臂配合Pika设备进行遥操作采集，专注于真实世界的拾放任务，严格记录了RGB图像观测、机器人关节状态以及主设备状态三类核心数据流，摒弃了额外的元数据，确保了数据的纯粹性与针对性。

使用方法

对于致力于提升机器人操作策略鲁棒性的研究者而言，MOVE数据集是训练高泛化性视觉运动策略的理想资源。用户可通过Hugging Face的`datasets`库便捷加载指定规模的数据子集，随后直接访问RGB图像、机器人关节状态等关键字段进行模型训练与评估。该数据集的设计聚焦于核心观测与动作信息，避免了复杂元数据的干扰，使得研究者能够集中精力于策略学习与泛化性能的探索，推动真实世界机器人操作技术的进步。

背景与挑战

背景概述

在机器人操作领域，实现策略在未见空间配置下的泛化能力一直是核心研究难题。MOVE数据集于2025年由清华大学与智源人工智能研究院联合发布，旨在通过运动驱动的数据采集范式，增强机器人操作任务中的空间泛化性能。该数据集聚焦于真实世界的拾放操作任务，利用Piper机械臂与Pika遥操作设备，在动态环境配置下采集了包含丰富空间变化的轨迹数据。其核心创新在于将动态特征增强注入专家演示过程，从而在单条轨迹内捕获多样化的物体与相机视角配置，显著提升了策略的数据效率与泛化能力，为机器人视觉运动策略学习提供了高质量的真实世界基准。

当前挑战

MOVE数据集所针对的领域挑战在于机器人操作中策略对新空间位置与配置的泛化能力不足，传统静态数据采集方法往往导致策略过拟合于有限的环境状态。构建过程中的主要挑战涉及在真实世界动态环境下实现稳定、一致的数据采集，需精确协调机械臂运动、物体位姿变化与相机视角扰动，以确保增强轨迹的多样性与真实性。同时，数据集的构建需严格限定关键数据流，如RGB图像、关节状态与主设备状态，避免引入冗余元数据，以保持数据的纯净性与高效可用性，这对采集系统的同步性与数据处理流程提出了较高要求。

常用场景

经典使用场景

在机器人操作领域，MOVE数据集为视觉-运动策略学习提供了关键支撑。其经典使用场景集中于训练机械臂执行拾取-放置任务，通过动态增强的轨迹数据，模拟了物体与相机视角在空间中的连续变化。这种范式使得学习算法能够从单条轨迹中捕获丰富的空间配置多样性，从而有效提升策略在面对未见位置时的泛化能力，尤其适用于数据受限的真实世界环境。

解决学术问题

该数据集主要解决了机器人操作中空间泛化能力不足与数据效率低下的核心学术问题。传统静态数据采集方法往往难以覆盖广泛的空间变化，导致策略在部署时性能显著下降。MOVE通过引入基于运动的动态特征增强，在专家演示过程中注入环境可变性，从而系统性地提升了策略对未知空间配置的适应能力，并显著减少了达到同等性能所需的数据规模，为样本高效的强化学习与模仿学习研究提供了重要基准。

实际应用

在实际应用层面，MOVE数据集直接服务于开发高鲁棒性的工业与服务机器人系统。例如，在物流分拣、精密装配或家庭辅助等场景中，机器人需要处理物体位置、姿态及光照条件不断变化的环境。利用该数据集训练的视觉-运动策略，能够使机械臂仅依靠有限的真实交互数据，便可靠地完成复杂的抓取与放置操作，降低了机器人系统对大量标注数据或精确环境建模的依赖，加速了其从实验室到真实世界的部署进程。

数据集最近研究

最新研究方向

在机器人操作领域，空间泛化能力是推动智能体适应复杂现实环境的核心挑战。MOVE数据集通过动态特征增强范式，在专家演示中注入物体与摄像头的运动变异性，为研究提供了高泛化性的视觉-动作配对数据。当前前沿探索聚焦于利用此类数据提升基于视觉的强化学习与模仿学习策略的样本效率，使其在有限交互步数下实现对未知空间配置的鲁棒操作。相关研究正与具身智能及通用机器人平台的热潮紧密结合，旨在克服传统静态数据收集导致的泛化瓶颈，为开发在非结构化环境中灵活工作的下一代机器人系统奠定数据基础。