xarm-lift-medium-singlearm-v1

该数据集是一个机器人技术相关的数据集，使用LeRobot工具创建。其背景与ICML 2022发表的论文《Temporal Difference Learning for Model Predictive Control》相关，旨在支持机器人控制策略的学习，特别是与模型预测控制（MPC）和时序差分学习结合的研究。数据集包含800个完整的任务执行序列（episodes），总计20000个时间步（frames），对应800个视频记录。所有数据均用于训练。每个数据样本包含多模态观察和动作信息：观察部分包括一个84x84像素的RGB图像（observation.image）和一个4维的浮点向量表示机器人关节状态（observation.state，对应四个电机motor_0到motor_3）。动作部分（action）也是一个4维浮点向量，代表施加给四个电机的控制指令。此外，每个样本还包含元数据：episode_index（序列索引）、frame_index（帧索引）、timestamp（时间戳）、next.reward（下一步的奖励值）、next.done（序列是否结束的标志）、index（样本索引）和task_index（任务索引，本数据集中为单一任务）。数据以Parquet格式存储，视频以MP4格式（AV1编码，15fps）存储。该数据集适用于机器人强化学习、模仿学习、行为克隆以及视觉-动作策略建模等任务。This dataset is related to robotics and was created using the LeRobot tool. Its background is associated with the ICML 2022 paper Temporal Difference Learning for Model Predictive Control, aiming to support the learning of robot control strategies, particularly in research combining Model Predictive Control (MPC) and temporal difference learning. The dataset contains 800 complete task execution sequences (episodes), totaling 20,000 time steps (frames), corresponding to 800 video recordings. All data is used for training. Each data sample includes multimodal observations and action information: the observation part consists of an 84x84 pixel RGB image (observation.image) and a 4-dimensional floating-point vector representing robot joint states (observation.state, corresponding to four motors: motor_0 to motor_3). The action part (action) is also a 4-dimensional floating-point vector, representing control commands applied to the four motors. Additionally, each sample includes metadata: episode_index (sequence index), frame_index (frame index), timestamp (timestamp), next.reward (reward for the next step), next.done (flag indicating whether the sequence has ended), index (sample index), and task_index (task index, which is a single task in this dataset). Data is stored in Parquet format, and videos are stored in MP4 format (AV1 encoding, 15fps). This dataset is suitable for tasks such as robot reinforcement learning, imitation learning, behavior cloning, and vision-action policy modeling.

原始信息汇总

数据集概述

• 名称: xarm-lift-medium-singlearm-v1
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建
• 相关资源:
  • 主页: https://www.nicklashansen.com/td-mpc/
  • 论文: https://arxiv.org/abs/2203.04955

数据集结构

• 代码库版本: v2.0
• 机器人类型: 未知
• 总episode数: 800
• 总帧数: 20000
• 总任务数: 1
• 总视频数: 800
• 总chunk数: 1
• chunk大小: 1000
• 帧率 (FPS): 15
• 数据划分:
  • 训练集: episodes 0 到 799
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 配置文件: default (数据文件: data/*/*.parquet)

数据特征

特征名称	数据类型	形状	说明
observation.image	视频	(84, 84, 3)	观察图像，编码为AV1，帧率15 FPS，无音频，非深度图
observation.state	float32	(4,)	机器人状态（4个电机）
action	float32	(4,)	动作（4个电机）
episode_index	int64	(1,)	episode索引
frame_index	int64	(1,)	帧索引
timestamp	float32	(1,)	时间戳
next.reward	float32	(1,)	下一状态的奖励
next.done	bool	(1,)	下一状态是否终止
index	int64	(1,)	索引
task_index	int64	(1,)	任务索引

引用

bibtex @inproceedings{Hansen2022tdmpc, title={Temporal Difference Learning for Model Predictive Control}, author={Nicklas Hansen and Xiaolong Wang and Hao Su}, booktitle={ICML}, year={2022} }

搜集汇总

数据集介绍

构建方式

xarm-lift-medium-singlearm-v1数据集源自Temporal Difference Learning for Model Predictive Control（TD-MPC）研究工作，旨在为单臂机器人抬升操作任务提供标准化训练与评估基准。该数据集依托LeRobot开源框架构建，严格控制数据采集流程，共收录800个完整演示片段，总计20000帧高质量状态-动作序列。所有数据以每片段1000帧为单位进行分块存储，采用Parquet格式保存结构化信息，同时以MP4视频格式归档视觉观测数据，确保数据存取的高效性与可复现性。

特点

该数据集具备鲜明的结构特性：数据本体涵盖84×84像素的RGB视觉观测与包含4个电机维度的状态向量，动作空间同样映射为四维连续控制信号，形成完整的观测-动作闭环序列。时序信息被精确记录，包括帧索引、时间戳及任务索引等元数据。800个演示片段全部划分至训练集，未设验证与测试分片，呈现出纯粹的模型训练导向。值得关注的是，数据集明确标注了任务终止标识与奖励信号，为基于强化学习的算法评估提供了天然便利。

使用方法

数据集通过Hugging Face的datasets库与LeRobot工具链实现便捷调用。开发者可直接利用`load_dataset`接口加载完整数据，并借助LeRobot提供的异构数据加载器（DataLoader）将异步采集的视觉流与状态-动作流对齐至统一时间轴。在模型构建方面，数据集的奖励与终止信号字段可方便地用于时序差分学习方法。所有观测与动作数据均以标准化张量形式返回，兼容PyTorch等深度学习框架，便于直接投入TD-MPC及相关模仿学习算法的训练与验证流程。

背景与挑战

背景概述

xarm-lift-medium-singlearm-v1数据集由Nicklas Hansen、Xiaolong Wang和Hao Su于2022年创建，旨在为机器人操作任务中的模型预测控制提供标准化训练与评估基准。该数据集源自ICML 2022论文《Temporal Difference Learning for Model Predictive Control》，聚焦于单臂机器人执行中等难度提升任务，包含800个演示片段、共计2万帧15帧每秒的视觉-状态-动作序列。通过规范化的数据格式与特性结构，该数据集为时序差分学习与模型预测控制方法的融合提供了关键实验平台，推动了基于学习的机器人控制策略在数据效率与控制鲁棒性方面的研究进展，在机器人学习领域产生了显著影响力。

当前挑战

该数据集所解决的领域核心挑战在于机器人操作中的样本效率低下与长期预测控制难题。传统模型预测控制依赖精确系统模型，而学习方法常因数据采集成本高昂难以泛化至复杂物理任务。xarm-lift-medium-singlearm-v1通过提供中等难度提升场景下的多模态数据，推动了基于时序差分学习的模型预测控制方法，使机器人能从有限示范中高效学习动力学模型并执行多步规划。在构建过程中，数据集的挑战包括确保不同设备间数据表示的兼容性（如多线程编码存储与状态空间规范化）、维持运动轨迹的一致性与动作精度，以及平衡数据规模与计算存储开销（如采用AV1视频压缩与Parquet列式存储格式）。

常用场景

经典使用场景

在机器人学习与操控领域，xarm-lift-medium-singlearm-v1数据集为单臂机械手执行抬升动作提供了标准化训练与评估平台。该数据集包含800个高质量演示片段，每个片段以15帧/秒的频率记录了机械手四关节状态（observation.state）与对应动作（action），并辅以84×84像素的视觉观测图像。研究者常利用此数据集训练基于行为克隆、隐式策略或模型预测控制的机器人策略，以学习从视觉输入到关节动作的端到端映射，从而提升机械手在物体抬升任务中的成功率和操作精度。

解决学术问题

该数据集旨在解决机器人操控学习中数据稀缺与策略泛化性不足的关键挑战。通过提供中等复杂度、难度适中的抬升任务演示数据，它使研究者能够系统评估不同强化学习与模仿学习算法在真实机器人平台上的性能差距。其设计支持对时序差分学习与模型预测控制（如TD-MPC）等方法的鲁棒性验证，推动学界探索如何从有限演示中高效提取可迁移的操控技能，并揭示状态表征与动作空间对学习效率的深层影响机制。

衍生相关工作

围绕该数据集，衍生了一系列标志性研究工作。核心驱动论文《Temporal Difference Learning for Model Predictive Control》（Hansen等, ICML 2022）提出了TD-MPC算法，其利用学习到的潜在动态模型进行规划，显著提升了样本效率与任务泛化能力。后续工作如基于隐式Q学习（IQL）与扩散策略（Diffusion Policy）的改进方法，均以此数据集为基准，验证了其在多任务迁移、长时域轨迹生成及视觉鲁棒性方面的进展。这些研究共同推动了数据驱动机器人操控从仿真向真实场景的跨越。