PRTS-PostTrain-Data

PRTS后训练数据集是一个高质量的机器人操作数据集，旨在支持原始级技能和长时程任务执行的学习。数据集涵盖了双臂和单臂操作，包括精细操作和长距离操作，并以标准的LeRobot格式进行整理。数据集包含约50GB的高质量数据，采集自家庭、办公室和工业环境中的真实机器人系统。每条轨迹都记录了详细的低级控制信号，包括姿态、关节状态和夹持器动作，支持原始技能、动作表示和任务级策略的学习。数据集适用于学习双臂和单臂操作策略、训练原始级动作表示、长时程任务学习与分解、精细操作技能学习以及在真实环境中对机器人操作模型进行基准测试。数据集遵循标准的LeRobot格式，每个任务包含结构化的轨迹数据，包括任务名称、任务ID、任务描述以及一系列帧数据（时间戳、末端执行器姿态、关节角度和夹持器状态）。

原始信息汇总

PRTS Post-Training Data 数据集概述

数据集基本信息

• 数据集名称：PRTS Post-Training Data
• 发布机构/项目：PRTS (A Primitive Reasoning and Tasking System via Contrastive Representations)
• 维护者：TeleEmbodied AI Team
• 许可协议：MIT License
• 数据规模：约 50GB

数据集描述

该数据集是一个高质量机器人操作数据集，专为学习原始技能和长时程任务执行而设计。数据采用标准 LeRobot 格式进行整理。

核心特点

• 操作类型：涵盖双臂协调与单臂操作。
• 任务复杂度：包含精细操作与长距离操作。
• 任务规划：支持长时程任务。
• 数据来源：数据采集自真实机器人系统，覆盖家庭、办公室和工业环境。

数据内容

每条轨迹记录了详细的控制信号，包括：

• 位姿
• 关节状态
• 夹爪动作 这些数据可用于学习原始技能、动作表示和任务级策略。

主要用途

直接用途

• 学习双臂与单臂操作策略。
• 训练原始级动作表示。
• 长时程任务学习与分解。
• 精细操作技能学习。
• 在真实场景中为机器人操作模型提供基准测试。

数据结构

数据集遵循标准 LeRobot 格式。

任务结构

每个任务包含结构化的轨迹，具有逐帧的机器人状态：

• task_name：任务名称（例如："Pick and Place Object"）。
• task_id：唯一任务标识符。
• task_description：任务描述。
• frames：帧序列，每帧包含：
  • t：时间戳。
  • pose：6D末端执行器位姿（双臂或单臂）。
  • joints：关节角度。
  • gripper：夹爪状态（开/闭）。

数据示例

json { "task_name": "Pick and Place Object", "task_id": "001", "task_description": "Pick up a cup and place it on the table", "frames": [ { "t": 0.0, "pose": [0.5, 0.5, 0.2, 0, 0, 0, 1], "joints": [0.3, -0.5, 0.8, 0.1, -0.2, 0.9, 0.2, -0.4], "gripper": [1, 0] } ] }

引用信息

若使用此数据集，请引用：

@article{zhang2026prts, title={PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations}, author={Zhang, Yang and Zhao, Jiangyuan and Fan, Chenyou and Yan, Fangzheng and Li, Tian and Wu, Xuaner and Weng, Qizhen and Li, Xiu and Zhang, Weinan and Zhang, Chi and Bai, Chenjia and Li, Xuelong}, year={2026}, url={https://rhodes-team-prts.github.io} }

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动技能学习与任务执行研究至关重要。PRTS-PostTrain-Data的构建依托于真实世界机器人系统，在家庭、办公室及工业环境中采集了约50GB的操控数据。这些数据以标准LeRobot格式精心组织，每条轨迹均记录了详细的低级控制信号，包括末端执行器位姿、关节状态与夹爪动作，覆盖了双臂协调、单臂操作、长时程任务及精细操控等多种场景，为学习原始技能与任务分解提供了坚实基础。

特点

该数据集的核心特点在于其广泛覆盖的操控场景与高度结构化的数据表示。它不仅囊括了双臂与单臂操作，还特别强调了长时程任务与精细动作的捕捉，能够有效支持原始级动作表示与策略学习。数据遵循LeRobot标准格式，确保了与现有机器人学习框架的兼容性，同时每帧数据均包含时间戳、位姿、关节角度及夹爪状态等关键信息，为模型训练提供了丰富且一致的输入。

使用方法

研究人员可直接利用该数据集进行机器人操作策略的监督学习或表示学习。通过解析LeRobot格式的轨迹文件，可以提取帧级的状态与动作序列，用于训练双臂或单臂操控策略、学习原始技能表示，或进行长时程任务的分解与规划。数据集亦可作为基准，用于评估不同模型在真实世界操控任务中的性能，推动具身智能与机器人学习领域的发展。

背景与挑战

背景概述

在具身智能与机器人操作研究领域，高质量、大规模的真实世界数据集是推动技能学习与任务规划算法发展的基石。PRTS-PostTrain-Data数据集由TeleEmbodied AI团队于2026年发布，作为PRTS项目的重要组成部分，旨在为原始技能推理与长时程任务执行提供基准数据。该数据集聚焦于双臂与单臂操作、精细操控及长范围作业等多种真实场景，以标准LeRobot格式精心构建，涵盖了家庭、办公室及工业环境下的约50GB高保真轨迹数据。其核心研究问题在于如何通过对比表征学习，使机器人系统能够理解并组合原始级操作技能，进而完成复杂的序列化任务，对机器人策略学习、任务分解及具身智能基础模型的发展具有显著的推动作用。

当前挑战

该数据集致力于解决机器人操作中原始技能学习与长时程任务执行的挑战，其核心难题在于如何从高维、连续的传感器-动作空间中提取可泛化、可组合的原始技能表征，并实现跨场景、跨物体的稳健策略迁移。在构建过程中，研究团队面临多重挑战：真实世界数据的采集需克服环境多样性、物体可变性及操作不确定性带来的噪声与偏差；确保双臂协调等复杂操作轨迹的时间同步性与物理一致性亦非易事；此外，将异构的原始数据统一规范至LeRobot格式，并保持动作、状态信息的完整性与对齐，同样需要精心的工程设计与质量控制。

常用场景

经典使用场景

在机器人操作领域，PRTS-PostTrain-Data数据集作为高质量基准，其经典使用场景聚焦于学习机器人原始技能与长时域任务执行。该数据集通过标准LeRobot格式，提供了双臂协调、单臂操作、精细操作及长距离操作等多种真实场景下的轨迹数据，支持研究者训练端到端策略模型，实现从低级控制信号到高级任务规划的映射。

解决学术问题

该数据集有效解决了机器人学习中的若干核心学术问题，包括原始技能表示学习、长时域任务分解与规划、以及多臂协同控制等。通过提供大规模、高质量的真实世界操作数据，它促进了具身智能领域在策略泛化、样本效率及任务适应性方面的研究进展，为构建更鲁棒、通用的机器人系统奠定了数据基础。

衍生相关工作

围绕该数据集，已衍生出一系列经典研究工作，特别是在基于对比表示的原始推理与任务系统（PRTS）框架下。相关研究探索了如何利用数据中的多模态轨迹学习可迁移的技能表示，并在此基础上开发了用于任务分解、策略模仿及强化学习的算法，这些工作显著推动了机器人操作学习从仿真到真实世界的迁移。