language_table_train_108000_109000_augmented

language_table_train_108000_109000_augmented是一个机器人增强数据集，包含google_robot、images、jaco、kinova3、kuka_iiwa、panda、sawyer、ur5e等多种机器人的增强图像和相关信息。数据集共有1000个剧集，15757帧，是基于OXE数据集的v3.0版本增强而来。

原始信息汇总

Language Table Train 108000-109000 Augmented 数据集概述

基本信息

• 数据集名称: language_table_train_108000_109000_augmented
• 许可证: CC-BY-4.0
• 任务类别: 机器人技术
• 标签: 机器人技术、lerobot、oxe-auge、数据集

技术规格

• 代码库版本: v3.0
• 帧率: 10 FPS
• 总片段数: 1,000
• 总帧数: 15,757
• 总视频数: 未指定

机器人平台

支持以下机器人平台：google_robot、images、jaco、kinova3、kuka_iiwa、panda、sawyer、ur5e

数据划分

• 训练集: 包含1,000个片段

数据布局

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

图像特征

• observation.images.google_robot: 增强的google_robot机器人图像 (360×640×3)
• observation.images.image: 原始数据集中的源机器人图像 (360×640×3)
• observation.images.jaco: 增强的jaco机器人图像 (360×640×3)
• observation.images.kinova3: 增强的kinova3机器人图像 (360×640×3)
• observation.images.kuka_iiwa: 增强的kuka_iiwa机器人图像 (360×640×3)
• observation.images.panda: 增强的panda机器人图像 (360×640×3)
• observation.images.sawyer: 增强的sawyer机器人图像 (360×640×3)
• observation.images.ur5e: 增强的ur5e机器人图像 (360×640×3)

索引特征

• episode_index: 当前片段在数据集中的索引
• frame_index: 当前帧在片段中的索引
• index: 整个数据集中的全局帧索引
• task_index: 高层级任务的整数ID

语言指令

• natural_language_instruction: 描述任务的自然语言指令 (512维)

机器人状态特征

• observation.ee_pose: 源机器人的末端执行器位置 (7维)
• observation.joints: 源机器人的关节角度 (8维)
• observation.state: 源机器人RLDS数据集中状态字段的副本 (2维)

各机器人特定特征

每个机器人平台包含以下特征：

• base_orientation: 绕Z轴逆时针旋转角度
• base_position: 基础平移位置 (3维)
• ee_error: 增强机器人与原始机器人之间的末端执行器差异 (7维)
• ee_pose: 机器人的末端执行器位置 (7维)
• joints: 机器人关节位置

时间特征

• timestamp: 当前帧在片段中的时间戳 (秒)

相关资源

• 网站: https://oxe-auge.github.io/
• 项目仓库: https://github.com/GuanhuaJi/oxe-auge
• 论文: https://arxiv.org/abs/2210.06407

引用政策

使用OXE-AugE数据集时，请同时引用本数据集和上游数据集。

上游数据集引用

bibtex @article{lynch2022interactive, title = {Interactive Language: Talking to Robots in Real Time}, author = {Corey Lynch and Ayzaan Wahid and Jonathan Tompson and Tianli Ding and James Betker and Robert Baruch and Travis Armstrong and Pete Florence}, journal = {arXiv preprint arXiv:2210.06407}, year = {2022}, url = {https://arxiv.org/abs/2210.06407} }

OXE-AugE数据集引用

bibtex @misc{ ji2025oxeaug, title = {OXE-AugE: A Large-Scale Robot Augmentation of OXE for Scaling Cross-Embodiment Policy Learning}, author = {Ji, Guanhua and Polavaram, Harsha and Chen, Lawrence Yunliang and Bajamahal, Sandeep and Ma, Zehan and Adebola, Simeon and Xu, Chenfeng and Goldberg, Ken}, year = {2025}, note = {Manuscript} }

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据增强技术对于提升模型泛化能力至关重要。language_table_train_108000_109000_augmented数据集基于OXE-AugE框架构建，通过对原始交互语言数据集进行多机器人形态的仿真增强。该数据集采用v3.0代码库，将原始机器人轨迹通过运动学映射转换至八种不同构型机器人，包括谷歌机器人、Jaco、Kinova3等平台。构建过程中通过基准位姿调整和末端执行器误差计算，确保增强轨迹的物理可行性，最终形成包含1000个 episodes、15757帧的标准化训练集。

特点

该数据集最显著的特点是实现了跨机器人平台的多模态数据统一。所有增强数据均保持360×640×3分辨率的视觉观测，并配备512维自然语言指令。每种机器人构型均提供完整的运动学状态信息，包括关节角度、末端位姿和基准变换参数。数据集通过严格的时空对齐，在10Hz采样频率下保持原始轨迹与增强数据的时间同步性。这种结构化设计使得不同机器人平台的数据具有直接可比性，为跨 embodiment 策略学习提供了理想实验环境。

使用方法

研究者可通过HuggingFace平台直接加载该数据集的parquet格式文件进行模型训练。数据按chunk-file两级结构组织，支持流式读取以处理大规模数据。典型应用场景包括视觉语言动作模型的跨机器人迁移学习，利用自然语言指令与多机器人观测数据的对应关系进行策略训练。使用时需注意引用原始数据集和OXE-AugE增强数据集，遵循CC-BY-4.0许可协议。该数据集特别适合研究机器人泛化能力和跨平台策略迁移等前沿课题。

背景与挑战

背景概述

在机器人学习领域，跨本体策略泛化已成为推动智能体适应多样化物理环境的核心研究方向。language_table_train_108000_109000_augmented数据集作为OXE-AugE项目的重要组成部分，由Guanhua Ji等研究者于2025年基于Open X-Embodiment（OXE）框架构建。该数据集通过整合Google Robot、Jaco、Kinova3等八种异构机器人平台的多模态数据，致力于解决自然语言指令到机器人动作的跨本体映射问题，为大规模策略学习提供了标准化基准。其创新性地采用数据增强技术生成统一视角下的机器人轨迹，显著提升了跨平台策略迁移的可行性，对推动机器人通用智能发展具有深远影响。

当前挑战

跨本体机器人学习面临的核心挑战在于异构机器人间的动力学差异与感知不匹配问题。该数据集需克服不同机械臂运动学模型导致的轨迹不可行性，通过基座标系变换与末端执行器误差补偿确保增强数据的物理合理性。构建过程中，多源数据的时间对齐与空间标准化要求极高精度，而保持自然语言指令与增强后机器人动作的语义一致性则需复杂的坐标变换算法。此外，大规模多机器人视频数据的存储优化与实时渲染技术亦是实现数据高效分发的关键瓶颈。

常用场景

经典使用场景

在机器人学习领域，该数据集通过多机器人视觉与语言指令的融合，为跨平台策略学习提供了标准化实验环境。其核心价值在于整合了八种主流机械臂的增强图像数据与自然语言指令，使研究者能够在统一框架下评估不同机器人的任务执行能力。典型应用场景包括训练端到端的视觉语言动作模型，验证模型在多样化机器人平台上的泛化性能。

衍生相关工作

基于该数据集衍生的经典研究包括跨模态表示学习框架的构建，如将视觉观察与语言指令编码为统一动作空间。多项工作探索了基于注意力机制的机器人策略网络，有效处理多源传感器数据。在模仿学习领域，研究者利用该数据集开发了分层强化学习算法，实现了从语言指令到多机器人协同控制的端到端学习 pipeline。

数据集最近研究

最新研究方向

在机器人学习领域，跨本体策略泛化已成为当前研究的热点方向。language_table_train_108000_109000_augmented数据集通过多机器人轨迹增强技术，为语言引导的机器人操作任务提供了大规模跨平台仿真数据。该数据集整合了八种主流机器人平台的视觉观测与运动轨迹，其核心价值在于通过标准化末端执行器误差映射，实现了不同机械结构间的动作语义对齐。这一特性显著推动了视觉语言动作模型的发展，使单一策略在异构机器人间的零样本迁移成为可能。随着具身智能研究的深入，该数据集正被广泛应用于多模态Transformer架构的预训练，为构建通用机器人操作系统奠定了数据基石。