language_table_train_130000_135000_augmented

language_table_train_130000_135000_augmented数据集是OXE-Aug项目的一部分，包含8种不同机器人的增强图像和相关信息。这些机器人包括google_robot、images、jaco、kinova3、kuka_iiwa、panda、sawyer和ur5e。数据集共有5000个剧集，79357帧，以及40000个视频。数据集以10帧每秒的帧率记录。每个剧集的数据被分为5个块，并存储为Parquet文件。该数据集提供了各种特征，包括机器人的关节位置、末端执行器位置、图像等。数据集适用于机器人学的交互式语言和跨机器人政策学习。

原始信息汇总

language_table_train_130000_135000_augmented 数据集概述

基本信息

• 数据集名称: language_table_train_130000_135000_augmented
• 许可证: CC-BY-4.0
• 任务类别: 机器人技术
• 代码库版本: v2.1

数据集规模

• 总片段数: 5,000
• 总帧数: 79,357
• 总视频数: 40,000
• 帧率: 10 FPS
• 数据分块: 5

机器人类型

支持以下8种机器人平台：

• google_robot
• images
• jaco
• kinova3
• kuka_iiwa
• panda
• sawyer
• ur5e

数据组织

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 数据分割: 仅包含训练集，索引范围0:5000

特征字段

图像特征

所有机器人图像特征均为360×640×3分辨率的视频数据：

• observation.images.google_robot: Google机器人增强图像
• observation.images.image: 原始数据集中的源机器人图像
• observation.images.jaco: Jaco机器人增强图像
• observation.images.kinova3: Kinova3机器人增强图像
• observation.images.kuka_iiwa: Kuka IIWA机器人增强图像
• observation.images.panda: Panda机器人增强图像
• observation.images.sawyer: Sawyer机器人增强图像
• observation.images.ur5e: UR5e机器人增强图像

机器人状态特征

每个机器人类型包含以下状态信息：

• base_orientation: Z轴逆时针旋转角度（避免遮挡相机）
• base_position: 基座平移位置
• ee_error: 增强机器人与原始机器人末端执行器差异
• ee_pose: 末端执行器位置
• joints: 关节位置

其他特征

• episode_index: 片段索引
• frame_index: 帧索引
• index: 索引
• natural_language_instruction: 自然语言指令
• observation.ee_pose: 源机器人末端执行器位置
• observation.joints: 源机器人关节角度
• observation.state: 源机器人RLDS数据集状态副本
• task_index: 任务索引
• timestamp: 时间戳

相关资源

• 项目网站: https://oxe-aug.github.io/
• 代码仓库: https://github.com/GuanhuaJi/oxe-aug
• 相关论文: https://arxiv.org/abs/2210.06407

引用要求

使用本数据集时需同时引用OXE-Aug数据集和上游原始数据集。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据增强技术对于提升模型泛化能力至关重要。该数据集基于Open X-Embodiment（OXE）框架构建，采用v2.1版本代码库对原始交互语言数据进行系统性增强。通过坐标变换与运动学映射，将原始机器人轨迹转化为八种不同构型机器人的等效数据，包括Google Robot、Jaco等主流平台。每个增强样本均包含360×640像素的多视角图像序列，并以10Hz频率采样，最终形成包含5000条轨迹、79357帧数据的结构化集合。

特点

该数据集最显著的特点是实现了跨机器人平台的多模态对齐。所有增强数据均保持原始任务的语言指令与运动逻辑一致性，同时提供完整的机器人状态观测，包括末端执行器位姿、关节角度及基座标系变换参数。八种机器人构型的并行数据呈现为算法提供了丰富的比较基准，而统一的360×640图像分辨率与标准化数据格式则确保了跨平台研究的可复现性。

使用方法

研究者可通过加载标准Parquet格式文件访问数据，其中训练集包含全部5000个增强轨迹。每个样本集成了自然语言指令、多机器人视觉观测与状态信息，支持端到端模仿学习与跨构型策略迁移研究。数据按分块存储结构组织，配合官方提供的代码库可便捷实现机器人运动学解算、视觉特征提取等下游任务，为大规模跨平台机器人学习提供标准化基准。

背景与挑战

背景概述

语言交互机器人数据集作为机器人学习领域的重要资源，其发展源于对跨平台策略泛化能力的迫切需求。该数据集基于OXE-Aug项目构建，整合了包括Google机器人、Jaco、Kinova3等八种异构机器人平台的多模态交互数据。通过大规模数据增强技术，该项目旨在解决机器人策略在异构硬件平台间的迁移难题，为具身智能研究提供了关键的数据支撑。数据集构建团队在2025年发布的预印本中系统阐述了跨平台策略学习的理论基础，标志着机器人学习从单一平台向通用化迈进的里程碑。

当前挑战

该数据集面临的领域挑战主要体现在跨平台机器人策略迁移的复杂性，不同机械臂的运动学结构与控制特性导致策略泛化存在显著差异。构建过程中的技术挑战涉及多源机器人数据的时空对齐难题，需要精确计算末端执行器位姿误差并保持轨迹可达性。数据增强过程中还需解决视觉遮挡问题，通过基座标系旋转变换确保机器人本体不遮挡相机视野。此外，异构机器人关节空间维度不一致（如7自由度与8自由度并存）也为统一表征学习带来严峻考验。

常用场景

经典使用场景

在机器人学习领域，该数据集通过多机器人视觉语言指令的协同训练，为跨 embodiment 策略学习提供了标准化实验平台。其核心价值在于整合了八种主流机器人平台的图像轨迹数据与自然语言指令，使研究者能够系统评估模型在不同机械结构下的泛化能力。经典应用场景包括端到端模仿学习框架的构建，模型通过观察多样化机器人的执行视频与对应语言描述，学习将抽象指令映射为具体动作序列。

实际应用

在工业自动化场景中，该数据集支撑了自适应机器人控制系统的开发。基于其多机器人轨迹数据训练的模型，可快速部署至不同构型的机械臂完成装配、分拣等任务。物流仓储领域利用其语言指令接口实现了人机自然交互，操作人员可通过语音指令直接调度异构机器人群体。服务机器人领域则借助其视觉动作关联数据，开发出能理解场景语义的自主操作系统。

衍生相关工作

该数据集催生了系列跨 embodiment 策略学习的创新研究，例如基于对比学习的多机器人动作表征框架，通过解耦机械结构与任务语义提升策略迁移效率。衍生工作还包括融合动力学先验的域适应方法，利用数据集提供的末端执行器误差数据优化轨迹转换精度。部分研究进一步扩展了其语言 grounding 能力，开发出支持复杂推理的层级策略网络，推动机器人操作向认知智能方向发展。