language_table_train_155000_160000_augmented

language_table_train_155000_160000_augmented是一个机器人操作任务的数据集，包含多种机器人的增强图像和原始图像，以及相关的关节角度、末端执行器位置等信息，共5000个剧集，80112帧数据。

原始信息汇总

language_table_train_155000_160000_augmented 数据集概述

基本信息

• 许可证: CC-BY-4.0
• 任务类别: 机器人技术
• 标签: robotics, lerobot, oxe-auge, dataset

技术规格

• 代码库版本: v3.0
• 帧率: 10 FPS
• 总剧集数: 5,000
• 总帧数: 80,112
• 总视频数: 未指定

机器人类型

支持以下8种机器人平台：

• google_robot
• images
• jaco
• kinova3
• kuka_iiwa
• panda
• sawyer
• ur5e

数据划分

• 训练集: 5,000个剧集（索引0-5000）

数据布局

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

主要特征

图像特征

所有机器人图像特征均为360×640×3分辨率的视频数据：

• observation.images.google_robot: Google机器人增强图像
• observation.images.image: 原始数据集中的源机器人图像
• observation.images.jaco: Jaco机器人增强图像
• observation.images.kinova3: Kinova3机器人增强图像
• observation.images.kuka_iiwa: Kuka IIWA机器人增强图像
• observation.images.panda: Panda机器人增强图像
• observation.images.sawyer: Sawyer机器人增强图像
• observation.images.ur5e: UR5e机器人增强图像

索引特征

• episode_index: 当前剧集在数据集中的索引
• frame_index: 当前帧在所属剧集中的索引
• index: 整个数据集中的全局帧索引
• task_index: 高层级任务的整数ID

语言指令

• natural_language_instruction: 描述任务的自然语言指令（int32，512维）

机器人状态特征

每个机器人类型包含以下特征：

• base_orientation: 绕Z轴逆时针旋转角度（避免机器人遮挡相机）
• base_position: 基座平移（确保轨迹可达）
• ee_error: 增强机器人与原始机器人末端执行器差异
• ee_pose: 末端执行器位置
• joints: 关节位置

时间特征

• timestamp: 当前帧在剧集中的时间戳（秒）

相关资源

• 网站: https://oxe-auge.github.io/
• 项目仓库: https://github.com/GuanhuaJi/oxe-auge
• 论文: https://arxiv.org/abs/2210.06407

引用要求

使用OXE-AugE数据集时，需同时引用本数据集和上游原始数据集。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据增强技术对于提升模型的泛化能力至关重要。本数据集基于OXE-AugE框架构建，通过系统化的机器人轨迹迁移方法，将原始交互语言数据扩展至八种不同构型的机器人平台。构建过程中采用参数化坐标变换与运动学约束保持策略，确保增强后的轨迹在物理可行性上与原始数据一致。数据以10Hz采样率组织成5000个完整交互片段，共计80112帧观测数据，所有增强轨迹均通过严格的运动学验证。

特点

该数据集在跨构型机器人学习领域展现出显著特色，其核心在于同时包含八种主流机器人平台的增强观测数据。每种机器人均提供完整的视觉观测流与关节状态信息，图像分辨率统一为360×640像素。数据集特别设计了末端执行器误差量化字段，便于研究不同构型间的运动映射关系。自然语言指令以512维向量形式编码，与多模态机器人状态数据形成时空对齐，为语言引导的跨构型策略学习提供丰富样本。

使用方法

研究者可通过标准Parquet格式访问数据集，数据文件按分块结构组织于data/chunk-*/file-*.parquet路径。典型使用流程包括加载增强后的多机器人观测序列，结合自然语言指令训练跨构型策略模型。建议优先利用末端执行器位姿误差字段进行迁移学习评估，同时注意不同机器人关节空间的维度差异。数据集遵循CC-BY-4.0许可，使用时需同时引用原始OXE工作与OXE-AugE增强框架的相关文献。

背景与挑战

背景概述

在机器人学习领域，跨本体策略泛化长期面临数据稀缺的瓶颈。language_table_train_155000_160000_augmented数据集作为OXE-AugE项目的重要组成部分，由Guanhua Ji等研究者于2025年基于Open X-Embodiment（OXE）框架构建。该数据集通过多机器人轨迹增强技术，将原始语言指令驱动的交互数据扩展至八种异构机器人平台，旨在解决视觉运动策略在跨本体迁移中的泛化难题。其核心价值在于构建了规模达80000余帧的多模态交互序列，为探索语言引导的通用机器人控制提供了关键数据支撑。

当前挑战

该数据集致力于攻克跨本体模仿学习的核心挑战：如何使单一策略适应不同形态的机器人执行相同任务。具体表现为异构机器人的运动学结构差异导致末端轨迹映射困难，需通过基座标系变换与关节空间补偿实现运动等效。在构建过程中，面临多源数据对齐的复杂性，包括不同机器人视角的图像同步、末端执行器位姿误差校准，以及保证增强后轨迹在物理约束下的可达性。此外，维持语言指令与增强后动作序列的语义一致性，亦是数据生成过程中的关键难点。

常用场景

经典使用场景

在机器人学习领域，该数据集通过多机器人视觉运动轨迹的增强数据，为语言引导的机器人操作任务提供了标准化基准。其核心应用在于训练端到端的视觉语言动作模型，使机器人能够理解自然语言指令并执行精确的抓取、放置等操作任务。数据集中包含八种主流机器人平台的同步观测数据，为跨平台策略迁移研究奠定了坚实基础。

解决学术问题

该数据集有效解决了机器人学习中的跨 embodiment 泛化难题，通过统一的动作空间表示和轨迹增强技术，显著提升了策略在异构机器人平台间的迁移能力。其提供的多模态对齐数据缓解了语言指令与机器人动作之间的语义鸿沟，为具身智能研究提供了可扩展的解决方案，推动了机器人开放世界操作能力的发展。

衍生相关工作

该数据集催生了系列重要研究，包括基于跨 embodiment 预训练的策略迁移框架、多机器人协同的元学习算法等创新工作。相关研究通过利用数据集的增强轨迹特征，开发出具有强泛化能力的视觉语言动作模型，这些成果在机器人操作基准测试中展现出卓越的零样本迁移性能，推动了通用机器人学习范式的演进。