language_table_train_150000_155000_augmented

language_table_train_150000_155000_augmented数据集是OXE-AugE项目的一部分，基于原始OXE数据集进行扩展。该数据集包含了8种不同类型机器人的增强图像和相关信息，包括google_robot、images、jaco、kinova3、kuka_iiwa、panda、sawyer和ur5e。数据集共有5000个剧集，79372帧，以每秒10帧的速率记录。每个剧集包含多种特征，如机器人末端执行器的位置、误差、关节角度等，以及自然语言指令描述任务。

原始信息汇总

language_table_train_150000_155000_augmented 数据集概述

基本信息

• 数据集名称: language_table_train_150000_155000_augmented
• 许可证: CC-BY-4.0
• 代码库版本: v3.0
• 帧率: 10 FPS
• 总片段数: 5,000
• 总帧数: 79,372
• 数据分割: train (0:5000)

机器人类型

支持以下8种机器人平台：

• google_robot
• images
• jaco
• kinova3
• kuka_iiwa
• panda
• sawyer
• ur5e

数据结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

图像特征

所有机器人图像特征均为360×640×3分辨率的视频数据：

• observation.images.google_robot: Google机器人增强图像
• observation.images.image: 原始数据集中的源机器人图像
• observation.images.jaco: Jaco机器人增强图像
• observation.images.kinova3: Kinova3机器人增强图像
• observation.images.kuka_iiwa: Kuka IIWA机器人增强图像
• observation.images.panda: Panda机器人增强图像
• observation.images.sawyer: Sawyer机器人增强图像
• observation.images.ur5e: UR5e机器人增强图像

索引特征

• episode_index: 当前片段在数据集中的索引
• frame_index: 当前帧在片段中的索引
• index: 全局帧索引
• task_index: 高层级任务ID

语言指令

• natural_language_instruction: 描述任务的自然语言指令

机器人状态特征

每个机器人类型包含以下状态信息：

• base_orientation: 绕Z轴逆时针旋转角度
• base_position: 基础平移位置
• ee_error: 增强机器人与原始机器人末端执行器差异
• ee_pose: 末端执行器位置
• joints: 关节位置

其他特征

• observation.ee_pose: 源机器人末端执行器位置
• observation.joints: 源机器人关节角度
• observation.state: 源机器人RLDS数据集状态字段副本
• timestamp: 当前帧在片段中的时间戳

相关资源

• 项目网站: https://oxe-auge.github.io/
• 代码仓库: https://github.com/GuanhuaJi/oxe-auge
• 相关论文: https://arxiv.org/abs/2210.06407

引用要求

使用OXE-AugE数据集时需同时引用本数据集和上游数据集。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建方式直接影响模型的泛化能力。该数据集基于OXE-AugE框架v3.0版本开发，通过跨 embodiment 增强技术对原始语言指令交互数据进行扩展。构建过程涉及对八种主流机器人平台（包括Google Robot、Jaco等）的轨迹数据实施坐标变换与运动学映射，生成79,372帧增强数据。所有数据以10Hz采样率组织为5,000个完整任务片段，并以分块Parquet格式存储，确保原始任务语义与增强轨迹的物理一致性。

使用方法

针对机器人策略迁移学习场景，该数据集支持通过标准Parquet读取接口进行流式加载。研究者可依据episode_index与frame_index构建训练序列，利用observation字段下的多机器人图像与状态数据实现跨平台策略蒸馏。自然语言指令与末端位姿的对应关系可用于训练视觉语言动作模型，而ee_error字段则为运动映射算法提供监督信号。数据分块存储结构支持分布式训练，视频数据可通过预设路径规则与帧索引实现同步调用。

背景与挑战

背景概述

语言交互机器人技术作为人工智能与机器人学交叉领域的前沿方向，其发展依赖于大规模高质量数据集的支持。language_table_train_150000_155000_augmented数据集源自OXE-AugE项目，由Guanhua Ji等研究人员于2025年构建，基于Lynch等人2022年提出的交互语言框架进行扩展。该数据集通过整合八种异构机器人平台（包括Google Robot、Jaco等）的增强轨迹数据，致力于解决跨本体策略学习中的语义指令理解与动作泛化问题，为机器人模仿学习与语言引导控制研究提供了关键数据基础。

当前挑战

跨本体机器人控制需应对不同机械结构运动学约束下的动作映射难题，该数据集通过计算末端执行器位姿误差与关节空间转换，构建异构机器人间的运动轨迹对应关系。数据构建过程中面临多重挑战：原始轨迹需经过基座标系平移旋转、关节维度对齐等复杂变换，确保增强后轨迹在物理可行性约束下保持任务语义一致性；同时需处理多模态数据同步问题，协调视觉观测、语言指令与机器人状态信息的时空对齐，这对数据管线的鲁棒性与计算效率提出严格要求。

常用场景

经典使用场景

在机器人学习领域，language_table_train_150000_155000_augmented数据集通过自然语言指令与多机器人视觉运动数据的结合，为跨 embodiment 策略学习提供了标准化实验平台。其包含八种主流机器人平台的增强轨迹数据，支持从单一演示中泛化到不同机械结构的控制策略。该数据集常被用于训练端到端的视觉语言动作模型，使机器人能够理解人类指令并执行复杂操作任务。

解决学术问题

该数据集有效解决了机器人学习中的跨 embodiment 迁移难题，通过数据增强技术将原始演示轨迹适配到多种机器人平台。其提供的末端执行器误差标注和关节状态信息，为研究不同机械结构的运动学映射关系提供了量化依据。这种大规模多机器人数据集显著降低了策略迁移的研究门槛，推动了具身智能领域的标准化进程。

实际应用

在工业自动化和服务机器人领域，该数据集支撑了智能抓取、物品摆放等日常操作任务的算法开发。基于自然语言交互的特性使其特别适合开发家庭助理机器人系统，能够通过语音指令完成物品递送、环境整理等任务。医疗康复机器人也可借助该数据集训练辅助操作技能，提升人机协作的安全性与自然度。

数据集最近研究

最新研究方向

在机器人学习领域，跨本体策略泛化正成为关键挑战。该数据集通过增强八种异构机器人平台的运动轨迹数据，为视觉语言动作模型提供了丰富的跨本体监督信号。当前研究聚焦于利用此类多机器人轨迹数据，探索大语言模型在机器人指令理解与动作生成中的迁移能力。随着具身智能研究升温，该数据集支持的跨机器人技能迁移工作正推动机器人通用能力的发展，为构建适应不同硬件平台的统一策略奠定数据基础。