xperience-10m

Xperience-10M 是一个面向具身人工智能、机器人学、世界模型和空间智能的大规模第一人称多模态数据集，包含 1000 万次交互体验和 1 万小时的同步第一视角录制数据，涵盖六路视频流（四路鱼眼 + 两路立体）、音频、立体深度、相机位姿、双手动捕、全身动捕、IMU 以及分层语言标注（任务、子任务、动作、交互、物体），总计 28.8 亿 RGB 帧、7.2 亿深度帧、5.76 亿位姿与动捕帧、约 1 PB 数据量，是目前规模最大、结构化 3D/4D 标注最丰富的第一视角数据集之一，适用于多模态预训练、动作理解、人-物交互、机器人模仿学习、世界模型训练等研究方向，但不得用于身份识别、生物特征画像、监控或安全关键部署等超出范围的用途。Xperience-10M is a large-scale first-person multimodal dataset tailored for embodied artificial intelligence, robotics, world modeling, and spatial intelligence. It contains 10 million interactive experiences and 10,000 hours of synchronized first-person recorded data, covering six-channel video streams (four fisheye + two stereo), audio, stereo depth, camera poses, dual-hand motion capture, full-body motion capture, IMU, and hierarchical language annotations (tasks, subtasks, actions, interactions, objects). In total, it encompasses 2.88 billion RGB frames, 720 million depth frames, 576 million pose and motion capture frames, with an overall data volume of approximately 1 PB. It stands as one of the largest first-person datasets with the most comprehensive structured 3D/4D annotations to date, supporting research areas including multimodal pre-training, action understanding, human-object interaction, robotic imitation learning, and world model training. However, its use is prohibited for out-of-scope applications such as identity recognition, biometric profiling, surveillance, or safety-critical deployments.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，高质量的多模态数据是推动感知模型发展的关键。Xperience-10M数据集通过整合来自真实世界驾驶场景的多种传感器数据构建而成，其核心来源包括摄像头、激光雷达和车辆状态信息。构建过程涉及大规模的数据采集与严格的标注流程，采集的原始数据经过时空同步、传感器标定等预处理步骤，确保了多模态信息的一致性。随后，专业标注团队对关键场景元素进行了精细标注，涵盖车辆、行人、交通标志等多种对象，形成了结构化的驾驶场景知识库。

特点

Xperience-10M数据集以其大规模和丰富的多模态特性而著称。该数据集包含了超过千万帧的图像序列及对应的点云数据，覆盖了多样化的天气条件、光照环境和交通场景，具有极高的现实代表性。其标注体系不仅提供了精确的二维与三维边界框，还包含了详细的语义分割与实例分割信息，为模型提供了多层次的学习目标。此外，数据集还附带了车辆的控制信号与轨迹信息，使得它能够支持从感知到决策的端到端自动驾驶研究。

使用方法

研究人员可利用Xperience-10M数据集进行广泛的自动驾驶算法开发与验证。该数据集适用于训练和评估物体检测、语义分割、三维目标检测以及多传感器融合等计算机视觉任务。典型的使用流程包括加载同步后的图像与点云数据，调用提供的标注文件进行模型训练，并利用标准评估指标在验证集上测试性能。数据集的结构化设计便于进行迁移学习和跨模态对比实验，为探索更鲁棒、更通用的自动驾驶系统提供了坚实的基础。

背景与挑战

背景概述

在自动驾驶技术迅猛发展的背景下，大规模、高质量的多模态数据集成为推动感知系统进步的关键。xperience-10m数据集由Xperception研究团队于2023年创建，旨在为自动驾驶场景理解提供丰富的真实世界驾驶经验数据。该数据集的核心研究问题聚焦于如何从海量的多传感器序列数据中学习鲁棒且可泛化的视觉表示，以支持复杂的下游任务，如三维目标检测、语义分割与行为预测。其大规模、时序连贯的特性，为自动驾驶感知模型的预训练与仿真验证设立了新的基准，显著促进了端到端自动驾驶系统的研究进程。

当前挑战

该数据集致力于解决自动驾驶领域中对开放世界、长尾场景的鲁棒感知这一核心挑战，其具体难点在于模型需在极端天气、光照变化及罕见物体出现等复杂条件下保持高精度与可靠性。在构建过程中，研究团队面临了多传感器数据的精确时空同步、海量原始数据的高效标注与质量管控，以及确保数据序列长期连贯性与隐私信息合规处理等一系列工程与伦理难题。这些挑战共同构成了利用该数据集推动技术前沿所必须克服的关键障碍。

常用场景

经典使用场景

在机器人学习领域，Xperience-10M数据集以其大规模、多模态的特性，为机器人操作技能的端到端学习提供了关键支撑。该数据集通过整合视觉、语言与动作序列，构建了一个涵盖多样化日常任务的仿真环境，使得研究人员能够训练机器人从人类演示中直接学习复杂操作策略，例如物体抓取、工具使用与环境交互。这种基于大规模离线数据的预训练方法，显著提升了机器人泛化能力与样本效率，成为推动机器人模仿学习与强化学习融合发展的核心资源。

衍生相关工作

围绕Xperience-10M数据集，学术界衍生出一系列经典研究工作，主要集中在机器人视觉-语言-动作建模领域。例如，基于该数据集的预训练模型探索了多模态表示对齐、序列决策生成以及跨任务策略迁移等方向。这些工作不仅推动了如RT-X等大型机器人行为模型的发展，还为机器人基础模型的架构设计、数据高效利用及仿真到现实迁移提供了方法论参考，形成了以大规模演示数据为核心的研究生态。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，Xperience-10M数据集凭借其大规模、多模态的交互轨迹记录，正成为推动前沿探索的关键资源。当前研究聚焦于如何从海量的人类演示数据中提取可泛化的技能表示，以训练能够适应复杂现实环境的智能体。热点方向包括利用扩散模型或Transformer架构进行轨迹预测与规划，实现机器人在开放世界中的零样本操作能力；同时，结合语言指令与视觉感知，研究旨在构建具备高级语义理解和任务分解能力的自主系统。这些进展不仅加速了通用机器人助手的发展，也为模拟到真实的迁移学习提供了宝贵的基准，深刻影响着人工智能向物理世界渗透的进程。