ego-extra-imu-benchmark

Ego-EXTRA是一个面向自我中心（第一人称）视频的视觉问答（VQA）基准数据集，特别支持结合IMU（惯性测量单元）数据的流式视频问答（streaming VQA）任务。该数据集以清单形式提供，包含基准注释和逻辑本地资产提示，但不包含原始媒体文件。基础数据集为Ego-EXTRA Aria，共有14,644个样本，其中12,702个样本同时包含本地RGB视频和IMU数据。所有样本的答案键均为公开状态。数据集包含一个示例视频用于快速视觉检查。每个样本包含统一的字段，包括：基准名称、基础数据集、问题ID、类别、问题文本、选项列表、答案索引、答案文本、源ID、查询时间、证据时间、剪辑起始/结束时间、流数量、视频资产提示、IMU资产提示、本地视频可用性、本地IMU可用性、是否可用于IMU基准、覆盖状态、答案键状态、元数据JSON以及流信息（streams）。其中streams字段以嵌套结构存储源ID、模态、传感器角色、时间边界、资产提示、本地可用性和连接类型。用户可通过HuggingFace Datasets库加载数据集，并根据usable_for_imu_benchmark字段筛选出可用于IMU基准的样本。完整原始媒体文件需根据上游协议从原始来源下载。Ego-EXTRA is a visual question answering (VQA) benchmark dataset for egocentric (first-person) videos, specifically supporting streaming VQA tasks combined with IMU (Inertial Measurement Unit) data. The dataset comprises 14,644 samples, of which 12,702 include both local RGB video and IMU data.

原始信息汇总

数据集概述

基本信息

• 数据集名称：Ego-EXTRA
• 数据集类型：视觉问答（Visual Question Answering）
• 标签：自我中心视频（Egocentric Video）、惯性测量单元（IMU）、流式视频问答（Streaming VQA）、基准清单（Benchmark Manifest）
• 基础数据集：Ego-EXTRA Aria

规模与状态

• 总行数：14,644
• 含本地RGB+IMU数据的行数：12,702
• 答案密钥状态：全部公开（public=14644）
• 仓库已更新：采用通用Schema结构

数据内容与Schema

所有行使用统一的列结构，包含以下主要字段：

• 基础字段：benchmark、base_dataset、question_id、category、question、choices、answer_index、answer_text、source_ids
• 时间信息：query_time、evidence_time、clip_start_s、clip_end_s
• 数据流字段：stream_count、streams（包含源ID、模态、传感器角色、时间边界、资产提示、本地可用性及连接类型）
• 资产与可用性：video_asset_hint、imu_asset_hint、local_video_available、local_imu_available、usable_for_imu_benchmark
• 状态与元数据：coverage_status、answer_key_status、metadata_json

数据加载方式

python from datasets import load_dataset

dataset = load_dataset("kfkas/ego-extra-imu-benchmark", split="benchmark") usable = dataset.filter(lambda row: row["usable_for_imu_benchmark"])

重要说明

• 本数据集不包含完整的原始媒体文件（如MP4、VRS、ZIP、CSV或NPZ文件），仅提供一个短示例视频片段用于快速视觉检查。
• 完整的源媒体需根据上游条款另行下载，并使用sensor_vqa/raw/下的相对路径提示进行关联。

数据来源

• 上游项目主页：https://fpv-iplab.github.io/Ego-EXTRA/

搜集汇总

数据集介绍

构建方式

Ego-EXTRA基准数据集，源自Ego-EXTRA Aria基础数据集，精心构建了14,644条基准注释，其中12,702条包含本地RGB与IMU数据。其构建方式独特，采用统一的逻辑架构，每条记录均遵循相同的列结构，涵盖基准标识、问题类型、时间戳、剪辑区间、流计数及本地资源可用性等关键字段。尤其强调流数据的规范化描述，通过嵌套形式明确源ID、模态、传感器角色、时间界限及资源链接，并将数据集特定信息编码至metadata_json中，以保持架构的稳定与通用性。此构建策略旨在支撑流式视频问答与IMU基准测试，确保数据的一致性和可扩展性。

特点

该数据集的核心特征在于其多模态流式基准的完整性与实用性。数据集不仅提供视觉问答（VQA）注释，还融合了IMU数据，支持流式视频与传感器联合分析。所有行均包含答案键（公开状态），并附带逻辑资源提示，便于用户定位本地媒体。特别地，数据集标注了本地视频与IMU的可用性，以及用于IMU基准的可用性标志，这极大增强了其在多模态研究中的适用性。同时，数据集提供了示例视频片段，供快速视觉验证，但完整原始媒体需遵循上游条款获取，这种设计在保护版权的同时，确保了基准的可复现性。

使用方法

使用该数据集简便直接。研究者可通过HuggingFace的datasets库轻松加载，如调用load_dataset函数获取基准拆分的全部数据，并可利用filter方法基于usable_for_imu_benchmark字段筛选出适用于IMU基准的行。数据集中不包含完整的原始多媒体文件，仅提供示例剪辑；用户需根据每条记录中的video_asset_hint和imu_asset_hint相对路径，从上游来源自行下载原始数据以满足实验需求。这种设计鼓励用户遵循原始数据许可，同时保证了基准数据的轻量级分发与高效加载。数据集的schema清晰，便于直接接入现有的数据处理流程，支持流式VQA和IMU感知的模型评估。

背景与挑战

背景概述

Ego-EXTRA基准数据集由FPV-IPLab团队于近年发布，聚焦于第一人称视角视频与惯性测量单元（IMU）数据的联合视觉问答任务。该数据集基于Project Aria设备采集，包含14,644个问答样本，其中12,702个样本具备本地RGB与IMU信号，为流式视频问答（Streaming VQA）提供了大规模多模态基准。其核心研究问题在于如何有效融合视觉与运动传感器信息，以支持在连续、非剪辑的自我中心视频中实现实时问答。该基准的提出填补了现有VQA数据集缺乏传感器协同标注的空白，推动了具身智能与可穿戴计算领域的发展，对多模态学习、时空推理及实时系统评估具有重要影响。

当前挑战

Ego-EXTRA所面临的挑战涵盖领域问题与构建过程两大层面。在领域问题层面，它需解决流式视频问答中长时程上下文建模、视觉与IMU信号异构对齐、以及实时推理效率等核心难题；同时，第一人称视角带来的剧烈运动、遮挡和光照变化进一步加剧了信息提取与回答生成的难度。在构建过程层面，数据采集需严格同步不同传感器时间戳，确保多模态数据的一致性；标注工作需应对细粒度时间边界的精确划定，并保证问答对与证据片段的高度关联，这些均对人力与质量控制提出了极高要求。

常用场景

经典使用场景

Ego-EXTRA数据集作为首个集成视觉与惯性测量单元（IMU）的流式视频问答基准，其经典使用场景聚焦于多模态感知与推理的联合评估。研究者通常利用其提供的丰富时空对齐的RGB帧与IMU信号流，构建能够实时解析第一人称视频中动态事件的模型，如动作识别、物体交互预测及空间定位。该基准的流式设计尤其适合验证模型在连续、非平稳数据上的在线学习与适应的能力，推动从离线批处理向实时交互式AI系统的转变。

实际应用

在实际行动领域，该数据集的技术可直接服务于增强现实（AR）辅助系统与智慧医疗。例如，基于Ego-EXTRA训练的模型能实时解读外科医生的手部动作与视野，提供即时的操作提示；在工业装配线上，工人佩戴可穿戴设备后，模型可结合IMU判断姿态动作是否规范，预防错误操作。此外，流式VQA能力支撑了盲人导航设备中，通过自然语言回答前方障碍物的背景与路径建议，真正将感知知识转化为辅助决策的行动力。

衍生相关工作

围绕Ego-EXTRA衍生了一批具有代表性的后续工作，如基于自我监督对比学习的视觉-IMU特征对齐模型，其通过掩码重建在共享嵌入空间中捕捉跨模态关联，显著提升了在下游动作识别任务上的迁移能力。另有工作融合图神经网络与时序卷积，以建模IMU信号与视觉区域之间的局部依赖，用于精准定位触发事件的关键帧。此外，轻量化架构为边缘设备设计，利用知识蒸馏在保持准确率的前提下压缩模型，使实时部署成为可能。这些成果不仅回馈了第一人称视觉领域，也启示了其他多传感器融合基准的构建范式。