EOC-Bench

该数据集包含了视频信息及其相关问题与选项，用于测试。每个样本包括视频路径、问题、四个选项（a、b、c、d）、正确答案、选项类型、视频源、视频类型、视频帧数、视频时长、帧率等信息。

搜集汇总

数据集介绍

构建方式

在构建EOC-Bench数据集时，研究团队采用了一种混合格式的人类参与式标注框架，确保数据标注的精确性和全面性。该框架整合了四种不同类型的问题设计，覆盖了从过去到未来的时间维度，并通过多尺度时间精度指标来评估开放式时间推理能力。每个视频样本均经过严格筛选与标注，包含了3277个精心设计的问答对，这些问答对基于真实的第一人称视角视频数据，旨在模拟动态环境中的物体认知过程。

使用方法

使用EOC-Bench数据集时，研究人员可通过加载测试分割中的视频路径、问题、选项及标注答案，进行多模态推理任务的评估。数据集支持视频到文本的转换任务，用户需结合视频内容解析问题，并根据提供的选择项或开放答案格式生成响应。评估过程建议采用官方提供的多尺度时间精度指标，以确保结果的可比性和科学性，同时数据集的结构化特征便于集成到现有机器学习流程中，促进模型在物体识别、记忆和预测方面的性能分析。

背景与挑战

背景概述

在具身人工智能领域，理解动态自我中心视角下的物体感知能力是推动智能体与环境交互的核心问题。EOC-Bench由阿里巴巴达摩院于2025年提出，聚焦于评估多模态大语言模型在自我中心视频中对物体的识别、记忆与预测能力。该数据集通过3,277个精细标注的问答对，构建了覆盖过去、现在与未来三个时间维度的评估框架，涉及11类细粒度认知维度与3种视觉物体指代类型，为具身认知研究提供了系统化的测评基准。

当前挑战

自我中心视频理解需应对动态视角变化与物体遮挡等复杂场景，传统方法在时序推理与长期依赖建模方面存在显著局限。构建过程中，研究团队通过混合格式的人机协同标注框架处理了多尺度时间标注的复杂性，同时设计了开放式时序评估指标以解决答案多样性带来的量化难题。视频数据中物体轨迹的连续标注与时空一致性验证进一步增加了数据构建的技术挑战。

常用场景

经典使用场景

在具身人工智能领域，EOC-Bench数据集作为评估多模态大语言模型在动态自我中心视角下对象感知能力的基准工具，其经典应用聚焦于模型对时间维度的理解与推理。该数据集通过精心设计的3,277组问答对，涵盖过去、现在与未来三个时间范畴，要求模型在连续视频帧中识别物体轨迹、解析空间关系并预测行为演变。这种结构化评估范式为研究者提供了系统分析模型时空认知能力的实验框架，尤其在需要理解物体存在性、运动规律及交互逻辑的复杂场景中展现出独特价值。

解决学术问题

该数据集有效解决了具身认知研究中对象持续性追踪的量化难题，通过多尺度时间精度指标与混合格式标注框架，为评估模型在动态环境中的认知连贯性提供了标准方案。其创新性体现在将时间维度解构为11个细粒度评估维度，突破了传统视觉问答数据集对静态场景的依赖，使研究者能够精确度量模型在时序推理、对象记忆与未来预测等方面的能力边界。这种设计显著推进了具身智能系统在真实世界场景中理解物体生命周期的基础理论研究。

实际应用

在现实应用层面，EOC-Bench支撑的模型评估体系可直接迁移至智能机器人、增强现实交互等需要实时环境感知的领域。通过验证模型在自我中心视角下的物体识别与轨迹预测能力，该数据集为开发具备情境意识的辅助系统提供了技术验证基础。例如在服务机器人场景中，基于该基准优化的模型能更准确地理解用户操作意图所需的物体定位与状态判断，而在自动驾驶领域则有助于提升系统对动态障碍物的行为预判能力。

数据集最近研究

最新研究方向

在具身智能领域，EOC-Bench作为首个专注于动态第一人称视角下物体中心化认知评估的基准，正推动多模态大语言模型在时空推理能力的前沿探索。该数据集通过精心设计的过去、现在与未来三阶段时间分类框架，结合11类细粒度评估维度，显著提升了模型对物体识别、记忆与预测任务的综合表现。当前研究热点集中于开发混合格式人机协同标注机制与多尺度时序精度指标，为解决开放域视频问答中的长序列依赖与物体轨迹建模等核心挑战提供了创新方法论，对自动驾驶、机器人交互等实时决策系统的演进具有重要指导意义。