Ego-ExoClip

Ego-ExoClip数据集是由哈尔滨工业大学（深圳）和彭城实验室等机构共同构建的，包含来自Ego-Exo4D的110万对同步的第一人称和第三人称视频-文本剪辑对。这个数据集是目前该领域最大、行为多样性最丰富的剪辑-文本集合。它旨在通过利用现有的多模态大型语言模型中嵌入的外心知识，来增强对内心视角视频的理解。

Ego-ExoClip Dataset is jointly constructed by Harbin Institute of Technology (Shenzhen), Peng Cheng Laboratory and other institutions. It contains 1.1 million synchronized first-person and third-person video-text clip pairs sourced from Ego-Exo4D. As the largest and most behaviorally diverse clip-text collection in the field to date, this dataset aims to enhance the understanding of egocentric videos by leveraging exocentric knowledge embedded in existing multimodal large language models.

搜集汇总

数据集介绍

构建方式

Ego-ExoClip 数据集的构建基于 Ego-Exo4D，该数据集包含 5,035 个视频组，每个组包含一个第一人称视角的视频和 4-5 个同时拍摄的第三人称视角视频。通过过滤掉没有叙述、缺乏 UID 映射和用于验证或测试的视频，最终得到了 2,925 个视频组，总共 15,478 个视频。为了增加叙述的多样性，保留了来自两位叙述者的文本注释。此外，将 Ego-Exo4D 中的单时间戳注释扩展到了剪辑级别，以便进行更广泛的预训练任务。

特点

Ego-ExoClip 数据集具有以下特点：1) 视角多样性：包含第一人称和第三人称视角的视频；2) 行为多样性：覆盖了人类日常生活的多种场景和任务；3) 注释丰富：包含详细的文本注释，描述了摄像机佩戴者的活动和互动；4) 视频质量：所有视频都经过验证，保证了无损失的质量。

使用方法

Ego-ExoClip 数据集可以用于多模态大语言模型 (MLLM) 的预训练，以提高对第一人称视角视频的理解能力。具体使用方法包括：1) 使用数据集中的剪辑-文本对进行视觉-文本预训练；2) 利用数据集中的同步视角进行跨视角行为不变性的语义映射学习；3) 结合数据集中的叙述和视频内容进行视频问答、动作识别等下游任务的训练和评估。

背景与挑战

背景概述

Ego-ExoClip数据集的研究背景是针对人工智能助手（如机器人或可穿戴设备）在与人协作时所需的具身理解能力。当前的多模态大型语言模型（MLLMs）主要关注第三人称（外中心）视觉，而忽略了第一人称（内中心）视频的独特性。此外，数据获取成本高昂限制了数据集的规模，影响了MLLMs的性能。为了解决这些挑战，研究人员提出了学习外中心与内中心领域之间映射的方法，利用现有MLLMs中丰富的外中心知识来增强内中心视频理解。为此，他们引入了Ego-ExoClip数据集，这是一个包含110万同步的内中心-外中心剪辑-文本对的预训练数据集，来源于Ego-Exo4D。该研究的方法包括三个阶段的渐进式训练流程：教师自我准备、教师-学生指导和学生学习实践。此外，他们还提出了一个来自多个来源的指令调整数据EgoIT，以增强模型的指令遵循能力，以及包含八个不同任务的EgoBench基准，以便进行全面的评估。广泛的实验表明，现有的MLLMs在内中心视频理解方面表现不佳，而该模型在这些领先模型中表现出显著优势。

当前挑战

Ego-ExoClip数据集相关的挑战包括：1) 内中心视频数据获取成本高昂，限制了数据集规模，影响了模型的训练效果；2) 现有的MLLMs主要关注外中心视觉，忽略了内中心视频的独特性，导致在内中心视频理解方面表现不佳；3) 现有的方法从预定义集中检索合适的外中心视频来辅助模型训练，这些方法虽然能够在一定程度上将知识从外中心转移到内中心表示，但需要额外的检索时间，并且容易受到时间对齐问题的影响，导致模型性能不稳定。

常用场景

经典使用场景

Ego-ExoClip数据集主要被用于训练多模态大型语言模型（MLLMs），以增强其对第一人称视角视频（egocentric videos）的理解能力。通过将第三人称视角（exocentric）的知识映射到第一人称视角，该数据集有助于模型学习从观察者角度到自我体验的映射，从而在无需依赖跨领域数据的情况下灵活处理下游任务。Ego-ExoClip数据集包含110万对同步的第一人称和第三人称视频-文本剪辑，是目前该领域规模最大、行为最多样化的剪辑-文本集合。

实际应用

Ego-ExoClip数据集在实际应用中，如视觉辅助、智能眼镜和虚拟现实增强体验等方面具有广泛的应用前景。通过增强模型对第一人称视角视频的理解能力，Ego-ExoClip数据集可以帮助人工智能更好地理解人类经验，从而在视觉辅助、智能交互等领域发挥重要作用。此外，该数据集还可以用于训练机器人在协作任务中更好地理解人类行为，提高人机交互的效率和准确性。

衍生相关工作

Ego-ExoClip数据集的提出，衍生了一系列相关的研究工作。例如，EgoIT数据集的构建，旨在增强MLLMs的指令遵循能力；EgoBench基准的提出，为全面评估现有MLLMs在具身认知能力方面的性能提供了平台。这些相关工作进一步推动了第一人称视角视频理解和具身认知领域的研究进展。