awesome-ego-video-datasets

该合集是一个精心策划的资源列表，专注于收集、整理和索引第一人称（自我中心）视频数据集、论文、基准测试和工具，涵盖视频生成与预训练、记忆与总结、动作识别、手-物体交互、程序性活动、3D场景理解等多个研究主题，旨在为研究人员提供快速导航和资源访问。

This curated collection is a specialized resource list focused on collecting, organizing, and indexing first-person (egocentric) video datasets, papers, benchmarks, and tools, covering multiple research topics including video generation and pre-training, memory and summarization, action recognition, hand-object interaction, procedural activities, and 3D scene understanding. It is designed to help researchers quickly navigate and access these resources.

原始信息汇总

🎥 Awesome Egocentric Video Datasets 概述

这是一个精选的第一人称（自我中心）视频数据集、基准测试和工具的策展列表，以任务优先的视角组织数据集，旨在帮助研究人员快速导航。

主要论文与综述

• Building Egocentric Procedural AI Assistant: Methods, Benchmarks, and Challenges (2025) — 关于自我中心程序性活动理解的综述与基准论文。
• Challenges and Trends in Egocentric Vision: A Survey (2025) — 自我中心视觉领域的任务、基准和开放性挑战综述。
• Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision (2025) — 涵盖自我-外部视角协作的跨视角综述。
• HD-EPIC: A Highly-Detailed Egocentric Video Dataset (2025) — 细粒度厨房理解数据集，带有密集多模态标注。
• Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives (2024) — 大规模配对自我-外部视角数据集，涵盖技能活动和多视角理解。
• EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World (2024) — 面向现实环境中异步活动对齐的程序性自我-外部视角数据集。
• EgoSchema: A Diagnostic Benchmark for Very Long-form Video Language Understanding (2023) — 针对长时间记忆和推理的基准测试。
• Ego4D: Around the World in 3,000 Hours of Egocentric Video (2022) — 引入大规模 Ego4D 基准套件的旗舰数据集论文。
• Rescaling Egocentric Vision: Collection, Pipeline and Challenges for EPIC-KITCHENS-100 (2021) — 经典的厨房基准数据集，用于动作识别、检测和预测。
• Charades-Ego: A Large-Scale Dataset of Paired Third and First Person Videos (2018) — 早期的配对自我-外部视角基准数据集。

按研究主题分类的数据集

🎬 视频生成与世界模型预训练

数据集	年份	规模	关键任务
Ropedia Xperience-10M	2026	大规模多流体验	多模态自我学习
EgoVid-5M	2024	500万片段	视频生成、运动+文本
DreamDojo-HV	2026	非常大的一人称视频	世界模型、预训练
Ego-1K	2026	多视角片段	神经3D/4D合成
In-lab	2026	实验室桌面轨迹	技能、世界模型
EgoEdit	2025	10万编辑对	自我中心视频编辑
HumanNet	2026	约100万小时人类中心视频	VLA/具身预训练
MobileEgo Anywhere	2026	200小时智能手机收集长期自我视频	长期自我数据基础设施、VLA

🧠 记忆、摘要与长时理解

数据集	年份	规模	关键任务
SuperMemory-VQA	2026	52.9小时 / 4,853个QA对	长期记忆VQA
EgoMemReason	2026	500道选择题（基于EgoLife）	周级记忆推理
EgoExoMem	2026	2,600道选择题 / 390个视频	跨视角记忆推理
EgoIntrospect	2026	180小时 / 60名被试	内部状态推理、记忆
MA-EgoQA	2026	1,741个QA对 / 6个智能体 / 7天	多智能体自我中心QA
EgoLife	2025	约266-300小时日常生活	长时助手、记忆
EgoSchema	2023	250+小时 / 5,000个QA对	长时视频QA
VidChapters-7M	2023	81.7万个视频 / 700万章节	视频分章（非仅自我）
Multi-Ego	2022	约12小时 / 41个序列	多佩戴者、摘要
DoMSEV	2018	80小时 / 48个序列	语义快进、第一人称视频
HUJI-EgoSeg	2014	29个长自我视频 / 像素级时间分割标注	记忆、摘要与长时理解
UT Ego	2012	约17小时 / 4个长视频	摘要、长时自我
VINST / Visual Diaries	2011	31个日常通勤自我视频	时间分割、视频摘要

💬 VLMs、指令与问答

数据集	年份	规模	关键任务
EgoTL	2026	100+日常家务任务	长时推理、空间QA
MM-Con	-	-	-

主要工具与库

• HOMIE-toolkit：用于处理 Ropedia Xperience-10M 数据集的工具包

相关资源

• 该列表包含从 2011 年到 2026 年的数据集，覆盖近 15 年的自我中心视觉研究进展。
• 所有数据集均提供官方论文链接，部分提供代码、项目网站或 Hugging Face 数据集链接。

搜集汇总

数据集介绍

构建方式

Awesome Egocentric Video Datasets 并非一个单一数据集，而是一个精心编纂的资源索引库。其构建方式遵循以任务为导向的分类逻辑，将散见于各学术文献中的第一人称视频数据集、评测基准及相关工具，按照七大研究主题（如视频生成、长时理解、手物交互等）进行系统性归拢。每个数据集仅在其最核心的研究主题下作为主条目出现一次，并通过交叉链接关联至其他相关领域，从而避免冗余。该索引库持续追踪最新研究进展，收录从早期的 UT Ego 到 2026 年的 Ropedia Xperience-10M 等跨越十余年的代表性工作，并附有论文链接、官方项目地址及数据集访问入口，为研究者提供一站式的导航服务。

使用方法

研究者可通过该索引库高效定位所需资源。首先，根据研究兴趣从七个主题分类（如手物交互、程序性活动）中浏览相关数据集列表。每个条目的“Datasets at a glance”表格提供了规模、任务等关键信息的概览。点击数据集名称可查看详细描述，并通过附带的 arXiv、GitHub 或 Hugging Face 徽标直接访问原始论文、代码仓库或数据集下载页面。对于需要对比评测的场景，可通过“Benchmarks built on these datasets”部分快速找到基于特定数据集构建的官方基准测试，从而便捷地开展实验验证与性能比较。

背景与挑战

背景概述

自第一人称视角视频研究兴起以来，其独特的主观视觉体验为理解人类日常行为与交互提供了前所未有的窗口。awesome-ego-video-datasets项目作为一个精心策划的索引资源，自2022年Ego4D旗舰语料库问世后逐步成型，汇聚了来自Meta、斯坦福大学、卡内基梅隆大学等顶尖机构的研究成果。该项目核心致力于梳理从EPIC-KITCHENS-100到EgoExo4D等里程碑式数据集，系统覆盖动作识别、手物交互、长时视频理解及程序性活动分析等关键任务。通过以任务为导向的分类体系，该项目不仅为研究人员提供了快速定位合适数据集的导航工具，更催生了EgoSchema、EgoLife等后续基准测试，深刻推动了第一人称视觉领域在视频生成、世界模型预训练及具身智能等前沿方向的发展。

当前挑战

该领域面临的挑战首先体现在第一人称视频独有的视角动态性与场景碎片化，导致传统第三视角模型难以直接迁移，亟需解决剧烈运动下的鲁棒识别与时空连贯性建模问题。数据构建过程中，大规模标注面临隐私伦理困境（如EgoLife的居家环境采集）与多模态对齐难题，包括同步多种传感器（RGB、深度、IMU、眼动）并保证标注一致性。此外，长时视频理解要求模型具备持久记忆与因果推理能力，而现有数据集在跨天、跨情境的评估上仍显不足；程序性活动分析则需要细粒度的手物交互标注与跨视角对齐，这对标注成本与算法复杂度构成了双重考验。

常用场景

经典使用场景

在自我中心视觉研究领域，该数据集汇编为研究者提供了一幅全景式的资源图谱，其最经典的使用场景在于支撑跨任务、跨模态的基准测试与模型预训练。无论是面向长时序视频理解的EgoSchema，还是聚焦于手物交互的EPIC-KITCHENS-100，抑或是服务于大规模视频生成的EgoVid-5M，研究者均可基于此索引快速定位适配自身任务的数据集。它尤擅于在动作识别、视频问答、程序性活动理解等核心议题上，为算法性能的横向对比与纵向演进提供标准化的数据基石，从而推动自我中心感知从单一任务向通用智能的范式跃迁。

解决学术问题

该数据集汇编系统性地回应了自我中心视觉研究中长期存在的碎片化与可重复性困境。通过将Ego4D、Ego-Exo4D等大规模语料库与细粒度基准如HD-EPIC有机整合，它有效解决了研究社区在数据获取、任务对齐与评估标准上的分散问题。这一结构化的资源索引使得学者得以聚焦于关键学术挑战，例如第一人称与第三人称视角的跨视角协同理解、长视频中记忆与因果推理的建模，以及多模态指令跟随能力的评估。其深远意义在于，通过降低数据检索与任务适配的门槛，加速了从基础感知到具身智能体构建的科研转化进程。

实际应用

在实际应用层面，该数据集汇编所涵盖的资源正深刻赋能智能穿戴设备与具身机器人系统的研发。例如，EgoLife与EgoIntrospect为构建具备持久记忆能力的日常助理提供了训练素材，使得AI能够理解用户的长程行为与内在状态；而EgoVid-5M与EgoEdit则直接服务于第一人称视频的自动生成与编辑工具，提升了内容创作的效率与个性化水平。此外，MobileEgo Anywhere等数据集通过低成本的智能手机采集方案，为消费级设备上的视觉语言动作模型预训练开辟了通路，预示着在辅助生活、技能传授与增强现实等场景中，自我中心视觉技术将实现更广泛的人机协同。

数据集最近研究

最新研究方向

当前，以第一人称视角为核心的自我中心视频数据集研究正从传统的动作识别迈向多模态、长时序与智能体协同的前沿。最新方向集中体现在三个方面：其一，大规模视频生成与世界模型预训练成为热点，如EgoVid-5M和Ropedia Xperience-10M等数据集为文本与运动条件驱动的第一人称视频生成提供了海量素材，推动了具身智能与虚拟世界建模的突破。其二，长时记忆与复杂推理能力备受关注，EgoLife、EgoSchema及SuperMemory-VQA等基准通过周级连续拍摄与细粒度问答，挑战模型在跨视角、多智能体场景下的因果推理与情境记忆能力，呼应了可穿戴AI助手在真实生活中的应用需求。其三，自我中心与外部视角的融合成为新范式，EgoExo4D与EgoExoLearn等数据集通过同步多视角采集，促进了跨视图协同理解与技能迁移研究，为构建能够无缝理解人类活动的下一代AI系统奠定了重要基石。