遇见数据集

awesome-egocentric-atlas

收藏
Hugging Face2026-06-21 更新2026-06-22 收录
官方服务:

资源简介:

Awesome Egocentric Atlas 是一个精心整理的自我中心(第一人称)人工智能资源目录数据集。其核心目标是绘制自我中心AI领域的全景图,系统性地收录和编目该领域的数据集、基准测试、模型和工具,涵盖自我中心视觉、具身AI与机器人学、视觉-语言-动作、世界模型、长上下文记忆、增强/虚拟现实以及手-物交互等多个子领域。数据集作为资源地图,帮助研究者快速了解领域现状、识别可用资源并规划实验。数据内容为结构化CSV编目,每行代表一个资源条目,包含15个属性字段(如名称、类型、发布日期、许可证等)。总计收录524个自我中心资源,包括132个数据集、95个基准测试、271个模型和25个工具包。资源按六个核心研究领域组织:基础视频、过程与动作、手-物与3D、记忆与推理、机器人与VLA、以及AR/可穿戴传感。每个资源标记有访问状态(开放、需申请等)。适用于新研究者入门、构建基准测试、开发智能助手或机器人策略、以及研究具体任务如手-物交互。

Awesome Egocentric Atlas is a meticulously curated directory dataset of egocentric (first-person) artificial intelligence resources. Its core objective is to map the panorama of the egocentric AI field, systematically collecting and cataloging datasets, benchmarks, models, and tools in this domain, covering subfields such as egocentric vision, embodied AI and robotics, vision-language-action, world models, long-context memory, augmented/virtual reality, and hand-object interaction. The dataset serves as a resource map to help researchers quickly understand the current state of the field, identify available resources, and plan experiments. The data content is a structured CSV catalog, with each row representing a resource entry containing 15 attribute fields (e.g., name, type, release date, license). It includes a total of 524 egocentric resources, comprising 132 datasets, 95 benchmarks, 271 models, and 25 toolkits. Resources are organized into six core research areas: basic video, process and action, hand-object and 3D, memory and reasoning, robotics and VLA, and AR/wearable sensing. Each resource is tagged with an access status (e.g., open, application required). It is suitable for scenarios such as onboarding new researchers, building benchmarks, developing intelligent assistants or robot policies, and researching specific tasks like hand-object interaction.

创建时间:
2026-06-16
原始信息汇总

数据集详情:Awesome Egocentric Atlas

  • 数据集名称: Awesome Egocentric Atlas
  • Hugging Face 地址: https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas
  • 许可证: MIT
  • 语言: 英语
  • 数据集大小: n<1K(小于1000个资源条目)
  • 数据集类型: 资源目录(catalog),包含数据集、基准测试、模型、工具包和资源集合

核心描述

该数据集是一个精心整理的第一人称(自我中心)AI领域资源地图,涵盖了自我中心视觉、具身AI与机器人学、视觉-语言-动作、世界模型、长上下文记忆、AR/VR以及手-物交互等方向。每个条目均提供公共访问状态,方便用户快速识别可获取的资源。

关键指标

  • 资源总数: 576个自我中心AI资源
  • 资源类型分布:
    • 139个数据集
    • 99个基准测试
    • 311个模型
    • 25个工具包
    • 1个Project Aria集合枢纽
    • 9个相关但非自我中心的资源
  • 6个研究领域: 基础视频、程序/动作、手部与3D、记忆/推理、机器人/VLA、AR/可穿戴感知
  • 5种访问状态: open(开放)、request(申请)、benchmark(基准)、partial(部分)、watch(观察)

数据内容与结构

数据集以CSV格式提供,每行代表一个编目资源,包含以下字段:

字段 描述
name 资源名称
kind 资源类型 (dataset, benchmark, model, toolkit, collection)
released 发布日期 (YYYYYYYY-MM)
venue 发表场所 (会议/期刊 或 arXiv/项目页面)
status 访问状态 (open, watch, partial, benchmark, request)
scope 范围 (egocentric 第一人称 或 adjacent 相关)
year 发布年份
url 主要链接
paper 论文链接
code 代码链接
license 许可证
scale 规模/信号/贡献描述
tasks 任务族(以分号分隔)
modalities 模态(以分号分隔)

使用方式

通过Hugging Face Datasets库加载:

from datasets import load_dataset

ds = load_dataset("cy0307/awesome-egocentric-atlas", split="train") print(len(ds), "resources") print(ds[0])

papers = load_dataset( "csv", data_files="https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas/resolve/main/awesome-egocentric-papers.csv", split="train", ) print(len(papers), "paper-linked resources")

附加文件

  • awesome-egocentric-papers.csv 仅包含有论文链接的资源。
  • site-data.json 包含更丰富的嵌套JSON版本,带有维度划分和汇总统计。

相关资源与链接

  • GitHub 仓库: https://github.com/ChaoYue0307/awesome-egocentric-atlas
  • 交互式网站: https://chaoyue0307.github.io/awesome-egocentric-atlas/
  • Hugging Face 镜像: https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas

主要特点与功能

  • 机器检查的目录: 数据源为 data/resources.yml,持续集成保证公开制品同步。
  • 读者优先的表格: 条目简洁,便于浏览,并链接至官方页面、论文、代码或数据集门户。
  • 快速任务映射: 提供针对不同研究目标的强起点推荐(如通用自我中心基础数据、机器人操作/VLA、长上下文QA和记忆、手物交互和3D HOI等)。
  • 研究配方: 提供任务导向的起点、基准、最小可行实验、常见陷阱和报告清单(长上下文自我中心视频QA、机器人/VLA、手物3D HOI、AR眼镜感知、音频和社交自我中心理解)。
  • 更新日期: 2026-06-22
搜集汇总
数据集介绍
awesome-egocentric-atlas 数据集图片
构建方式
Awesome Egocentric Atlas 是一部精心编纂的以自我为中心人工智能领域资源地图,其构建方式遵循了系统化的策展逻辑。该数据集以社区驱动的形式,从公开的学术文献、项目主页及代码仓库中系统性地收集、筛选并整理了涵盖自我中心视觉、具身AI与机器人学、视觉-语言-动作、世界模型、长时记忆、增强/虚拟现实及手-物交互等六大研究航道的资源。所有条目皆经过机器校验的元数据标注,包括资源类型、发布年份、访问状态、任务族与模态等结构化信息,并同步镜像至交互式网站与Hugging Face平台,确保了资源的可发现性与可复用性。
使用方法
使用该数据集极为便捷,研究者可通过Hugging Face的 datasets 库直接加载核心目录文件,例如使用 `load_dataset("cy0307/awesome-egocentric-atlas", split="train")` 即可获取所有资源的结构化索引。对于深度检索,推荐访问其交互式网站,通过任务、状态与发布年份等多维度筛选进行探索。同时,数据集还提供了与资源关联的论文清单 CSV 文件,便于进行文献追踪。研究者亦可直接查阅其 GitHub 仓库中的 YAML 格式源文件 `data/resources.yml`,以获取最完整且可编程操作的资源清单,从而高效定位符合自身研究需求的特定数据集或模型。
背景与挑战
背景概述
Awesome Egocentric Atlas是由ChaoYue团队于2026年创建的首个系统性自我中心AI资源图谱,涵盖576个数据集、基准、模型与工具。该图谱聚焦第一人称视觉、具身智能、机器人学习、视觉-语言-动作、世界模型及AR/VR等交叉领域,致力于为研究者提供结构化的资源导航。通过梳理从CMU-MMAC(2009)到Xperience-10M(2026)的发展脉络,揭示了自我中心视觉源于可穿戴计算(Mann)与生命日志(SenseCam)的演进历程。其影响力体现在对六个研究轨道(基础视频、程序与动作、手部与3D、记忆与推理、机器人/VLA、AR/可穿戴感知)的系统化分类,以及为元评估和跨任务对比提供了标准化入口。
当前挑战
该图谱所应对的领域挑战主要在于:1)自我中心AI研究碎片化严重,资源分散于不同模态、任务与许可协议中,研究者难以快速锁定适合特定问题的数据集与模型;2)资源可获取性不透明,部分数据需申请或存在许可证限制,阻碍了实验复现与公平对比。构建过程中面临的挑战包括:3)需对576条资源进行一致性分类与状态评估(open/request/benchmark/partial/watch),并借助CI验证元数据的准确性;4)覆盖从人类/动物头戴视角到同步ego-exo系统等多样化采集方式,需明确界定自我中心与非自我中心资源的归属边界。
常用场景
经典使用场景
Awesome Egocentric Atlas 作为首个系统性梳理自我中心人工智能(egocentric AI)领域全景的资源图谱,其最经典的使用场景在于为研究者提供一站式的领域导航。该数据集汇编了多达576项自我中心视觉资源,涵盖139个数据集、99个基准测试、311个模型及25个工具包,横跨基础视频理解、手物交互、具身智能、长期记忆推理与增强现实感知等六大研究脉络。研究者可通过该图谱快速定位核心资源,如Ego4D、EPIC-KITCHENS-100等经典基准,并借助其细粒度的访问状态标记——开放、申请、基准、部分与关注——精准筛选可获取的数据资产,从而高效构建实验基线或开展文献调研。
解决学术问题
该数据集系统性地解决了自我中心人工智能领域长期存在的资源碎片化与信息不对称问题。在学术研究中,自我中心视觉方向因数据集分散于不同机构、模态错综复杂(包括视频、音频、深度图、惯性测量单元信号等),且访问权限差异显著,导致研究者常耗费大量时间于资源搜寻与可行性评估。Awesome Egocentric Atlas 通过统一编目架构与结构化元数据,首次为社区提供了跨任务的资源全景视图,显著降低了领域准入壁垒。其意义在于揭示了各研究子领域的发展成熟度分布——如手物3D交互与机器人视觉-语言-动作等高活跃度方向拥有丰富的开放资源,而长期记忆推理等新兴领域仍待填补,为后续研究规划与基金分配提供了数据驱动的决策依据。
实际应用
在实际应用中,Awesome Egocentric Atlas 广泛赋能于智能眼镜、机器人操作与虚拟现实等前沿技术场景。在增强现实领域,该图谱收录了Project Aria系列数据集,为头戴式设备的空间感知、注视追踪与多模态融合提供了标准化的训练与评估素材;于机器人学习中,研究者可从中筛选Xperience-10M、EgoDex等具有手部轨迹与动作标签的资源,用于构建从人类演示到机器人策略的迁移学习管线;在视频理解方向,EgoSchema等长期上下文问答基准则推动着个人助理系统对第一人称生活记录的理解能力提升。图谱内嵌的状态标记机制更是直接指导工程师优先采用开放许可的高质量数据进行原型开发。
数据集最近研究
最新研究方向
当前,自我中心视野AI研究正经历一场深刻的范式变革,其前沿方向已从传统的动作识别与场景理解,转向构建能够支持长期记忆、推理与具身交互的通用基础模型。以Awesome Egocentric Atlas所囊括的Xperience-10M、Ego-Exo4D、EgoDex等里程碑式资源为代表,学界与工业界正大力推进视觉-语言-动作联合建模,探索从海量第一人称视频中学习世界模型与机器人操控策略。同时,以EgoSchema、EgoLife、EgoMemReason为代表的长上下文问答与记忆推理基准,直面AI系统在持续性、流式数据环境下理解复杂叙事与因果关系的核心挑战,这标志着人类行为理解从“片段感知”迈向“连续认知”的关键跃迁。值得关注的是,基于AR眼镜与穿戴式传感的实时环境感知研究(如Project Aria系列)与手-物三维交互的精细化解析(如HOT3D、HOI4D)正在加速弥合虚拟与现实世界的鸿沟,为未来具身智能体在复杂社会场景中的自适应部署奠定了坚实的数据与理论基石。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务