projectaria/aria-everyday-objects

Aria日常物品数据集是一个用于第一人称视角的3D物体检测的小型且具有挑战性的数据集。它由25个序列组成，总时长约45分钟，这些序列是在美国各地由非计算机视觉专家拍摄的。数据集中的每个序列都使用3D标注，包括相机校准、SLAM轨迹和SLAM半稠密点云辅助标注。共有1037个3D物体边界框实例，分为17个类别，包括床、椅子、沙发、门、地板、灯、镜子、植物、冰箱、屏幕、水槽、储物柜、桌子、墙壁、壁画、洗衣机/干衣机和窗户。该数据集旨在加速第一人称3D感知的研究。

Aria Everyday Objects (AEO) is a small, challenging 3D object detection dataset for egocentric data. It consists of approximately 45 minutes of egocentric data across 25 sequences captured by non-computer vision experts in a diverse set of locations throughout the US. Oriented 3D bounding boxes have been annotated for each sequence using camera calibration, SLAM trajectory, and SLAM semi-dense point cloud for assistance. There are 1037 instances of 3D object bounding boxes across 17 classes: Bed, Chair, Couch, Door, Floor, Lamp, Mirror, Plant, Refrigerator, Screen, Sink, Storage, Table, Wall, WallArt, WasherDryer, and Window. The dataset is designed to accelerate research in egocentric 3D perception.

搜集汇总

数据集介绍

构建方式

在自我中心视觉领域，三维物体检测数据集往往面临真实场景多样性不足与标注成本高昂的双重挑战。Aria Everyday Objects（AEO）数据集应运而生，其构建过程独具匠心：由非计算机视觉专家在美国各地多样化的室内环境中采集了25段自我中心视频序列，总时长约45分钟。标注环节采用三维空间中的定向边界框，借助相机标定参数、同步定位与建图（SLAM）轨迹及其半稠密点云辅助完成，最终产出涵盖17个物体类别（包括床、椅子、沙发、门、地板、灯具、镜子、植物、冰箱、屏幕、水槽、储物柜、桌子、墙壁、墙饰、洗衣机烘干机及窗户）的1037个三维物体边界框实例。

特点

该数据集的核心特色在于其兼具挑战性与实用性。首先，数据采集由非专业用户完成，确保了场景布局、光照条件和拍摄角度的自然多变性，更贴近真实自我中心视觉应用场景。其次，所有标注均在三维空间内完成，且定向边界框提供了比二维框更丰富的几何信息，对算法在复杂遮挡和视角变化下的鲁棒性提出了更高要求。此外，数据集规模虽小却精炼，每个类别实例分布均衡，旨在作为自我中心三维感知研究的基准测试集，特别适用于评估模型在未见环境中的泛化能力。

使用方法

使用AEO数据集时，研究者可基于官方提供的项目页面、数据探索器及GitHub代码仓库快速上手。数据集以标准格式提供相机校准数据和SLAM轨迹，便于直接接入主流三维检测框架。推荐采用EFM3D论文中描述的评估协议，将25个序列划分为训练集和测试集，利用定向边界框的平均精度（mAP）作为核心评价指标。对于希望提升模型在自我中心场景下三维感知能力的团队，该数据集可作为微调预训练模型或验证新型网络架构的关键测试平台，其代码仓库中的示例脚本可帮助快速复现基线结果。

背景与挑战

背景概述

在计算机视觉领域，面向第一人称视角的3D感知研究正逐渐成为热点，但受限于缺乏高质量的自我中心数据集，相关进展缓慢。Aria Everyday Objects（AEO）数据集由Meta旗下的Project Aria团队于2024年创建，主要研究人员包括Julian Straub、Daniel DeTone等，旨在为自我中心3D物体检测提供一个小型但极具挑战性的基准。该数据集包含约45分钟、涵盖25个序列的自我中心数据，由非计算机视觉专家在美国各地多样化场景中采集，并手工标注了17类物体的1037个3D定向边界框。AEO的发布填补了自我中心3D感知领域的数据空白，推动了基础模型在真实世界理解中的评估与发展。

当前挑战

AEO数据集面临的核心挑战在于其自我中心视角下的3D物体检测问题，由于第一人称数据具有强烈的运动模糊、视角突变和遮挡特性，传统方法难以准确识别并定位物体。此外，数据集构建过程中也遭遇诸多困难：非专家采集者导致数据质量参差不齐，需依赖SLAM轨迹和半稠密点云辅助标注；17类物体覆盖家具、电器等日常物品，但类别分布不均且实例数量有限，增加了模型泛化与鲁棒性评估的难度。这些挑战共同构成了推动自我中心3D感知技术突破的关键瓶颈。

常用场景

经典使用场景

Aria Everyday Objects（AEO）数据集专为第一人称视角下的三维物体检测任务而设计，其经典使用场景在于评估和推动基于自我中心视觉的3D感知算法发展。该数据集包含25段由非计算机视觉专家采集的日常环境序列，覆盖美国多地多样化场景，提供了17类常见物体（如床、椅子、沙发、门、冰箱等）的1037个带朝向的三维边界框标注。研究者可借助AEO训练和测试模型在真实、非结构化自我中心数据上的检测精度与鲁棒性，尤其适合探索稀疏视角、动态遮挡和光照变化等挑战下的3D定位能力。

解决学术问题

该数据集着力解决自我中心视觉领域长期存在的三维标注稀缺与场景多样性不足的学术困境。传统3D检测数据集多依赖固定视角或专业采集设备，难以反映日常佩戴式摄像头（如Project Aria）所捕捉的杂乱、非协作环境。AEO通过提供密集的3D标注、同步的SLAM轨迹与半稠密点云，使研究者能够系统性地研究从第一人称视角进行物体定位、朝向估计与语义理解的联合优化问题，其意义在于填补了自我中心3D感知基准的空白，为后续方法提供了可复现的评测标准。

衍生相关工作

AEO数据集诞生于EFM3D（ECCV 2024）工作的框架中，该研究提出了一个用于衡量自我中心三维基础模型进展的基准，并基于AEO进行了系统的模型评估与消融实验。此外，数据集的公开代码仓库（如efm3d）提供了基于该数据的检测与训练管线，催生了后续关于自我中心3D特征学习、跨场景泛化以及多模态融合（如结合IMU与视觉）的衍生研究。这些工作共同构建了从数据标注到模型评测的完整生态，加速了自我中心3D感知领域的标准化进程。