EgoExo Forge

EgoExo Forge 提供了用于自我中心和他中心人类数据的所有数据和实用工具。包含多个数据集，如Assembly101（一个程序性活动数据集，包含4321个多视角视频，记录人们组装和拆卸101个可拆解玩具车辆的过程，具有丰富的动作顺序、错误和纠正变化）、HoCap（一个用于视频中手和物体3D重建和姿态跟踪的数据集，包含人类与物体交互的各种任务，如拾取放置动作和交接动作）和EgoDex（最大且最多样化的灵巧人类操作数据集，包含829个样本）。

EgoExo Forge provides all the data and practical tools for egocentric and exocentric human data. It includes multiple datasets, such as Assembly101 (a procedural activity dataset containing 4321 multi-view videos documenting the process of assembling and disassembling 101 dismountable toy vehicles, with rich action sequences, error, and correction variations), HoCap (a dataset for 3D reconstruction and pose tracking of hands and objects in videos, encompassing various tasks of human-object interaction such as picking, placing, and handoff actions), and EgoDex (the largest and most diverse dataset of dexterous human operations, containing 829 samples).

原始信息汇总

EgoExo Forge 数据集概述

数据集简介

• 提供用于自我中心（Egocentric）和他人中心（Exocentric）人类数据的所有数据和实用工具
• 使用工具：
  • Rerun（可视化）
  • Gradio（交互式UI）
  • Pixi（简化安装）

数据集内容

当前支持的数据集

1. Assembly101

   • 描述：包含4321个多视角视频，记录人们组装和拆卸101种可拆解玩具车辆的过程
   • 特点：丰富的动作顺序变化、错误和纠正
   • 注意：数据集非常大，加载每个片段可能需要较长时间

2. HoCap

   • 描述：用于视频中手和物体的3D重建和姿态跟踪
   • 特点：包含人类与物体交互的各种任务，如拾取放置动作和交接动作

3. EgoDex

   • 描述：最大且最多样化的灵巧人类操作数据集
   • 特点：829小时的自我中心视频和配对的3D手部跟踪，涵盖194种不同的桌面任务

计划支持的数据集

• UmeTrack（即将推出）

安装与使用

安装方法

• 使用Pixi包管理器（仅限Linux且需要NVIDIA GPU） bash git clone https://github.com/rerun-io/egoexo-forge.git cd egoexo-forge pixi run app

使用方法

1. Gradio应用： bash pixi run app

2. 查看所有任务： bash pixi task list

相关资源

• 演示：可在Hugging Face Spaces上找到托管演示
• 数据集链接：
  • Assembly101
  • HO-Cap
  • EgoDex

搜集汇总

数据集介绍

构建方式

EgoExo Forge数据集整合了多个高质量的人类行为数据集，包括Assembly101、HoCap和EgoDex等。这些数据集通过多视角视频捕捉、3D重建和手部追踪等技术构建而成，涵盖了丰富的人类活动场景。Assembly101专注于程序性活动，记录了4321个多视角视频，展示了玩具车辆的组装与拆卸过程。HoCap则聚焦于手部与物体的交互，提供了3D重建和姿态追踪数据。EgoDex通过829小时的自我中心视角视频，记录了194种不同的桌面任务。

特点

EgoExo Forge数据集的特点在于其多样性和规模。它不仅包含了大量的人类行为数据，还涵盖了从程序性活动到精细手部操作的各种场景。数据集中的视频数据具有多视角、高分辨率和丰富的标注信息，能够支持复杂的计算机视觉任务。此外，数据集还提供了3D手部追踪和物体交互数据，为研究人类行为提供了多维度的视角。这些特点使得EgoExo Forge成为理解和模拟人类活动的宝贵资源。

使用方法

EgoExo Forge数据集的使用方法灵活多样。用户可以通过Gradio交互式界面或Rerun可视化工具来浏览和分析数据。数据集支持Pixi包管理器进行安装和管理，适用于Linux系统并需要NVIDIA GPU进行批量转换。用户可以通过命令行工具或Gradio应用来访问数据集的具体内容。此外，数据集还提供了详细的文档和示例代码，帮助用户快速上手并进行深入研究。

背景与挑战

背景概述

EgoExo Forge数据集由Rerun团队于2024年推出，旨在为第一人称（Egocentric）和第三人称（Exocentric）视角下的人类行为研究提供全面的数据支持与工具集。该数据集整合了Assembly101、HoCap和EgoDex等多个知名子数据集，覆盖了从物体组装、手部-物体交互到灵巧操作等多样化的人类活动场景。其核心研究问题聚焦于多视角行为理解、三维重建与姿态估计等计算机视觉前沿方向，为动作识别、人机交互等领域提供了宝贵的基准数据。通过集成Rerun可视化工具与Gradio交互界面，该数据集显著提升了多模态行为数据的可访问性与分析效率。

当前挑战

EgoExo Forge面临的挑战主要体现在两方面：在领域问题层面，多视角行为数据的时空对齐、遮挡处理以及跨模态信息融合仍存在技术瓶颈，尤其在处理Assembly101中复杂的装配动作序列时，动作顺序的多样性增加了建模难度；在构建过程中，海量视频数据（如EgoDex包含829小时素材）的标注一致性保障、三维手部姿态的精确标定，以及不同子数据集间的格式统一，均对数据处理流程提出了极高要求。此外，实时渲染大规模多视角数据的计算负载，也对可视化系统的性能优化构成挑战。

常用场景

经典使用场景

在计算机视觉与人机交互领域，EgoExo Forge数据集为研究者提供了丰富的多视角视频资源，特别适用于分析人类在装配和拆卸玩具车辆等程序性活动中的行为模式。该数据集通过捕捉动作顺序、错误及修正的多样性，为理解人类行为提供了详实的实验材料。

衍生相关工作

基于该数据集衍生的经典工作包括CVPR 2022发表的Assembly101论文，其提出的多视角视频分析方法已成为程序性活动理解的基准框架。EgoDex相关研究则开创了从大规模自我中心视频学习灵巧操作的新范式，为机器人抓取研究提供了新思路。

数据集最近研究

最新研究方向

随着计算机视觉和机器人技术的飞速发展，EgoExo Forge数据集凭借其丰富的多视角视频资源和3D追踪数据，正成为第一人称（Egocentric）和第三人称（Exocentric）行为理解研究的重要基石。该数据集整合了Assembly101、HoCap和EgoDex等多个子集，为研究者提供了从物体组装到灵巧手操作的全方位行为分析素材。当前研究热点集中在跨视角动作识别、手-物交互建模以及基于大规模视频的机器人模仿学习等领域。特别是在具身智能（Embodied AI）和机器人操作任务中，EgoExo Forge提供的海量真实世界交互数据，为解决复杂场景下的动作预测、3D重建等挑战性问题提供了关键支持。