Embody 3D

Meta的Codec Avatars实验室推出的Embody 3D是一个多模态3D运动数据集，包含439名参与者在多摄像头采集环境中收集的500小时3D运动数据，总计超过5400万帧追踪的3D运动。数据集涵盖广泛的单人运动数据（包括提示动作、手势和移动）以及多人行为和对话数据（如讨论、不同情绪状态下的对话、协作活动和公寓式空间中的共同生活场景）。提供的数据包括追踪的人体运动（含手部追踪和身体形状）、文本注释以及每个参与者的独立音频轨道。

Embody 3D, launched by Meta's Codec Avatars Lab, is a multimodal 3D motion dataset. It comprises 500 hours of 3D motion data collected from 439 participants in a multi-camera acquisition environment, totaling over 54 million tracked 3D motion frames. The dataset covers a wide range of single-person motion data including cued movements, gestures and locomotion, as well as multi-person behaviors and conversational data such as discussions, dialogues under varying emotional states, collaborative activities, and co-living scenarios in apartment-style spaces. The provided data includes tracked human motion (with hand tracking and body shape information), textual annotations, and independent audio tracks for each participant.

原始信息汇总

Embody 3D 数据集概述

数据集简介

Embody 3D是由Meta的Codec Avatars Lab推出的多模态3D运动数据集，包含439名参与者的500小时3D运动数据，总计超过5400万帧跟踪的3D运动。数据集涵盖单人多模态运动数据（包括提示动作、手势和移动）以及多人行为和对话数据（如讨论、不同情绪状态下的对话、协作活动和公寓式空间中的共同生活场景）。

数据组成

各章节数据统计

章节	时长(小时)	身体形状	手部跟踪	音频	文本	多人互动
Charades	88.9	✔️	✔️	❌	✔️	❌
Hand Interactions	111.3	✔️	✔️	❌	❌	❌
Locomotion	21.0	✔️	✔️	❌	(✔️)	❌
Dyadic Conversations	59.4	✔️	✔️	✔️	(✔️)	✔️
Multi-Person Conversations	125.2	✔️	✔️	✔️	❌	✔️
Scenarios	49.2	✔️	✔️	✔️	✔️	✔️
Day in the Life	46.4	✔️	✔️	✔️	✔️	✔️

注：(✔️)表示仅有高级文本信息（如情绪标注），文本标注位于序列文件名中。

数据特征

核心特征

• 跟踪的人体运动数据（包括手部跟踪和身体形状）
• 文本标注
• 每个参与者的独立音频轨道

文件结构特征

每个捕获目录包含：

1. videos/ - 鸟瞰视角的场景视频
2. missing/ - SMPLX帧损坏的二进制指示器
3. smplx_mesh_*/ - 渲染网格所需的所有SMPLX特征
4. dataset.json - 每个捕获序列的概览和资产信息

可选特征

1. text_annotations_holistic/ - 描述整个捕获序列的高级文本标注
2. separated_audio/ - 说话人分离的音频文件
3. text_annotations/ - 描述10秒片段的中级文本标注

数据获取

获取完整数据集需要填写发布表格：https://www.meta.com/emerging-tech/codec-avatars/embody-3d

下载命令： bash python src/download.py --src test_file.txt

支持按特征和类别筛选下载。

技术规格

• 帧率：30fps
• 数据格式：SMPLX模型参数
• 支持多人场景加载
• 最大序列长度默认600帧（20秒）

引用信息

@techreport{mclean2025embody3d, title = {Embody 3D: A Large-scale Multimodal Motion and Behavior Dataset}, author = {Claire McLean and Makenzie Meendering and Tristan Swartz and Orri Gabbay and Alexandra Olsen and Rachel Jacobs and Nicholas Rosen and Philippe de Bree and Tony Garcia and Gadsden Merrill and Jake Sandakly and Julia Buffalini and Neham Jain and Steven Krenn and Moneish Kumar and Dejan Markovic and Evonne Ng and Fabian Prada and Andrew Saba and Siwei Zhang and Vasu Agrawal and Tim Godisart and Alexander Richard and Michael Zollhoefer}, institution = {arXiv}, year = {2025}, type = {Technical Report}, note = {arXiv preprint}, }

许可证

数据集本身采用XRCIA许可证，具体参见数据集网页。

搜集汇总

数据集介绍

构建方式

在三维人体运动分析领域，Embody 3D数据集通过多摄像机采集系统构建而成，涵盖了439名参与者共计500小时的动态数据，累积超过5400万帧三维运动轨迹。该数据集采用结构化采集流程，包含单人多模态运动与多人交互行为两大类别，通过SMPL-X模型精确捕捉身体形态、手势及运动轨迹，并辅以文本标注与独立音频轨道，形成多维度的数据融合体系。

使用方法

针对该数据集的应用，研究者可通过官方提供的Python脚本实现模块化数据加载。使用前需预先配置SMPL-X模型环境，通过指定数据路径与输出目录即可启动基础渲染流程。数据加载器支持灵活的特征选择机制，用户可通过注解标志位定制所需模态，并利用多路径参数实现跨场景数据融合。对于特殊研究需求，还可通过序列长度控制与多人交互加载等扩展功能实现精细化实验设计。

背景与挑战

背景概述

在三维人体运动建模与行为分析领域，Meta的Codec Avatars实验室于2025年推出了Embody 3D数据集，旨在推动多模态交互研究的发展。该数据集汇集了439名参与者的500小时三维运动数据，涵盖单人动作、手势、移动行为以及多人的情感对话、协作活动等复杂场景，提供了身体形态、手部追踪、音频和文本注释等多维度信息。作为当前规模最大的三维行为数据集之一，Embody 3D为虚拟现实、社交机器人及人机交互研究提供了关键数据支撑，其多模态特性显著拓展了行为建模的研究边界。

当前挑战

Embody 3D致力于解决三维人体运动与社交行为建模中的核心难题，包括复杂多人交互的时空动态捕捉、精细手部动作的精确追踪，以及多模态数据（如运动轨迹与情感语音）的协同对齐。在构建过程中，研究团队面临大规模数据采集的技术挑战，例如在多相机系统中保持三维运动追踪的连续性，处理超过5400万帧数据的标注一致性，以及在不同场景下（如公寓环境中的协同生活模拟）确保多模态数据的同步与完整性。这些挑战凸显了大规模行为数据集构建中技术集成与数据质量控制的复杂性。

常用场景

经典使用场景

在三维人体运动分析领域，Embody 3D数据集凭借其大规模多模态特性，成为研究复杂行为模式的经典资源。该数据集通过整合单人动作、手势交互与多人对话场景，为运动生成、行为识别等任务提供了丰富标注。研究者可利用其54万帧三维运动数据，结合SMPLX网格参数与文本注释，构建高精度人体运动模型，尤其适用于分析社交互动中的非语言行为动态。

解决学术问题

该数据集有效解决了三维人体运动建模中数据规模与多样性的瓶颈问题。通过提供439名参与者500小时的密集运动捕捉数据，填补了现有数据集在多人交互场景与长时序行为分析上的空白。其多模态特性支持跨模态学习研究，而精确的手部追踪与身体形态参数则为细粒度动作分析提供了新范式，显著推动了计算机视觉与图形学领域对人体运动理解的边界拓展。

实际应用

在虚拟现实与数字人技术领域，Embody 3D为构建自然交互的虚拟化身提供了关键数据支撑。其包含的协作活动、情感对话等场景数据，可直接用于训练智能体的社交行为能力。医疗康复领域则可借助其精细的手势与运动数据，开发运动功能障碍评估工具。此外，影视动画产业能利用该数据集生成符合物理规律的角色动画，提升数字内容的真实感。

数据集最近研究

最新研究方向

在三维人体运动与行为分析领域，Embody 3D数据集凭借其大规模多模态特性，正推动虚拟现实与社交计算的前沿探索。该数据集整合了身体形态、手部动作、音频与文本注释，为多模态行为建模提供了丰富素材。当前研究聚焦于跨模态对齐技术，旨在实现运动轨迹与语义描述的深度融合，尤其在情感交互与协作场景中展现潜力。其多模态架构为构建沉浸式虚拟化身系统奠定了数据基础，对元宇宙中自然交互技术的发展具有深远影响。