Daily Activity Recordings for artificial intelligence (DARai)

DARai数据集是一个多模态、分层标注的数据集，旨在理解现实世界中的人类活动。该数据集包含了50名参与者在10个不同环境中超过200小时的连续记录，数据来自20个传感器，包括多角度摄像头、深度和雷达传感器、可穿戴惯性测量单元（IMU）、肌电图（EMG）、鞋垫压力传感器、生物监测传感器和凝视跟踪器。DARai数据集在三个层次上进行标注：高级活动（L1）、低级动作（L2）和细粒度步骤（L3），以捕捉人类活动的复杂性。数据集的标注和记录设计允许22.7%的L2动作在L1活动之间共享，14.2%的L3步骤在L2动作之间共享。DARai数据集的开放性和多传感器设计使其能够支持现实世界中人类活动理解的挑战性应用。The DARai dataset is a multimodal, hierarchically annotated dataset designed for understanding human activities in the real world. This dataset contains over 200 hours of continuous recordings from 50 participants across 10 distinct environments, sourced from 20 sensors including multi-angle cameras, depth and radar sensors, wearable inertial measurement units (IMUs), electromyography (EMG) sensors, insole pressure sensors, biometric monitoring sensors, and gaze trackers. The DARai dataset is annotated at three levels: high-level activities (L1), low-level actions (L2), and fine-grained steps (L3), to capture the complexity of human activities. The annotation and recording designs of the dataset enable 22.7% of L2 actions to be shared across L1 activities, and 14.2% of L3 steps to be shared across L2 actions. The open-access nature and multi-sensor design of the DARai dataset enable it to support challenging applications for real-world human activity understanding.

搜集汇总

数据集介绍

构建方式

DARai数据集通过多模态、多层次的标注方式构建，旨在捕捉真实环境中的人类日常活动。数据收集过程涉及50名参与者在10种不同环境中的连续脚本化和非脚本化活动记录，总计超过200小时的数据。数据集采用20种传感器，包括多视角摄像头、深度和雷达传感器、可穿戴惯性测量单元（IMU）、肌电图（EMG）、足底压力传感器、生物监测传感器和眼动追踪设备。DARai的标注分为三个层次：高层次活动（L1）、低层次动作（L2）和细粒度步骤（L3），以反映人类活动的复杂性。

特点

DARai数据集以其多模态和层次化标注著称，提供了丰富的传感器数据和高精度的活动标注。其特点包括：1) 多模态数据融合，涵盖视觉、运动和生理信号；2) 层次化标注结构，支持从宏观活动到微观动作的分析；3) 非脚本化活动记录，更贴近真实场景；4) 包含反事实活动设计，为模型鲁棒性评估提供条件。数据集特别强调不同传感器模态间的互补性，如视觉数据与可穿戴传感器的协同效应。

使用方法

DARai数据集适用于多层次人类活动理解任务，包括活动识别、动作定位和未来行为预测。研究人员可采用单模态或多模态方法，利用其层次化标注进行跨粒度分析。对于视觉模型，建议采用预训练-微调策略；对于可穿戴传感器数据，可探索跨身体对称性建模。数据集特别适合研究：1) 多模态融合策略；2) 长时序依赖建模；3) 跨视角和跨设备泛化能力。使用时需注意数据的分割策略，建议采用跨被试评估以确保证据独立性。

背景与挑战

背景概述

Daily Activity Recordings for artificial intelligence (DARai) 是由乔治亚理工学院和亚马逊Lab126的研究团队于2024年推出的多模态、分层标注的数据集，旨在理解真实环境中的人类日常活动。该数据集包含50名参与者在10种不同环境中的连续脚本和非脚本录制，总计超过200小时的数据，涵盖20种传感器，包括多视角摄像头、深度和雷达传感器、可穿戴惯性测量单元（IMU）、肌电图（EMG）、足底压力传感器等。DARai通过三层层次结构（高层次活动、低层次动作和细粒度步骤）进行标注，以捕捉人类活动的复杂性。该数据集在计算机视觉、人机交互和健康监测等领域具有重要影响力，为多模态融合和时间序列建模提供了丰富的研究资源。

当前挑战

DARai数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，DARai旨在解决多模态人类活动理解的复杂性，包括跨模态数据融合、时间依赖性建模以及层次化活动识别等问题。构建过程中的挑战包括多传感器数据同步问题（不同传感器的采样率和时间戳协议不同）、长时间录制导致的传感器过热（如深度传感器）、可穿戴传感器的无线连接稳定性问题，以及海量数据（每位参与者每次会话产生高达300GB数据）的存储和处理问题。此外，数据标注的复杂性也是一个显著挑战，因为需要准确捕捉连续活动中的层次结构和时间边界。

常用场景

经典使用场景

DARai数据集作为多模态、分层标注的数据集，在人工智能领域主要用于理解和建模人类日常活动。其经典使用场景包括多传感器融合实验、分层活动识别和时间序列分析。研究者可以利用DARai进行视觉与非视觉传感器的协同分析，探索不同传感器在活动识别中的互补性。例如，通过结合RGB摄像头、深度传感器和可穿戴惯性测量单元（IMU）的数据，模型能够更全面地捕捉人类活动的时空特征。此外，DARai的分层标注结构（L1活动、L2动作和L3程序）为研究活动分解与层次化建模提供了理想平台。

衍生相关工作

围绕DARai数据集已衍生出多项经典研究工作。在传感器融合方向，研究者开发了基于Transformer的多模态时序建模框架，显著提升了跨层级活动识别的准确率。分层学习领域涌现出新型层次化损失函数，有效利用L1-L3标签间的语义关联。时间序列分析方面，针对DARai长时程特性设计的Causal-TCN模型在动作预期任务中取得突破性进展。部分团队还利用其反事实数据开展域适应研究，提出基于对比学习的跨视图特征对齐方法。这些工作均以DARai的多模态、分层特性为核心，推动了活动理解领域的算法创新。

数据集最近研究

最新研究方向

近年来，DARai数据集在人工智能领域引起了广泛关注，特别是在多模态融合和分层活动识别方面。该数据集通过整合视觉和非视觉传感器数据，为研究者提供了一个全面的平台，以探索人类日常活动的复杂性和多样性。DARai的多模态特性使其在隐私保护、跨视角适应和传感器融合等前沿研究方向中具有重要价值。特别是在分层学习方面，DARai的三层注释结构（活动、动作和程序）为细粒度活动识别和时间序列分析提供了丰富的数据支持。此外，DARai的未脚本化设计和反事实活动记录使其在真实世界环境中的应用潜力巨大，为智能家居、健康监测和辅助机器人等领域的研究提供了新的可能性。

相关研究论文

• Hierarchical and Multimodal Data for Daily Activity Understanding

  OLIVES at the Center for Signal and Information Processing CSIP, School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA, USA, Amazon Lab126, San Francisco, CA, USA · 2025年