WEAR

WEAR数据集是由德国西根大学创建的户外运动数据集，专注于穿戴式和自我中心活动识别。该数据集包含18名参与者在10个不同户外地点进行的总共18种不同锻炼活动的数据。数据集通过穿戴在手腕和脚踝的传感器以及头戴式摄像头收集，记录了未修剪的惯性（加速度）和摄像头（自我中心视频）数据。WEAR数据集提供了一个具有挑战性的预测场景，通过故意引入的活动变化以及跨模式的整体小信息重叠来标记。该数据集适用于评估如何结合惯性和视觉特征的方法，旨在解决户外运动中活动识别的问题。

The WEAR dataset is an outdoor activity dataset created by the University of Siegen in Germany, focusing on wearable and egocentric activity recognition. It contains data from a total of 18 distinct exercise activities performed by 18 participants across 10 different outdoor locations. Collected via sensors worn on the wrists and ankles as well as head-mounted cameras, the dataset records untrimmed inertial (acceleration) and egocentric video data. The WEAR dataset provides a challenging prediction scenario, marked by intentionally introduced activity variations and overall low information overlap across modalities. This dataset is suitable for evaluating methods that combine inertial and visual features, aiming to solve the problem of activity recognition in outdoor scenarios.

搜集汇总

数据集介绍

构建方式

WEAR数据集通过结合视觉和惯性传感器数据，构建了一个用于户外运动活动识别的综合数据集。该数据集由18名参与者在10个不同的户外地点进行18种不同的运动活动，同时记录了未修剪的惯性（加速度）和第一视角视频数据。参与者佩戴四个开源智能手表（分别位于四肢）和一个头戴式GoPro相机，以捕捉广泛的运动场景。数据集通过参与者在每个活动中的连续数据流，包括所有中断和休息，提供了具有挑战性的预测场景，旨在评估多模态融合方法的有效性。

特点

WEAR数据集的显著特点在于其多模态数据的互补性和挑战性。数据集不仅提供了惯性传感器和第一视角视频数据，还通过故意引入的活动变化和较小的模态间信息重叠，增加了预测难度。此外，数据集在户外环境中采集，每个地点的视觉和表面条件不同，进一步增加了模型的适应性要求。通过这些设计，WEAR数据集为评估视觉和惯性数据融合方法提供了理想的实验平台。

使用方法

WEAR数据集可用于多种人类活动识别任务，包括惯性传感器和视觉数据的活动识别、时间动作定位以及多模态融合。研究者可以使用数据集中的惯性数据和视频数据分别训练模型，或通过简单的特征拼接进行多模态融合。数据集提供了基准测试结果，展示了不同模态的互补性，并验证了视觉时间动作定位模型在惯性数据上的适用性。此外，数据集还支持多种评估指标，如平均精度（mAP）和F1分数，以全面评估模型的性能。

背景与挑战

背景概述

WEAR数据集是由德国锡根大学和波恩大学的研究团队于2023年推出的一个户外运动数据集，专注于可穿戴设备和第一视角活动识别。该数据集由18名参与者在10个不同的户外地点进行18种不同的运动活动，采集了未修剪的惯性传感器数据和第一视角视频数据。WEAR数据集的独特之处在于其引入了活动变化和跨模态信息重叠较少的挑战性预测场景，旨在评估视觉和惯性数据在人体活动识别（HAR）中的互补性。该数据集的发布填补了现有数据集中同时提供第一视角视频和惯性传感器数据的稀缺性，为研究多模态融合技术提供了重要的基准。

当前挑战

WEAR数据集面临的挑战主要集中在两个方面：一是活动识别领域的复杂性，包括活动变化和跨模态信息重叠较少，这使得单一模态的识别性能受到限制，需要探索多模态融合技术；二是数据集构建过程中的技术难题，如惯性传感器和视频数据的同步采集、数据标注的复杂性以及户外环境中的光照和表面条件变化等。此外，如何有效融合视觉和惯性数据，以提升活动识别的准确性和鲁棒性，也是该数据集面临的重要挑战。

常用场景

经典使用场景

WEAR数据集的经典使用场景主要集中在户外运动活动识别领域，尤其是通过可穿戴设备和第一视角视频数据的融合来实现高精度的活动识别。该数据集提供了18种不同的运动活动数据，涵盖了从简单的拉伸到复杂的跳跃等多种动作。通过结合惯性传感器（如加速度计）和第一视角摄像头数据，研究者可以探索多模态数据在活动识别中的互补性，尤其是在复杂环境下的活动定位和识别任务中。

衍生相关工作

WEAR数据集的发布催生了一系列相关研究工作，特别是在多模态融合和时间动作定位领域。研究者们基于该数据集开发了多种融合惯性传感器和视觉数据的模型，如ActionFormer和TriDet，这些模型在多模态融合中表现出色。此外，该数据集还推动了时间动作定位模型在惯性数据上的应用研究，展示了视觉模型在处理惯性数据时的潜力。未来，随着数据集的扩展和更多模态的引入，预计将有更多关于多模态融合和活动识别的创新研究涌现。

数据集最近研究

最新研究方向

近年来，WEAR数据集在户外运动活动识别领域引起了广泛关注，尤其是在多模态数据融合方面。该数据集结合了第一视角视频和惯性传感器数据，提供了18种不同的运动活动数据，涵盖了视觉和惯性两种模态的互补性。最新的研究方向主要集中在利用时间动作定位模型（如ActionFormer）进行多模态融合，通过简单的特征拼接实现视觉和惯性数据的早期融合，从而显著提升活动识别的准确性。此外，研究还探索了单阶段时间动作定位模型在惯性数据上的应用，展示了其在处理原始惯性数据时的有效性。这些研究不仅推动了多模态数据融合技术的发展，还为户外运动活动识别提供了新的基准和方法。

相关研究论文

• WEAR: An Outdoor Sports Dataset for Wearable and Egocentric Activity Recognition

  西根大学 · 2023年