HACS (Human Action Clips and Segments)

HACS是一个包含人类动作片段和完整动作段的视频数据集。它包括两种手动标注：HACS Clips包含1.55M个2秒的片段标注；HACS Segments则包含50K视频中的完整动作段（从动作开始到结束）。该大规模数据集适用于预训练动作识别和定位模型，并作为时间动作定位的新基准。HACS is a video dataset encompassing both human action clips and complete action segments. It features two types of manual annotations: HACS Clips include 1.55 million annotations of 2-second clips, while HACS Segments contain complete action segments (from start to finish) in 50,000 videos. This large-scale dataset is suitable for pre-training action recognition and localization models, serving as a new benchmark for temporal action localization.

原始信息汇总

数据集概述

数据集名称

• HACS (Human Action Clips and Segments)

数据集组成

1. HACS Clips: 包含1.55M个2秒的片段标注。
2. HACS Segments: 包含50K视频的完整动作段落（从动作开始到结束）。

数据集用途

• 用于预训练动作识别和定位模型。
• 作为时间动作定位的新基准。

数据集版本更新

• v1.1.1: 移除了一些无效视频。

数据集统计

• HACS Clips:
  • 训练集: 492748视频, 1509478片段
  • 验证集: 5981视频, 20245片段
  • 测试集: 5987视频, 20293片段
• HACS Segments:
  • 训练集: 37613视频
  • 验证集: 5981视频
  • 测试集: 5987视频

标注文件格式

1. HACS Clips:

   • 文件: HACS_v1.1.1/HACS_clips_v1.1.1.csv

   • 格式示例:

     classname,youtube_id,subset,start,end,label Archery,a2X2hz1G6i8,training,15.5,17.5,1 Archery,NUdji_CqvcY,training,77.5,79.5,-1 Archery,0O_qMHxBfXg,training,24.5,26.5,-1 ...

2. HACS Segments:

   • 文件: HACS_v1.1.1/HACS_segments_v1.1.1.json

   • 格式示例:

     { "database": { "--0edUL8zmA": { "annotations": [ {"label": "Dodgeball", "segment": [5.40, 11.60]}, {"label": "Dodgeball", "segment": [12.60, 88.16]}, "subset": "training", "duration": "92.166667", "url": "https://www.youtube.com/watch?v=--0edUL8zmA" }, ... }, }

视频下载

• 使用youtube-dl和FFmpeg下载视频。
• 视频保存结构: ROOT_DIR/CLASSNAME/v_ID.mp4。

测试视频和缺失视频请求

• 访问测试视频需提交请求，链接将在72小时内提供。
• 缺失视频可通过运行脚本检查并提交请求获取。

搜集汇总

数据集介绍

构建方式

HACS数据集通过从YouTube平台收集大量视频片段，构建了一个包含155万条2秒片段标注的HACS Clips子集，以及5万条完整动作片段标注的HACS Segments子集。数据集的标注工作由人工完成，确保了动作识别和时间定位任务的高质量数据支持。此外，数据集还整合了SLAC数据集，进一步丰富了其多样性。

特点

HACS数据集以其大规模和多样性著称，涵盖了广泛的日常和体育动作类别。HACS Clips子集提供了密集的2秒片段标注，适用于动作识别模型的预训练；而HACS Segments子集则提供了完整的动作片段标注，为时间动作定位任务提供了新的基准。数据集还支持视频短边缩放，以减少存储需求，并提供了缺失视频的补充机制，确保数据的完整性。

使用方法

用户可以通过克隆GitHub仓库并解压标注文件来获取HACS数据集。数据集提供了详细的统计脚本，帮助用户快速了解数据分布。视频下载需安装youtube-dl和FFmpeg工具，并通过提供的脚本下载视频。对于测试集和缺失视频，用户需提交请求以获取访问权限。数据集的使用方法灵活，支持全量下载或仅下载HACS Segments子集，并可自定义视频分辨率。

背景与挑战

背景概述

HACS（Human Action Clips and Segments）数据集由麻省理工学院（MIT）的研究团队于2019年推出，旨在为人类动作识别与时间定位任务提供大规模的视频数据支持。该数据集包含两种手动标注：HACS Clips包含155万条2秒的视频片段标注，HACS Segments则提供了5万条完整动作片段的标注，涵盖从动作开始到结束的整个过程。HACS数据集不仅为动作识别模型的预训练提供了丰富的数据资源，还为时间动作定位任务设立了新的基准。其发布对计算机视觉领域，尤其是视频理解与动作分析的研究产生了深远影响。

当前挑战

HACS数据集在解决动作识别与时间定位问题时面临多重挑战。首先，动作的多样性与复杂性使得标注过程极为繁琐，尤其是在区分动作的开始与结束时，标注的准确性直接影响模型的性能。其次，视频数据的获取与处理也带来了技术难题，例如视频的分辨率不一致、视频内容的动态变化等，这些因素增加了数据预处理与模型训练的复杂性。此外，由于部分视频来源于YouTube，随着时间的推移，视频可能会失效或下架，导致数据集的完整性受到影响。为了应对这些挑战，研究团队提供了视频请求机制，以确保用户能够获取完整的测试集与缺失视频。

常用场景

经典使用场景

HACS数据集在视频动作识别和时序动作定位领域具有广泛的应用。其包含的1.55百万个2秒视频片段和50,000个完整动作片段，为研究者提供了丰富的训练和测试资源。特别是在深度学习模型的预训练和性能评估中，HACS数据集已成为一个重要的基准工具。通过其大规模的视频标注数据，研究者能够更精确地训练模型，以识别和定位视频中的复杂动作。

实际应用

在实际应用中，HACS数据集被广泛应用于智能监控、体育分析、医疗康复等领域。例如，在智能监控系统中，HACS数据集可以帮助识别异常行为，提升安全监控的智能化水平。在体育分析中，该数据集可用于分析运动员的动作，优化训练方案。此外，在医疗康复领域，HACS数据集能够辅助医生评估患者的康复动作，提供个性化的康复建议。

衍生相关工作

HACS数据集的发布催生了一系列相关研究工作。例如，基于HACS数据集的动作识别模型在多个国际竞赛中取得了优异的成绩。此外，许多研究者利用HACS数据集开发了新的时序动作定位算法，进一步推动了该领域的技术进步。这些衍生工作不仅验证了HACS数据集的有效性，也为视频动作分析领域提供了新的研究方向和技术手段。