Human Stone Toolmaking Action Grammar (HSTAG)

Human Stone Toolmaking Action Grammar (HSTAG) 数据集由埃默里大学创建，包含18,739个视频片段，记录了4.5小时的石器制作专家活动。该数据集的独特之处在于其短动作持续时间和频繁的动作转换，反映了快速变化的复杂交互。数据集通过多个视角和工具切换增加了类内变异性，且类分布不平衡，增加了识别难度。创建过程涉及专家视频的录制和精细标注，旨在推动计算机视觉技术在理解古代石器制作行为中的应用，解决复杂动作序列分类的问题。

The Human Stone Toolmaking Action Grammar (HSTAG) dataset, created by Emory University, contains 18,739 video clips that document 4.5 hours of expert stone toolmaking activities. The distinctive feature of this dataset lies in its short action durations and frequent action transitions, which reflect rapidly changing complex interactions. It increases intra-class variability via multiple perspectives and tool switches, and its imbalanced class distribution further elevates the difficulty of action recognition. The creation process involves recording and fine-grained annotation of expert videos, aiming to advance the application of computer vision technologies in understanding ancient stone toolmaking behaviors and solve the problem of complex action sequence classification.

搜集汇总

数据集介绍

构建方式

Human Stone Toolmaking Action Grammar (HSTAG) 数据集的构建基于多个实验考古学项目，这些项目涉及石器制作专家。数据集包含18,739个视频片段，记录了4.5小时的专家石器制作活动。视频通过头戴式摄像机和常规摄像机从顶部和正面视角进行录制。数据标注使用BORIS软件，采用由Stout等人开发的石器敲击行为分析的行动语法，并进行了一些修改。标注过程由两名训练有素的标注员参与，并通过每周的交叉验证来确保标注的一致性。

特点

HSTAG 数据集具有多个独特特征：首先，视频片段的行动持续时间短且频繁转换，反映了快速变化的行动模式；其次，视频从多个角度拍摄，并涉及多种工具的使用，增加了类内变异性；最后，数据集中的类分布不平衡，且不同行动序列之间具有高度相似性，增加了识别每个行动的难度。这些特点使得HSTAG成为细粒度行动识别的挑战性基准。

使用方法

HSTAG 数据集适用于研究高级人工智能技术在理解复杂交互中的应用。研究人员可以使用该数据集来训练和评估行动识别模型，特别是那些需要处理高频行动、多视角和工具切换的模型。数据集的开放性使得研究人员可以自由访问和使用这些高质量的标注视频，以推动行动识别领域的发展，特别是在罕见领域的应用。

背景与挑战

背景概述

在过去的十年中，动作识别领域见证了众多新颖算法和数据集的发展。然而，大多数公开的基准数据集主要围绕日常生活活动构建，且注释粒度较为粗糙，缺乏领域特定数据集的多样性，尤其是在罕见领域。Human Stone Toolmaking Action Grammar (HSTAG) 数据集由Emory大学的Cheng Liu等研究人员精心构建，旨在填补这一空白。该数据集包含18,739个视频片段，记录了4.5小时的专家级石器制作活动，展示了先前未被记录的石器制作行为。HSTAG数据集的引入不仅丰富了领域特定基准，还推动了高级人工智能技术在理解复杂交互中的应用，对社会科学研究具有重要意义。

当前挑战

HSTAG数据集面临多项挑战。首先，高频动作之间的快速转换和不同动作序列之间的高帧级相似性增加了发现每个动作类关键特征表示的难度。其次，手部动作通常在每帧中占据较小区域，背景区域的多样性和复杂性会干扰学习过程，降低现代计算机视觉方法的准确性。第三，动作类别的样本分布高度不平衡，导致少数类别难以获得良好的特征表示。此外，构建和注释领域特定数据集需要大量专家知识和高昂的劳动力成本，限制了数据集的全面性和代表性。这些挑战使得HSTAG成为评估和开发新型动作识别算法的极具挑战性的基准。

常用场景

经典使用场景

Human Stone Toolmaking Action Grammar (HSTAG) 数据集的经典使用场景主要集中在细粒度运动行为识别领域。该数据集通过记录专家在石器制作过程中的动作，提供了丰富的视频片段，这些片段具有高频率的动作转换和短动作持续时间的特点。研究者可以利用这些数据来训练和验证先进的动作识别算法，特别是在处理快速变化和高相似度动作序列时，HSTAG 数据集提供了一个极具挑战性的基准。

衍生相关工作

HSTAG 数据集的引入激发了一系列相关研究工作，特别是在视频分析和动作识别领域。例如，基于 HSTAG 数据集的研究已经推动了视频分类算法的发展，如 VideoMAEv2、TimeSformer 和 ResNet+GRU 等模型在该数据集上的应用和改进。此外，HSTAG 数据集还促进了细粒度动作识别技术的研究，特别是在处理不平衡类分布和高相似度动作序列方面。这些研究不仅提升了动作识别算法的性能，也为其他领域如考古学和人类学提供了新的研究工具和方法。

数据集最近研究

最新研究方向

在人类行为识别领域，Human Stone Toolmaking Action Grammar (HSTAG) 数据集的最新研究方向主要集中在细粒度动作识别和复杂动作序列的解析上。该数据集通过精心标注的视频片段，展示了石器制作过程中的高频动作和频繁转换，为研究者提供了一个独特的挑战性基准。前沿研究不仅关注于提升现有算法的分类精度，还致力于开发新的计算机视觉技术，以应对数据集中存在的类间相似性和类内多样性问题。此外，HSTAG数据集的引入也推动了人工智能技术在考古学和社会科学中的应用，为理解人类古代技术的进化历史提供了新的视角和方法。

相关研究论文

• Human Stone Toolmaking Action Grammar (HSTAG): A Challenging Benchmark for Fine-grained Motor Behavior Recognition

  埃默里大学 · 2024年