HAIC

HAICBench是一个全面的视频数据集，包含手动注释的细粒度人类 captions。它特点包括：多个人类主体，详细描述每个动作，以及动作序列。数据集包含来自不同视频的1140个片段和由GPT-4o生成的9354个QA对，所有这些都经过手动验证以确保准确性。发布的HAICBench是第2版，它在注释视频数量、视频来源的唯一性、所有问题类型的样本大小均衡性以及训练集的包含方面进行了改进。

HAICBench is a comprehensive video dataset containing manually annotated fine-grained human captions. Its features include multiple human subjects, detailed descriptions of each individual action, and action sequences. The dataset consists of 1140 clips sourced from diverse videos and 9354 QA pairs generated by GPT-4o, all of which have been manually verified for accuracy. The released HAICBench is Version 2, which has been improved in terms of the number of annotated videos, the uniqueness of video sources, the balance of sample sizes across all question types, and the inclusion of the training set.

搜集汇总

数据集介绍

构建方式

HAIC数据集的构建，以深入理解人类动作与交互为核心，采用精心标注的细粒度人类 captions，涵盖多个人物参与的活动与互动，每个动作均被详细描述以提供清晰情境。数据集包含1140个来自不同视频的剪辑，以及9354个由GPT-4o生成且经人工验证准确的问答对。

特点

该数据集显著特点在于其丰富性与细粒度。它不仅涉及多个人物主体的互动，而且对每个动作进行详尽的描述，包括动作的细微差别及所涉物体。此外，它按照逻辑顺序描述动作序列，展现动作随时间展开的过程。HAICBench第二版在第一版基础上进行了多项改进，包括增加标注视频、确保视频来源唯一性、平衡问题类型样本量，并加入了训练集。

使用方法

使用HAIC数据集，研究者可以加载预先标注好的视频剪辑和QA对，进行多模态大型语言模型的人类动作理解与生成任务训练。数据集的开放性许可（MIT）允许用户在遵守许可协议的前提下，自由使用和修改数据集，以促进学术研究和应用开发。

背景与挑战

背景概述

HAIC数据集，全称为Human Action and Interaction Comprehension Dataset，旨在提升多模态大型语言模型对人类行为理解和生成能力。该数据集由一系列精细标注的人类行为字幕组成，其创建源于对人类动态复杂性的深入研究。HAIC数据集的创建时间为近期，由相关领域研究人员精心设计并构建，其研究成果已发布于学术文献。该数据集的主要研究人员或机构暂不明确，但其所涉及的核心研究问题包括多人在视频中的互动和活动，以及对行为的详细描述和序列分析。HAIC数据集对多模态理解、视频字幕和视频问答等领域产生了显著影响，为相关领域的研究提供了宝贵的数据资源。

当前挑战

在HAIC数据集的构建过程中，研究人员面临了诸多挑战。首先，如何精确捕捉并描述多人互动的复杂性是一大难题。其次，数据集构建过程中，确保对每个行为进行细致且准确的描述，以及保持行为序列的逻辑性，亦是一项艰巨任务。此外，数据集的多样性、标注质量和QA对的准确性验证，也是构建过程中需要克服的关键挑战。在领域问题上，HAIC数据集解决了视频字幕和视频问答中的细粒度人类行为理解问题，但如何进一步提升模型的泛化能力和准确度，仍是当前研究的重要挑战。

常用场景

经典使用场景

在视频理解和多模态人工智能研究领域，HAIC数据集的典型应用场景在于通过精细标注的人类动作和交互字幕，促进对人类行为理解的深化。该数据集通过其详尽的动作描述和序列化表达，为大型语言模型在视频字幕和视频问答任务上的训练提供了高质量的标注材料。

解决学术问题

HAIC数据集解决了学术研究中对人类动作和交互理解深度不足的问题，其精确的动作描述和动作序列标注有助于提高多模态模型的动作识别和预测准确性，从而在视频内容理解、动作生成和视频问答等任务上取得了显著的性能提升。

衍生相关工作

基于HAIC数据集，研究者们衍生出了一系列相关工作，如改进的多模态模型训练方法、细粒度动作识别算法以及交互行为的语言生成模型，这些研究进一步推动了视频理解和生成领域的学术进步和技术发展。