HabitAction

HabitAction数据集由哈尔滨工业大学和北京通用人工智能研究院创建，专注于人类习惯性行为的识别。该数据集包含30个类别的习惯性行为，总计超过300,000帧和6,899个动作实例。数据集内容来源于互联网上的电视剧、戏剧、脱口秀和日常生活视频，通过精细的标注过程确保了数据的质量和多样性。创建过程中，研究团队采用了两流模型，结合人体骨骼和RGB外观信息，以更好地捕捉细微的动作特征。HabitAction数据集主要应用于情感识别、个性化推荐系统和智能人机交互等领域，旨在通过识别习惯性行为来深入理解人的心理状态和情绪变化。

搜集汇总

数据集介绍

构建方式

HabitAction数据集的构建过程包括三个主要步骤：标签选择、视频片段收集和类别标注。首先，研究人员根据行为心理学实验和公开视频，选择了30种能够反映人物情绪变化、行为习惯或性格特征的习惯性行为作为标签。其次，他们从互联网上的电视剧、戏剧、谈话节目和日常生活视频中收集了包含这些习惯性行为的视频片段。最后，研究人员对收集到的视频片段进行逐帧标注，包括每个动作实例的类别和对应的人体边界框。为了提高标注的准确性，他们还手动纠正了DC-pose模型预测的边界框和骨骼坐标中的明显不一致之处。

使用方法

HabitAction数据集可用于习惯性行为识别、情绪识别、个性化推荐系统和智能人机交互等应用。使用该数据集时，需要首先进行数据预处理，包括视频剪辑、人体检测、骨骼提取和动作标注等。然后，可以使用现有的动作识别方法或提出的双流模型进行训练和测试，以评估模型的性能。此外，该数据集还可以用于研究习惯性行为与人物性格、习惯和心理状态之间的关系，为相关领域的研究提供重要参考。

背景与挑战

背景概述

人类行为识别（HAR）在计算机视觉领域中占有极其重要的地位，它能够从视频中预测动作类别，并推动一系列下游任务的发展，例如理解人类行为。鉴于人类行为的复杂性，许多极具价值的行为尚未被现有的HAR数据集所涵盖，例如人类习惯性行为（HHB）。HHB对于分析个人的性格、习惯和心理变化具有重要意义。为了解决这些问题，我们构建了一个新的视频数据集，展示了各种HHB。这些行为能够反映角色的内心状态和特定情绪，例如交叉双臂可能意味着保护自己免受感知到的威胁。该数据集包含30类习惯性行为，超过300,000帧和6,899个动作实例。由于这些行为通常出现在人类动作视频的小局部区域，现有的动作识别方法难以处理这些局部特征。因此，我们还提出了一种双流模型，同时使用人体骨骼和RGB外观。实验结果表明，我们提出的方法在动作识别方面比现有方法在数据集上的表现要好得多。

当前挑战

HHB的识别和研究需要大规模和多样化的数据集，涵盖广泛的习惯性行为和情境。然而，专门针对习惯性行为的数据集稀缺，限制了该领域的探索和进展。与其他动作识别任务相比，收集习惯性行为的数据更具挑战性。习惯性行为通常自然且无意识地发生，这使得通过传统的实验室环境捕捉它们变得困难。此外，由于这些行为自然且不引人注意地发生，它们很少出现在视频标题中，因此难以直接检索。此外，由于许多这些行为的相似性，对它们进行注释也极具挑战性。

常用场景

经典使用场景

HabitAction数据集主要用于人类习惯性行为的识别，通过收集和标注了30种常见的习惯性行为，如交叉双臂、触摸鼻子等，为研究人类行为和情感提供了丰富的数据基础。该数据集的特点在于涵盖了多种人类在日常生活中不经意间表现出的行为，这些行为往往能够反映出个人的性格特征、生活习惯以及心理变化，对于深入理解视频内容具有重要意义。

解决学术问题

HabitAction数据集的提出，解决了以往数据集中缺乏对人类习惯性行为的关注的问题。该数据集为研究者提供了大量的习惯性行为样本，使得研究者能够通过分析这些行为来揭示个体的人格特质、生活习惯和心理变化。此外，HabitAction数据集还提出了一个新的任务，即人类习惯性行为的识别，这对于推动人机交互、人类行为生成等领域的进展具有重要意义。

实际应用

HabitAction数据集在实际应用中具有重要的价值。通过对人类习惯性行为的识别，可以帮助开发更智能的人机交互系统，例如，根据用户的行为习惯推荐个性化的内容。此外，HabitAction数据集还可以用于情感识别，通过分析个体的习惯性行为来推断其情绪状态，从而为开发更智能的情感识别系统提供数据支持。

数据集最近研究

最新研究方向

HabitAction数据集的最新研究方向主要聚焦于人类习惯性行为的识别。该数据集包含超过30种习惯性行为类别，超过300,000帧图像和6,899个动作实例，为研究人类行为、个性和心理状态提供了宝贵的数据资源。习惯性行为通常在视频中的局部区域出现，这使得现有的动作识别方法难以捕捉这些局部特征。为了解决这一问题，研究人员提出了一种双流模型，结合了人体骨架和RGB外观特征。实验结果表明，该模型在识别习惯性行为方面比现有方法具有更好的性能。此外，HabitAction数据集的建立也为人类信念和意图识别、个性化推荐系统和智能人机交互等领域提供了重要的研究基础。

相关研究论文

• HabitAction: A Video Dataset for Human Habitual Behavior Recognition

  哈尔滨工业大学机器人与系统国家重点实验室，北京通用人工智能研究院 · 2024年