Kilich/affect-visdial

Affective Visual Dialog是一个用于情感推理和视觉对话研究的大规模基准数据集。该数据集包含50K个10轮视觉对话，以及情感归因和基于对话的文本情感解释。数据集的设计旨在研究视觉对话中情感的形成，涉及三个主要技能：基于对话的问答、基于对话的情感预测以及基于对话的情感解释生成。数据集的收集过程耗时27,180个工时，并展示了基于最先进模型的基线表现，显示出在视觉对话中情感推理的潜力。

Affective Visual Dialog is a large-scale benchmark dataset for affective reasoning and visual dialogue research. This dataset contains 50K 10-turn visual dialogues, as well as affect attribution and dialogue-based textual affective explanations. It is designed to investigate the formation of affect in visual dialogues, involving three core skills: dialogue-based question answering, dialogue-based affective prediction, and dialogue-based affective explanation generation. The dataset collection process took 27,180 man-hours, and it presents baseline performances based on state-of-the-art models, demonstrating the potential of affective reasoning in visual dialogues.

原始信息汇总

数据集概述

数据集描述

• 数据集名称： Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations
• 许可证： Apache-2.0
• 任务类别：
  • 文本分类
  • 文本生成
• 语言： 英语
• 标签： 代码
• 数据集大小： 10K<n<100K

数据集总结

Affective Visual Dialog 是一个基于视觉基础对话的情感解释和推理任务，旨在研究视觉基础对话中情感形成机制。该任务涉及三个技能：

1. 基于对话的问答
2. 基于对话的情感预测
3. 基于对话的情感解释生成

主要贡献是收集了一个大规模数据集，称为 AffectVisDial，包含 50K 10 轮视觉基础对话以及最终的情感归属和对话驱动的文本情感解释，总计 27,180 工作小时。数据集收集过程中的设计决策以及与对话参与者相关的问题和回答任务进行了详细说明。此外，基于最先进的模型训练了 Affective Visual Dialog 基线模型，这些模型的生成响应显示出在视觉基础对话中的情感推理能力。

支持的任务和排行榜

• 挑战任务： 情感解释预测
• 排行榜： 在 Eval.ai 上设有排行榜
• 相关活动： 在 ICCV23 研讨会 [5CLVL] 上举办挑战，并为获胜者提供现金奖励

引用信息

@article{haydarov2023affective, title={Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations}, author={Haydarov, Kilichbek and Shen, Xiaoqian and Madasu, Avinash and Salem, Mahmoud and Li, Jia and Elsayed, Gamaleldin and Elhoseiny, Mohamed}, journal={arXiv preprint arXiv:2308.16349}, year={2023} }

搜集汇总

数据集介绍

构建方式

Affective Visual Dialog数据集通过大规模视觉对话的收集与标注构建而成，旨在研究视觉对话中的情感推理与解释。该数据集包含50,000个10轮次的视觉对话，每轮对话均基于图像内容展开，并附有情感归因和对话驱动的文本情感解释。数据收集过程中，参与者被分为提问者和回答者，分别完成对话问答和情感预测任务。整个数据集的构建耗费了27,180个工时，确保了数据的多样性和高质量。

特点

Affective Visual Dialog数据集的核心特点在于其结合了视觉对话与情感推理的多模态特性。数据集不仅提供了丰富的视觉对话内容，还包含了对情感形成过程的详细解释，为情感计算领域提供了独特的研究视角。此外，数据集的规模庞大，涵盖了多样化的情感场景，能够支持复杂的情感预测与解释任务。其标注的精细度和任务的多样性使其成为情感推理研究的重要基准。

使用方法

Affective Visual Dialog数据集适用于多种任务，包括基于对话的情感预测、情感解释生成以及视觉问答。研究人员可以通过该数据集训练和评估模型在视觉对话中的情感推理能力。数据集还支持在Eval.ai平台上参与情感解释预测挑战，并通过ICCV23研讨会展示研究成果。使用该数据集时，建议结合最新的多模态模型进行实验，以充分挖掘其在情感计算领域的潜力。

背景与挑战

背景概述

Affective Visual Dialog（情感视觉对话）数据集由Kilichbek Haydarov等人于2023年创建，旨在为基于视觉对话的情感推理研究提供大规模基准。该数据集由50,000个10轮视觉对话组成，涵盖了对话式问答、情感预测以及基于对话的情感解释生成三大核心任务。其设计初衷是通过视觉对话理解情感的形成机制，推动情感计算与多模态交互领域的发展。该数据集的研究成果已在ICCV23研讨会上展示，并获得了广泛关注，为情感推理模型的训练与评估提供了重要资源。

当前挑战

Affective Visual Dialog数据集在构建与应用过程中面临多重挑战。首先，情感推理任务本身具有高度复杂性，尤其是在多模态环境下，如何准确捕捉视觉信息与对话内容之间的情感关联成为核心难题。其次，数据集的构建需要大量人工标注，涉及27,180个工作小时，确保标注的一致性与准确性对研究团队提出了极高要求。此外，情感解释生成任务要求模型不仅能够预测情感，还需生成符合逻辑的解释文本，这对模型的自然语言生成能力提出了更高标准。这些挑战共同推动了情感推理领域的技术创新与突破。

常用场景

经典使用场景

AffectVisDial数据集在情感计算和视觉对话领域具有重要应用，特别是在情感推理和视觉对话生成任务中。该数据集通过提供大规模的视觉对话数据，支持研究者开发能够理解和生成情感相关对话的模型。经典使用场景包括情感预测、情感解释生成以及基于视觉对话的情感推理任务。

实际应用

在实际应用中，AffectVisDial数据集可以用于开发智能对话系统，特别是在需要情感理解和生成的场景中，如客户服务、心理健康辅助和情感化人机交互。通过利用该数据集，开发者可以构建更加智能和情感化的对话系统，提升用户体验和交互效果。

衍生相关工作

AffectVisDial数据集的发布催生了一系列相关研究工作，特别是在情感推理和视觉对话生成领域。基于该数据集，研究者提出了多种情感预测和解释生成模型，进一步推动了情感计算和多模态对话系统的发展。这些工作不仅提升了模型的性能，还为情感计算领域的标准化和评估提供了重要参考。