Kilich/affect-visdial
收藏资源简介：
Affective Visual Dialog是一个用于情感推理和视觉对话研究的大规模基准数据集。该数据集包含50K个10轮视觉对话，以及情感归因和基于对话的文本情感解释。数据集的设计旨在研究视觉对话中情感的形成，涉及三个主要技能：基于对话的问答、基于对话的情感预测以及基于对话的情感解释生成。数据集的收集过程耗时27,180个工时，并展示了基于最先进模型的基线表现，显示出在视觉对话中情感推理的潜力。
Affective Visual Dialog is a large-scale benchmark dataset for affective reasoning and visual dialogue research. This dataset contains 50K 10-turn visual dialogues, as well as affect attribution and dialogue-based textual affective explanations. It is designed to investigate the formation of affect in visual dialogues, involving three core skills: dialogue-based question answering, dialogue-based affective prediction, and dialogue-based affective explanation generation. The dataset collection process took 27,180 man-hours, and it presents baseline performances based on state-of-the-art models, demonstrating the potential of affective reasoning in visual dialogues.
数据集概述
数据集描述
- 数据集名称： Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations
- 许可证： Apache-2.0
- 任务类别：
- 文本分类
- 文本生成
- 语言： 英语
- 标签： 代码
- 数据集大小： 10K<n<100K
数据集总结
Affective Visual Dialog 是一个基于视觉基础对话的情感解释和推理任务，旨在研究视觉基础对话中情感形成机制。该任务涉及三个技能：
- 基于对话的问答
- 基于对话的情感预测
- 基于对话的情感解释生成
主要贡献是收集了一个大规模数据集，称为 AffectVisDial，包含 50K 10 轮视觉基础对话以及最终的情感归属和对话驱动的文本情感解释，总计 27,180 工作小时。数据集收集过程中的设计决策以及与对话参与者相关的问题和回答任务进行了详细说明。此外，基于最先进的模型训练了 Affective Visual Dialog 基线模型，这些模型的生成响应显示出在视觉基础对话中的情感推理能力。
支持的任务和排行榜
- 挑战任务： 情感解释预测
- 排行榜： 在 Eval.ai 上设有排行榜
- 相关活动： 在 ICCV23 研讨会 [5CLVL] 上举办挑战，并为获胜者提供现金奖励
引用信息
@article{haydarov2023affective, title={Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations}, author={Haydarov, Kilichbek and Shen, Xiaoqian and Madasu, Avinash and Salem, Mahmoud and Li, Jia and Elsayed, Gamaleldin and Elhoseiny, Mohamed}, journal={arXiv preprint arXiv:2308.16349}, year={2023} }
