awesome-multimodal-dialogue

github2025-09-01 更新2026-06-04 收录

下载链接：

https://github.com/Aman-4-Real/awesome-multimodal-dialogue

下载链接

链接失效反馈

官方服务：

资源简介：

这是一个关于多模态对话领域的数据集、论文和代码资源合集，主要收录了开放域多模态对话相关的多个数据集，如Visual Dialog、MELD、OpenViDial、MMChat等，涵盖了视觉对话、情感识别、图像聊天、多模态搜索等多个主题。

This is a curated collection of datasets, academic papers and code resources in the field of multimodal dialogue. It mainly includes multiple datasets related to open-domain multimodal dialogue, such as Visual Dialog, MELD, OpenViDial, MMChat and others, covering various topics including visual dialogue, emotion recognition, image chatting, multimodal search and more.

创建时间：

2022-09-27

原始信息汇总

多模态对话数据集概览

数据集列表

该仓库收录了开放域多模态对话领域的主要数据集，涵盖图像对话、情感识别、表情包对话等方向。

主要数据集

Visual Dialog（CVPR 2017）
- 基于图像的视觉对话数据集
- 官网：https://visualdialog.org/
- 代码：https://github.com/batra-mlp-lab/visdial
Image-Grounded Conversations（IJCNLP 2017）
- 图像引导的对话数据集，支持自然问答与回复生成
- 数据下载：https://www.microsoft.com/en-us/download/details.aspx?id=55324&751be11f-ede8
MELD（arXiv 2018/ACL 2019）
- 多模态多说话人情感识别数据集
- 官网：https://affective-meld.github.io/
- 代码：https://github.com/declare-lab/MELD/
Image Chat（arXiv 2018/ACL 2020）
- 图像引导的闲聊对话数据集
- 数据与代码：https://parl.ai/projects/image_chat/
OpenViDial（arXiv 2020）
- 大规模开放域对话数据集，包含视觉上下文
- 数据与代码：https://github.com/ShannonAI/OpenViDial
OpenViDial 2.0（arXiv 2021）
- 更大规模版本的OpenViDial
- 数据与代码：https://github.com/ShannonAI/OpenViDial
MMChat（arXiv 2021/LREC 2022）
- 社交媒体多模态聊天数据集
- 数据与代码：https://github.com/silverriver/MMChat
Towards Expressive Communication with Internet Memes（arXiv 2021）
- 基于互联网表情包的多模态对话数据集与基准
- 数据与代码：https://github.com/lizekang/DSTC10-MOD
PhotoChat（ACL 2021）
- 人类间照片分享对话数据集，支持图文联合建模
- 数据：https://github.com/google-research/google-research/tree/master/multimodalchat/
MMConv（SIGIR 2021）
- 跨领域多模态对话搜索环境
- 数据与代码：https://github.com/liziliao/MMConv
Constructing Multi-Modal Dialogue Dataset（ACL 2021）
- 通过语义相关图像替换文本构建的多模态对话数据集
- 数据与代码：https://github.com/shh1574/multi-modal-dialogue-dataset
MSCTD（ACL 2022）
- 多模态情感对话翻译数据集
- 数据与代码：https://github.com/XL2248/MSCTD
M3ED（ACL 2022）
- 多模态、多场景、多标签情感对话数据库
- 数据与代码：https://github.com/aim3-ruc/rucm3ed
MMDialog（arXiv 2022）
- 面向多模态开放域对话的大规模多轮对话数据集
- 数据与代码：https://github.com/victorsungo/MMDialog
DialogCC（arXiv 2022）
- 大规模多模态对话数据集
- 数据与代码：https://github.com/passing2961/DialogCC
TikTalk（arXiv 2023）
- 面向真实世界闲聊的多模态对话数据集
- 数据：https://github.com/RUC-AIMind/TikTalk

数据集分类维度

类别	代表数据集
视觉对话	Visual Dialog
图像引导对话	Image Chat、OpenViDial、MMChat
情感识别	MELD、M3ED
多模态回复	PhotoChat、MMDialog、表情包对话数据集
翻译相关	MSCTD
搜索场景	MMConv

注意事项

该仓库仍在建设中，未完全涵盖2023年及与LLM相关的最新研究工作
部分数据集同时提供数据下载和开源代码实现

搜集汇总

数据集介绍

构建方式

在开放域多模态对话领域，数据集的构建方式呈现出多样化的创新路径。部分数据集如Visual Dialog和Image Chat，通过人工标注的方式，在图像与文本之间建立对话关联，确保数据的自然性与语义一致性。另一些如OpenViDial和MMDialog，则从大规模影视剧字幕或社交媒体平台中自动抽取对话片段，并配以对应的视觉场景，从而获得海量的多模态对话样本。此外，还有数据集如MELD和M3ED，专注于情感识别任务，通过多人在线对话视频的转录与标注，捕捉面部表情、语音语调与文本情感的协同关系。这些构建策略共同推动了多模态对话数据从封闭场景向开放域、从单轮向多轮、从单一模态向多模态深度融合的演进。

特点

该数据集集合具备鲜明的结构化特点与领域覆盖广度。首先，其收录的数据集跨越了从视觉问答（VisDial）到情感识别（MELD）、从图像对话（Image Chat）到社交媒体闲聊（MMChat、TikTalk）等多个子领域，展现了多模态对话研究的全景图。其次，数据规模从数万到数百万对话轮次不等，如MMDialog包含超过百万轮次的多模态对话，为大规模预训练提供了坚实基础。再者，部分数据集如PhotoChat和DialogCC，创新性地引入了图片共享与语义替换等机制，模拟了真实人类交流中的视觉表达行为。最后，数据集的多样性还体现在语言与文化的包容性上，涵盖中文（OpenViDial）与英文（VisDial）等多种语言环境。

使用方法

使用者可通过该资源库便捷地获取各数据集的官方链接、论文出处以及配套代码仓库。对于每个数据集，README中提供了直接的下载地址或API接口，如Visual Dialog的数据可通过其官网获取，而Image Chat则集成于ParlAI框架之中。研究者可根据任务需求选择合适的数据集：若聚焦于视觉对话推理，可选用VisDial；若关注情感分析，则MELD与M3ED更为适配。此外，许多数据集如MMDialog和PhotoChat，还提供了预训练模型的代码与基线结果，便于快速复现与对比实验。整体而言，该资源库为多模态对话系统的数据准备、模型训练与评估提供了端到端的支持。

背景与挑战

背景概述

多模态对话系统作为人工智能领域的前沿方向，旨在融合文本、图像、音频等多种模态信息，实现更自然、丰富的人机交互。该领域的研究可追溯至2017年Visual Dialog数据集的提出，此后，来自浙江大学、微软、Facebook AI等顶尖机构的研究者陆续发布了Image Chat、OpenViDial、MMChat等代表性数据集。这些工作聚焦于开放域多模态对话中的视觉基础、情感理解与上下文建模等核心问题，推动了多模态预训练模型与生成式对话技术的突破性进展。当前，该领域已从单一图像对话扩展至表情包、视频评论等复杂场景，成为自然语言处理与计算机视觉交叉研究的重要试验田。

当前挑战

构建高质量的多模态对话数据集面临多重挑战。首先，如何实现视觉信息与对话语义的深层对齐，避免图像与文本间的语义鸿沟，是制约模型理解能力的根本难题。其次，现有数据集多依赖人工标注或社交媒体采集，面临规模有限、领域覆盖不足及隐私伦理风险。此外，对话中的情感动态演化、多轮交互的长期依赖关系，以及跨模态生成任务（如根据上下文选择GIF回复）的评估标准尚未统一。更关键的是，如何设计能够捕捉视觉与语言间协同效应的模型架构，仍是当前研究的核心瓶颈。

常用场景

经典使用场景

在开放域多模态对话研究领域，该数据集资源汇编最经典的使用场景在于为视觉对话（Visual Dialog）和图像引导对话（Image-Grounded Conversation）提供标准化的训练与评测基准。研究者可基于这些数据集构建能够同时理解文本与视觉信息的对话模型，例如在Visual Dialog任务中，模型需根据图像内容与对话历史，对提问给出合理回答；在Image Chat场景中，模型则需生成与共享图片语义一致且具有社交吸引力的回复。这些场景有效推动了多模态语义对齐与上下文感知生成技术的发展。

衍生相关工作

基于该数据集汇编，学术界衍生出了一系列具有影响力的经典工作。在模型架构方面，VD-BERT和VisDial-BERT率先将预训练语言模型与视觉特征相结合，开创了多模态对话的Transformer范式；Maria和PaCE则通过渐进式专家组合与视觉经验建模，进一步提升了对话的连贯性和知识密度。在任务拓展上，MELD和M3ED推动了多模态情感识别的发展，而MOD和GIF-Reply数据集则催生了基于表情包和动图的非文本回复生成研究。这些工作共同构建了从基础理解到表达生成的多模态对话研究谱系。

数据集最近研究