CoMM

CoMM是由香港科技大学和快手科技合作开发的高质量多模态数据集，专注于提升图像与文本交错内容的连贯性和一致性。该数据集从WikiHow等网站收集原始数据，通过多角度过滤策略，利用预训练模型确保文本和图像的高质量与语义对齐。CoMM旨在解决现有数据集在叙述连贯性、实体和风格一致性方面的不足，适用于多模态理解和生成任务，如视觉故事讲述和教程步骤生成。

CoMM is a high-quality multimodal dataset jointly developed by The Hong Kong University of Science and Technology and Kuaishou Technology, focusing on enhancing the coherence and consistency of interleaved image-text content. Raw data is collected from websites such as WikiHow, then processed via a multi-angle filtering strategy, and pre-trained models are employed to ensure the high quality and semantic alignment between text and image content. CoMM aims to address the deficiencies of existing datasets in terms of narrative coherence, entity and style consistency, and is applicable to multimodal understanding and generation tasks such as visual storytelling and tutorial step generation.

搜集汇总

数据集介绍

构建方式

CoMM数据集通过从多个高质量来源（如WikiHow、eHow等）收集原始数据，专注于教学内容和视觉故事，确保了数据集的连贯性和一致性。为了进一步提升数据质量，研究团队设计了多视角过滤策略，包括文本序列过滤、图像序列过滤和图像-文本对齐过滤。这些过滤策略利用了预训练的大型语言模型（如Llama3）和视觉-语言模型（如CLIP），以确保文本的逻辑连贯性、图像的一致性以及图像与文本之间的语义对齐。

特点

CoMM数据集的主要特点在于其高连贯性和一致性，确保了生成的图像-文本序列在叙事、实体和风格上的一致性。此外，数据集通过多视角过滤策略，显著提升了数据质量，使其在文本发展、图像一致性和语义对齐方面表现出色。CoMM数据集还包含了丰富的图像和文本内容，适用于多种多模态任务，尤其是在长上下文场景中表现尤为突出。

使用方法

CoMM数据集可用于训练和评估多模态大语言模型（MLLMs），特别是在图像-文本生成和理解任务中。用户可以通过该数据集进行模型训练，以提升模型在生成连贯图像-文本序列、文本到图像生成、图像-文本内容续写等任务中的表现。此外，CoMM数据集还支持少样本学习实验，帮助模型在有限的训练数据下提升上下文理解能力。

背景与挑战

背景概述

CoMM数据集由香港科技大学、武汉大学和快手科技的研究团队联合开发，旨在解决多模态大语言模型（MLLMs）在生成连贯且上下文一致的图像-文本序列时面临的挑战。该数据集专注于交错图像-文本生成任务，通过从多样化的来源（如WikiHow等）收集高质量的原始数据，并采用多视角过滤策略，确保文本与图像之间的语义对齐和一致性。CoMM数据集的构建不仅提升了多模态内容的连贯性，还为MLLMs的上下文学习能力提供了强有力的支持，推动了多模态理解与生成领域的研究进展。

当前挑战

CoMM数据集在构建过程中面临的主要挑战包括：1）确保生成的图像-文本序列具有高度的叙事连贯性和实体一致性，这是现有数据集普遍存在的不足；2）在数据收集和过滤过程中，如何有效去除低质量内容，确保数据集的高质量。此外，CoMM数据集还需要解决图像与文本之间的语义对齐问题，避免生成内容与上下文脱节。这些挑战不仅涉及数据集的构建，还对多模态模型的训练和评估提出了更高的要求。

常用场景

经典使用场景

CoMM数据集的经典使用场景主要集中在多模态理解和生成任务中，特别是在生成连贯的图文交错内容方面。该数据集通过提供高质量的图文对，支持模型在生成过程中保持文本与图像之间的语义一致性和风格连贯性。例如，在视觉故事讲述、多模态指令生成和教程步骤生成等任务中，CoMM数据集能够显著提升模型的生成能力，使其生成的内容更加符合人类的表达习惯。

衍生相关工作

CoMM数据集的发布催生了一系列相关的经典工作，特别是在多模态生成模型的训练和评估方面。例如，基于CoMM数据集，研究者提出了多种新的多模态生成任务，如图像到文本的序列生成、文本到图像的序列生成、图文内容的续写等，并设计了相应的评估框架。此外，CoMM还推动了多模态大语言模型（MLLMs）的研究，特别是在上下文学习和多模态理解方面的进展。这些工作为多模态生成领域提供了新的研究方向和评估标准。

数据集最近研究

最新研究方向

CoMM数据集在多模态理解与生成领域的前沿研究方向主要集中在提升图像与文本之间的叙事连贯性、实体一致性和风格一致性。通过从高质量的来源（如WikiHow）收集数据，并采用多视角过滤策略，CoMM确保了数据集的高质量，从而显著提升了多模态大语言模型（MLLMs）的上下文学习能力。此外，CoMM引入了四个新的基准任务，包括图像到文本序列生成、文本到图像序列生成、交错图像文本内容续写和基于问题的交错图像文本生成，这些任务通过全面的评估框架进一步推动了MLLMs在多模态生成与理解方面的能力。CoMM的贡献不仅在于其高质量的数据集，还在于其为多模态生成任务设定了新的标准，为未来更先进的AI模型奠定了基础。

相关研究论文

• CoMM: A Coherent Interleaved Image-Text Dataset for Multimodal Understanding and Generation

  香港科技大学 · 2024年