CoMT

CoMT是一个针对大型视觉语言模型的多模态思维链的新基准数据集。它包含视觉创造、视觉删除、视觉更新和视觉选择四个类别，以探索复杂视觉操作和简洁表达。数据集由一个JSONL文件和多个图像文件夹组成，涵盖了各种任务类型。

CoMT is a novel benchmark dataset for multimodal chain-of-thought of large vision-language models. It includes four categories: visual creation, visual deletion, visual update, and visual selection, aiming to explore complex visual operations and concise expressions. The dataset consists of a JSONL file and multiple image folders, covering various task types.

搜集汇总

数据集介绍

构建方式

CoMT数据集的构建基于对大规模视觉语言模型在多模态任务中的表现进行评估的需求，特别是针对多模态链式思维（MCoT）的推理。该数据集整合了多模态输入与多模态输出，包含视觉创造、视觉删除、视觉更新和视觉选择四大类别，旨在全面探索实际场景中的复杂视觉操作和简洁表达。数据集的结构包括一个JSONL格式的数据文件和相关的图像文件，每条记录包含问题、选项、图像、解答以及任务类型和注释信息。

特点

CoMT数据集的特点在于其创新性地要求多模态输入与输出，以模拟人类固有的整合视觉操作的心智过程。数据集覆盖了多种复杂的视觉操作类型，且任务种类丰富，能够全面评估大型视觉语言模型的多模态推理能力。此外，该数据集遵循cc-by-sa-4.0许可，保证了数据的开放性和共享性。

使用方法

使用CoMT数据集，研究者可以加载JSONL文件，其中每行是一个JSON对象，包含了执行任务所需的所有信息。用户需要根据数据集中的问题、选项、图像等信息，对模型进行训练或评估。数据集提供了详细的注释和坐标信息，有助于模型在多模态任务中的精确 grounding。

背景与挑战

背景概述

CoMT数据集，全称为Chain of Multi-modal Thought，是一个针对大型视觉语言模型的新型基准测试。该数据集由Cheng Zihui等人创建，旨在突破传统多模态输入与文本输出范式的局限，推动多模态思维链推理的研究。CoMT数据集涵盖了视觉创造、视觉删除、视觉更新和视觉选择四大类别，以模拟人类固有的视觉操作整合推理过程。自2025年AAAI会议接受其相关工作以来，CoMT数据集对视觉语言模型领域的研究产生了显著影响，为多模态生成在推理过程中的应用提供了新的研究方向。

当前挑战

CoMT数据集在构建过程中面临的挑战主要包括：如何设计能够全面探索复杂视觉操作与简洁表达的任务类别；如何有效评估大型视觉语言模型在多模态输入与输出上的性能；以及如何确保数据集的多样性和公平性，使其能够适应不同的应用场景。此外，当前的研究仍需进一步探索如何通过多模态生成增强模型的推理能力，并解决在实际应用中可能出现的视觉操作缺失和表达模糊等问题。

常用场景

经典使用场景

CoMT数据集作为大型视觉语言模型多模态思维链的新基准，其经典使用场景在于评估模型在处理视觉创造、删除、更新和选择任务时的表现。该数据集通过多模态输入和输出的特性，模拟人类在推理过程中固有的视觉操作整合能力，为研究者在大型视觉语言模型领域提供了一个全新的评估工具。

实际应用

在实际应用中，CoMT数据集可用于提升机器在图像理解、图像生成和视觉问答等方面的能力。例如，在图像编辑领域，该数据集可以帮助机器更好地理解图像内容并进行创造性修改；在智能交互领域，它有助于提高机器对用户指令的理解和响应质量。

衍生相关工作

CoMT数据集的推出促进了多模态思维链研究领域的繁荣，衍生出了一系列相关工作，包括对现有视觉语言模型的评估、新型多模态推理策略的探索以及针对特定视觉任务的定制化模型设计等，进一步推动了大型视觉语言模型的研究和应用。