有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
CoMT|多模态推理数据集|视觉操作数据集
收藏arXiv2024-12-17 更新2024-12-19 收录
下载链接：
http://arxiv.org/abs/2412.12932v1
下载链接
链接失效反馈资源简介：
CoMT是一个新颖的多模态思维链基准数据集，旨在评估大型视觉-语言模型在复杂视觉操作和简洁表达中的能力。数据集包含3853个样本和14801张图像，涵盖四个类别：视觉创建、视觉删除、视觉更新和视觉选择。CoMT通过多模态输入和输出，模拟人类推理过程，旨在解决传统多模态思维链基准中视觉操作缺失和表达模糊的问题。该数据集适用于多模态推理任务，特别是在需要复杂视觉操作和清晰表达的场景中。
提供机构：
中南大学、苏州大学、哈尔滨工业大学、新加坡国立大学
创建时间：
2024-12-17
AI搜集汇总
数据集介绍
构建方式
CoMT数据集的构建旨在解决传统多模态链式思维（MCoT）基准中存在的视觉操作缺失和表达模糊的问题。该数据集通过引入四种不同的视觉操作任务来全面评估大视觉-语言模型（LVLMs）的多模态推理能力，包括视觉创建、视觉删除、视觉更新和视觉选择。每个任务都设计了特定的问答模板，确保所有任务的标准化格式。数据集的构建过程包括从现有数据集中提取样本，进行模板化修改，并通过人工复核确保图像和文本的准确性。
使用方法
CoMT数据集适用于评估和提升大视觉-语言模型在多模态推理任务中的表现。研究者可以通过该数据集测试模型在视觉创建、视觉删除、视觉更新和视觉选择等任务中的表现，并探索不同的提示策略（如直接提示、链式思维提示、描述性链式思维提示和视觉化思维提示）对模型性能的影响。此外，CoMT数据集还可用于研究上下文学习（In-context Learning）对多模态推理的促进作用，以及如何更好地将多模态生成与逻辑推理相结合。
背景与挑战
背景概述
近年来，大规模视觉-语言模型（LVLMs）在多模态任务中取得了显著进展，特别是在多模态链式推理（MCoT）方面。然而，现有的基准测试仍然遵循传统的多模态输入和文本输出模式，导致视觉操作缺失和表达模糊等问题。为解决这些问题，Zihui Cheng等人于2024年提出了CoMT（Chain of Multi-modal Thought）基准，旨在通过多模态输入和多模态推理输出来模拟人类推理过程。该数据集由中南大学、哈尔滨工业大学和新加坡国立大学等机构的研究人员共同开发，涵盖视觉创建、视觉删除、视觉更新和视觉选择四个类别，全面评估复杂视觉操作和简洁表达能力。
当前挑战
CoMT数据集的构建面临多重挑战。首先，传统的多模态链式推理（MCoT）模式仅依赖文本输出，缺乏视觉操作，导致推理过程中视觉信息的缺失。其次，文本表达在传达视觉推理条件时存在模糊性，难以准确反映视觉信息。此外，构建过程中需要生成多模态推理输出，这对模型的视觉生成能力和多模态整合能力提出了更高要求。最后，评估模型在多模态推理中的表现时，如何有效衡量模型的多模态对齐能力和逻辑推理能力也是一大挑战。
常用场景
经典使用场景
CoMT数据集的经典使用场景主要集中在多模态推理任务中，特别是在视觉与语言结合的复杂推理过程中。该数据集通过四个类别（视觉创建、视觉删除、视觉更新和视觉选择）来评估大型视觉-语言模型（LVLMs）在多模态推理中的表现。这些任务要求模型不仅能够处理多模态输入，还能生成多模态的推理输出，从而模拟人类在解决复杂问题时的视觉与语言整合过程。
解决学术问题
CoMT数据集解决了当前多模态推理基准中存在的两大问题：一是缺乏视觉操作，传统的多模态推理基准仅依赖文本输出，忽略了视觉操作的重要性；二是表达模糊，文本难以精确传达视觉推理的条件。CoMT通过引入多模态推理输出，弥补了这些不足，推动了多模态推理技术的发展，为未来的研究提供了新的方向。
实际应用
CoMT数据集在实际应用中具有广泛的前景，特别是在需要复杂视觉推理的领域，如教育、医疗诊断和自动驾驶等。例如，在教育领域，CoMT可以帮助学生通过视觉和语言的结合更好地理解几何问题；在医疗诊断中，CoMT可以辅助医生通过多模态输入进行更准确的病情分析；在自动驾驶中，CoMT可以帮助车辆更好地理解复杂的交通场景。
数据集最近研究
最新研究方向
CoMT数据集的最新研究方向主要集中在多模态推理能力的提升上。该数据集通过引入视觉操作和多模态输出，旨在模拟人类在复杂视觉任务中的推理过程。研究者们通过评估多种大型视觉-语言模型（LVLMs），揭示了当前模型在多模态推理中的局限性，尤其是在视觉操作和表达的精确性方面。未来的研究方向包括如何更有效地整合多模态生成、逻辑推理和视觉操作，以提升模型在复杂视觉任务中的表现。此外，上下文学习（In-context Learning）被认为是提升多模态推理性能的有效方法，尤其是在结合多模态输入和输出的情况下。
相关研究论文
- 1CoMT: A Novel Benchmark for Chain of Multi-modal Thought on Large Vision-Language Models中南大学、苏州大学、哈尔滨工业大学、新加坡国立大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国交通事故深度调查（CIDAS）数据集
交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、
北方大数据交易中心 收录
URPC系列数据集, S-URPC2019, UDD
URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。
github 收录
UAVDT
UAVDT是一个用于目标检测任务的数据集。
github 收录
FSDD
FSDD（Free Spoken Digit Dataset）是一个开源的语音数据集，包含由不同说话者朗读的数字0到9的音频文件。该数据集旨在用于语音识别和机器学习算法的训练和测试。
github.com 收录
CliMedBench
CliMedBench是一个大规模的中文医疗大语言模型评估基准，由华东师范大学等机构创建。该数据集包含33,735个问题，涵盖14个核心临床场景，主要来源于顶级三级医院的真实电子健康记录和考试练习。数据集的创建过程包括专家指导的数据选择和多轮质量控制，确保数据的真实性和可靠性。CliMedBench旨在评估和提升医疗大语言模型在临床决策支持、诊断和治疗建议等方面的能力，解决医疗领域中模型性能评估的不足问题。
arXiv 收录