SCRAMBLe

SCRAMBLe是一个合成数据集，由波士顿大学的研究团队创建，旨在通过自动化方式生成高质量的合成偏好数据，以改善大型多模态语言模型在合成推理方面的能力。该数据集通过合成具有挑战性的负样本caption，并与现有的图像caption数据进行自动化匹配，用于训练和调整模型，以提高其在视觉语言合成推理任务上的性能。

SCRAMBLe is a synthetic dataset developed by a research team at Boston University. It is designed to generate high-quality synthetic preference data via automated approaches, aiming to improve the synthetic reasoning capabilities of large multimodal language models. This dataset synthesizes challenging negative sample captions and automatically aligns them with existing image caption datasets, which is used for model training and fine-tuning to boost models' performance on visual-language synthetic reasoning tasks.

搜集汇总

数据集介绍

构建方式

SCRAMBLe数据集的构建采用了全自动化的合成偏好数据生成方法，通过利用现有的图像-文本对数据生成高质量的负样本描述。具体流程包括三个关键步骤：首先，利用大型语言模型（如Llama-3.1-70B）通过思维链推理生成初始负样本；其次，通过语法和合理性模型对生成的负样本进行过滤，确保其语法正确且逻辑合理；最后，采用对抗性精炼技术消除数据偏差，确保模型无法仅通过语法或合理性分数区分正负样本。整个流程无需人工标注，显著降低了数据构建成本。

使用方法

使用SCRAMBLe数据集时，首先需将目标多模态大语言模型（MLLM）与生成的偏好数据进行偏好优化训练。训练采用直接偏好优化（DPO）目标，通过低秩适配器（LoRA）微调模型参数。评估时，可在组合性基准（如Winoground、EqBen）上测试模型的图像-文本匹配能力，并通过VQAScore等指标量化性能。数据集的代码、训练模型及合成数据均已开源，用户可灵活应用于不同MLLM的调优与评测。

背景与挑战

背景概述

SCRAMBLe数据集由波士顿大学的研究团队于2025年提出，旨在解决多模态大语言模型（MLLMs）在组合推理方面的不足。该数据集通过合成偏好数据来增强模型对视觉概念组合的理解能力，例如区分“狗追猫”与“猫追狗”等复杂场景。SCRAMBLe的提出填补了现有基准测试（如Winoground）中模型表现与人类水平之间的差距，显著提升了模型在组合推理任务上的性能，并在通用视觉问答任务中也有所改善。

当前挑战

SCRAMBLe数据集面临的挑战主要包括两个方面：1）领域问题的挑战，即如何让模型准确理解视觉概念的组合关系，避免在复杂场景中出现错误推理；2）构建过程中的挑战，包括生成高质量且逻辑合理的合成负样本，避免模型通过语法或逻辑捷径学习。此外，数据生成过程中需确保负样本在语法和语义上的有效性，同时保持对训练的有意义挑战。

常用场景

经典使用场景

SCRAMBLe数据集在视觉语言模型（MLLMs）的组成性推理能力提升中发挥了关键作用。通过生成高质量的合成偏好数据，该数据集被广泛应用于训练模型以区分正确与接近正确但不准确的图像描述。特别是在Winoground等基准测试中，SCRAMBLe帮助模型显著提升了在复杂场景中理解对象及其关系的能力，从而在组成性推理任务中取得了最佳表现。

解决学术问题

SCRAMBLe数据集解决了视觉语言模型在组成性推理方面的核心挑战，即如何准确识别和组合原子视觉概念。传统模型在区分诸如‘狗追猫’与‘猫追狗’等细微差别的场景时表现不佳。通过提供高质量的合成负样本，SCRAMBLe使模型能够学习到更细粒度的视觉语言对应关系，从而在多个组成性基准测试中实现了显著提升，同时也在一般问答任务中带来了小幅但显著的改进。

实际应用

在实际应用中，SCRAMBLe数据集被用于优化多模态大语言模型的性能，特别是在需要高精度视觉语言理解的场景中。例如，在自动驾驶、智能客服和内容审核等领域，模型需要准确理解复杂场景中的对象关系。SCRAMBLe通过自动化生成高质量的负样本，降低了数据标注的成本，同时提升了模型的鲁棒性和泛化能力。

数据集最近研究

最新研究方向

在视觉-语言模型（MLLMs）领域，SCRAMBLe数据集的研究聚焦于通过合成偏好数据增强模型的组合推理能力。当前的前沿研究方向主要包括：1) 开发自动化生成高质量合成负样本的技术，利用大语言模型（如Llama-3.1-70B）的推理链机制确保负样本在语法和语义上的有效性；2) 探索基于偏好优化的微调方法（如DPO），在Winoground等组合性基准测试中实现性能突破（如Molmo-7B模型准确率从49.5%提升至54.8%）；3) 研究组合性提升与通用视觉问答任务之间的迁移效应，实验表明SCRAMBLe调优能同时带来1%的通用任务性能提升。该数据集通过构建语法-合理性双重过滤的对抗性精炼流程，解决了传统硬负样本生成中存在的逻辑短路问题，为多模态大模型的组合推理能力提供了新的训练范式。

相关研究论文

• Enhancing Compositional Reasoning in Vision-Language Models with Synthetic Preference Data

  波士顿大学 · 2025年