SCIENCE-T2I

SCIENCE-T2I是一个由专家注释的对抗性数据集，包含20k个对抗性图像对和9k个提示，覆盖了物理学、化学和生物学等广泛的不同科学知识类别。每个数据对包括一个符合现实和另一个不符合现实的图像，以方便进行偏好建模。所有数据均经过人类专家基于专业知识和广泛知识库的咨询进行评审。SCIENCE-T2I旨在训练能够根据科学知识对生成的图像进行评估的语言指导奖励模型。

搜集汇总

数据集介绍

构建方式

SCIENCE-T2I数据集通过专家标注的方式构建，包含超过20,000对对抗性图像和9,000个提示，覆盖了物理学、化学和生物学等多个科学领域。数据收集采用对抗性设置，每对数据包含一个符合现实的图像和一个不符合现实的图像，以促进偏好建模。为确保数据质量和准确性，所有数据均经过人类专家审核，并参考了广泛的知识库。此外，利用GPT-4o生成模板和提示，驱动文本到图像模型生成图像，并通过严格的筛选标准确保图像质量。

使用方法

SCIENCE-T2I数据集可用于训练和评估文本到图像生成模型，特别是在需要科学推理的任务中。数据集支持监督微调（SFT）和在线微调（OFT）两阶段训练框架，通过SCISCORE奖励模型优化生成图像的科学真实性。用户可以利用数据集中的对抗性图像对和提示，评估模型在科学知识理解和图像生成一致性方面的表现。此外，数据集还可用于基准测试，比较不同模型在科学推理任务上的性能。

背景与挑战

背景概述

SCIENCE-T2I是由纽约大学、华盛顿大学、宾夕法尼亚大学和加州大学圣地亚哥分校的研究团队于2025年提出的专业数据集，旨在解决图像合成中的科学幻觉问题。该数据集包含20,000对对抗性图像和9,000个提示词，覆盖物理、化学和生物学等广泛科学领域。作为CVPR 2025会议论文的成果，SCIENCE-T2I通过专家标注的方式建立了科学知识与生成模型的桥梁，其衍生的SCISCORE评估模型在科学合理性评估方面达到了接近人类专家的水平。该数据集的创建标志着生成模型从表象模仿向科学严谨性迈进的重要一步，为文本到图像生成领域设立了新的真实性标准。

当前挑战

SCIENCE-T2I面临的核心挑战体现在两个方面：领域问题方面，现有生成模型对科学原理的理解不足，导致产生违反物理定律的视觉幻觉，如错误表现物体浮力或化学反应现象；构建过程方面，数据收集需平衡科学准确性与视觉多样性，专家标注成本高昂，且需处理跨学科知识整合的复杂性。特别地，模型需区分'隐含提示'（如'未成熟苹果'）与'显式提示'（如'青苹果'）的视觉表征差异，这对标注一致性和模型理解能力提出了双重挑战。此外，将科学知识编码为可量化的评估指标（SCISCORE）需要突破传统CLIP模型在隐式推理上的局限性。

常用场景

经典使用场景

SCIENCE-T2I数据集在计算机视觉领域被广泛应用于提升生成模型对科学知识的理解和应用能力。该数据集通过专家标注的对抗图像对和提示词，为模型提供了丰富的科学现象示例，涵盖了物理、化学和生物等多个学科。研究人员利用该数据集训练和评估生成模型，确保生成的图像不仅美观，还符合科学现实。

解决学术问题

SCIENCE-T2I数据集解决了生成模型在科学知识理解和应用上的不足。传统生成模型往往仅关注图像的美观和分辨率，而忽略了科学现实的准确性。该数据集通过提供对抗性示例，帮助模型识别和纠正科学上的错误，从而提升生成图像的科学合理性。此外，该数据集还为评估生成模型的科学知识理解能力提供了标准化的测试平台。

实际应用

SCIENCE-T2I数据集在实际应用中具有广泛的价值。例如，在教育领域，该数据集可以用于开发科学教育工具，生成符合科学原理的教学图像。在科研领域，研究人员可以利用该数据集训练模型，生成科学准确的示意图或实验模拟图像。此外，该数据集还可用于开发科学知识问答系统，提升系统在视觉和文本模态上的科学理解能力。

数据集最近研究

最新研究方向

SCIENCE-T2I数据集的最新研究方向聚焦于解决图像合成中的科学幻觉问题，通过引入专家标注的对抗性数据集和SCISCORE奖励模型，显著提升了生成图像的科学真实性和一致性。该数据集覆盖物理、化学和生物学等多个科学领域，包含20k对抗性图像对和9k提示词，为生成模型提供了丰富的训练资源。前沿研究探索了如何将科学知识深度整合到生成模型中，特别是在扩散模型的两阶段微调框架中，通过监督微调和在线微调策略，实现了超过50%的性能提升。这一进展不仅为科学可视化设定了新的评估标准，也为跨模态推理和多学科交叉研究开辟了道路。

相关研究论文

• Science-T2I: Addressing Scientific Illusions in Image Synthesis

  纽约大学, 华盛顿大学, 宾夕法尼亚大学, 加利福尼亚大学圣地亚哥分校 · 2025年