Spatial Relation for Generation (SR4G)

SR4G数据集包含990万对图像-标题用于训练，超过6万条标题用于评估，旨在通过包含明确的14种空间关系来改进文本到图像生成系统的空间表现。The SR4G dataset consists of 9.9 million image-caption pairs for training and over 60,000 captions for evaluation. It aims to improve the spatial performance of text-to-image generation systems by incorporating 14 explicit spatial relations.

搜集汇总

数据集介绍

构建方式

SR4G数据集基于COCO图像及其对象标注，通过启发式规则从边界框中推断物体间的空间关系，自动生成包含明确空间关系的合成描述。数据集涵盖投影、拓扑和尺度三类共14种空间关系，构建了990万对图像-描述训练样本及超过6万条评估描述。为测试泛化能力，还设置了未见分割，确保训练与测试中的物体集合互不相交。

使用方法

SR4G主要用于微调扩散模型以增强其对空间关系的理解与生成能力。研究者可将数据集中的图像-描述对作为训练数据，采用原始扩散模型的损失函数进行微调。评估时，使用VISOR指标及其条件变体VISORCond，借助开放词汇目标检测器OWL-ViT提取生成图像中的边界框，并通过启发式规则判定空间关系是否正确。该数据集代码与数据均已公开，便于复现与扩展。

背景与挑战

背景概述

在文本到图像生成领域，尽管近年来以Stable Diffusion为代表的扩散模型取得了显著进展，但现有系统在准确描绘物体间的显式空间关系（如“左”、“右”、“上方”、“下方”）时仍表现不佳。这一瓶颈严重制约了其在文本引导的图像编辑等关键应用中的潜力。针对这一缺陷，来自巴斯克大学和爱丁堡大学的研究团队于2024年提出了Spatial Relation for Generation（SR4G）数据集。该数据集基于COCO图像与标注，通过自动生成包含14种明确空间关系的合成描述，构建了990万对训练图像-描述对及超过6万条评估描述。SR4G是首个专用于空间关系微调文本到图像生成系统的基准，其发布为提升模型的空间理解能力提供了关键数据支撑，并推动了该领域从复杂流水线架构向简洁端到端模型的转变。

当前挑战

SR4G数据集所解决的领域核心挑战在于，现有文本到图像生成模型对显式空间关系的表征能力严重不足，这源于训练数据中此类关系极度匮乏（如LAION-2B中仅0.72%的描述包含空间词汇）。在数据集构建过程中，挑战尤为突出：首先，需从COCO的80类物体中筛选出在自然图像中合理出现的空间三元组，以避免生成如“滑雪板在牙刷上方”等不自然组合，最终保留68.8%的合理三元组；其次，需设计启发式规则精确判定14种空间关系（包括投影、拓扑和尺度关系），并确保合成描述的简洁性与准确性；此外，为验证模型对未见物体的泛化能力，需构建物体不重叠的训练与测试划分，这增加了数据生成的复杂性，同时需平衡数据增强策略（如随机翻转）对空间方向关系的影响。

常用场景

经典使用场景

在文本到图像生成领域，空间关系的精确表达一直是技术瓶颈，现有模型如Stable Diffusion在处理“左于”、“下方”等显式空间关系时表现欠佳。SR4G数据集应运而生，其核心使用场景在于为文本到图像生成模型提供大规模、高质量的图像-描述对，以增强模型对14种空间关系（包括投影、拓扑和尺度关系）的理解与生成能力。通过微调，模型能够更准确地根据文本描述生成符合空间约束的图像，例如正确渲染“猫在桌子上方”或“狗与椅子分离”等复杂场景。

解决学术问题

SR4G数据集系统性地解决了学术界长期关注的显式空间关系生成难题。此前，由于训练数据中空间关系描述稀缺（如LAION-2B中仅0.72%的文本包含空间词汇），模型难以学习此类概念。SR4G通过自动合成包含14种空间关系的图像-描述对（共990万对训练样本和6万条评估文本），首次为端到端扩散模型的空间微调提供了可靠基准。实验证明，微调后的模型在VISOR指标上提升高达9个百分点，且能泛化至未见物体，显著优于依赖复杂流水线架构的VPGen和LayoutGPT等现有方法。

实际应用

在实际应用中，SR4G数据集推动文本到图像生成技术向更精准、更可控的方向演进。其生成的模型可直接服务于文本驱动的图像编辑、虚拟场景构建和辅助设计等领域，例如用户输入“将花瓶置于桌子的左侧”时，系统能准确生成符合空间描述的图像。此外，该数据集支持对空间关系偏见的校正（如减少模型对“高于”和“低于”的不平衡倾向），提升生成结果的真实性与多样性，为工业级图像生成工具（如Midjourney、DALL-E）的优化提供了可复用的数据资源。

数据集最近研究

最新研究方向

在文本到图像生成领域，显式空间关系的准确表达一直是制约模型性能的关键瓶颈。当前主流扩散模型如Stable Diffusion，由于训练数据中空间关系描述稀缺（仅0.72%的LAION-2B图像文本对包含此类信息），导致对“左侧”、“下方”等空间指令的理解严重不足。针对这一挑战，SR4G数据集应运而生，它通过自动化流程从COCO图像中提取边界框并基于启发式规则生成包含14种显式空间关系的合成图文对，规模达990万对，并首次支持空间感知的微调训练。实验表明，基于SR4G微调的Stable Diffusion在VISOR指标上提升高达9个百分点，且能泛化至未见物体，以更少参数超越VPGen等复杂流水线模型。该工作不仅填补了空间关系训练数据的空白，更揭示了数据增强对提升生成模型空间推理能力的核心价值，为未来构建更精准的视觉语言系统奠定了关键基础。

相关研究论文

• Improving Explicit Spatial Relationships in Text-to-Image Generation through an Automatically Derived Dataset

  · 2024年