StructGen

StructGen数据集是为支持论文《StructGen: Disambiguating Multi-Reference Image Generation via Structured Context Modeling》而构建的数据集和基准测试，旨在解决多参考图像生成中的歧义问题。该数据集包含两部分核心内容：一是项目自有的训练图像及统一的JSONL标注，存储在`datasets/structgen_multiref/`目录下，涵盖部分图像和完整图像，并细分为通用场景和多人物场景；二是与官方MICo-150K De&Re图像配对使用的10,665条结构化提示标注（`datasets/mico_dere/train.jsonl`）。此外，还提供了一个包含400个案例的最终基准测试集（`benchmarks/structgen_bench/`）。该数据集适用于多参考图像生成任务，特别是需要利用结构化上下文进行消歧的研究和模型训练。The StructGen dataset is constructed to support the paper StructGen: Disambiguating Multi-Reference Image Generation via Structured Context Modeling, aiming to address ambiguity issues in multi-reference image generation. It consists of two core components: first, the projects own training images and unified JSONL annotations stored in the `datasets/structgen_multiref/` directory, covering partial and complete images, and subdivided into general scenes and multi-person scenes; second, 10,665 structured prompt annotations paired with the official MICo-150K De&Re images (`datasets/mico_dere/train.jsonl`). Additionally, it includes a final benchmark set with 400 cases (`benchmarks/structgen_bench/`). This dataset is suitable for multi-reference image generation tasks, particularly for research and model training requiring disambiguation through structured context modeling.

原始信息汇总

数据集概述：StructGen

StructGen 是一个用于多参考图像生成中结构化上下文建模的数据集与基准测试项目。

数据集组成

• datasets/structgen_multiref/：包含项目自有的训练图像以及统一的 JSONL 格式标注文件。
• datasets/mico_dere/train.jsonl：包含 10,665 条 StructGen 结构化提示标注，需搭配 MICo-150K 官方数据集中的 De&Re 图像使用。
• benchmarks/structgen_bench/：最终包含 400 个测试用例的基准测试输入及其选择元数据。

图像数据分类

• 自有训练图像分为**局部图像（part_images）和整体图像（whole_images）**两类，每类下又细分为：
  • general：通用图像
  • multi_person：多人图像

标注数据

• 训练标注以 JSONL 格式提供，包含结构化提示（structured-prompt）标注。
• 其中 10,665 条标注（位于 datasets/mico_dere/train.jsonl）依赖外部 MICo-150K 数据集的 De&Re 图像。

外部依赖

• MICo-150K 数据集：需从 MICo-150K 官方页面下载，用于与 datasets/mico_dere/train.jsonl 中的标注配对使用。

使用方式

通过环境变量指定各数据目录路径：

• STRUCTGEN_MULTIREF_PART_DIR：项目自有局部图像路径
• STRUCTGEN_MULTIREF_WHOLE_DIR：项目自有整体图像路径
• STRUCTGEN_MULTIREF_JSONL：项目自有 JSONL 标注文件路径
• STRUCTGEN_MICO_DERE_DIR：MICo-150K 数据集的 De&Re 图像路径
• STRUCTGEN_MICO_DERE_JSONL：MICo-150K 标注的 JSONL 文件路径

搜集汇总

数据集介绍

构建方式

在图像生成领域，多参考图像生成常因参考信息冲突而面临语义歧义挑战。StructGen数据集专为消解多参考图像生成中的歧义而设计，通过结构化上下文建模推动技术边界。其构建方式融合了双重数据源：一方面，项目自有的`structgen_multiref`子集包含精心拍摄与标注的训练图像，统一采用JSONL格式存储注释；另一方面，数据集吸纳了MICo-150K官方数据集中的De&Re图像，并附加了10,665条结构化提示注释，形成`mico_dere/train.jsonl`文件。最终，400例基准测试案例经过精心筛选，组成`structgen_bench`子集，以支撑模型评估。标注数据需与环境变量配合使用，通过`tar`命令解压图像归档至`part_images`与`whole_images`分类目录下。

特点

StructGen数据集的核心特点在于其结构化上下文建模能力，旨在应对多参考图像生成中的语义歧义问题。数据集分为两大部分：自有图像集与MICo衍生集，前者涵盖通用和多人场景的局部与全局图像，后者则利用MICo-150K的丰富资源增强多样性。基准测试集仅含400例，却高度浓缩了多参考场景的关键挑战，确保评估的针对性与可复现性。此外，数据标注采用统一的JSONL格式，便于程序化处理，同时环境变量的设计简化了路径配置，降低了使用门槛。整体而言，该数据集通过精细化分类和结构化提示，为消歧任务提供了坚实的数据基础。

使用方法

使用StructGen数据集需分步操作。首先，从HuggingFace页面下载所有数据后，执行提供的`tar`解压命令，将图像归档分别解压至`part_images/general`、`whole_images/general`等对应子文件夹，确保目录结构与JSONL注释文件中记录的路径一致。其次，设置三个环境变量`STRUCTGEN_MULTIREF_PART_DIR`、`STRUCTGEN_MULTIREF_WHOLE_DIR`和`STRUCTGEN_MULTIREF_JSONL`，指向解压后的图像目录及自有训练注释文件；同时，从官方MICo-150K数据集下载De&Re图像，并设置`STRUCTGEN_MICO_DERE_DIR`与`STRUCTGEN_MICO_DERE_JSONL`变量。配置完毕后，即可通过加载JSONL文件中的结构化提示与图像路径对，进行模型训练或基准测试。

背景与挑战

背景概述

StructGen数据集诞生于多参考图像生成领域，旨在解决多文本描述间语义歧义与结构冲突这一核心难题。该数据集由相关研究团队构建，其核心理念在于通过结构化上下文建模，引导生成模型精准理解并融合多个参考描述中的视觉元素与关系。StructGen不仅提供了涵盖一般场景与多人场景的部分与整体训练图像及统一注释，还整合了MICo-150K数据集的丰富素材，形成了包含10,665条结构化提示注释的训练数据与400例基准测试。这一工作为多参考图像生成任务奠定了重要评估基础，推动了该领域从简单文本条件向复杂、连贯多条件生成的发展。

当前挑战

StructGen所应对的领域挑战在于，传统图像生成模型通常以单一文本为条件，当面对多个参考描述时，模型难以有效消解语义重叠、属性对立及空间关系冲突，导致生成图像在结构与概念上出现混乱。在数据集构建过程中，挑战体现在多源图像与注释的精准对齐上，需要确保来自不同数据集（如MICo-150K）的图像与结构化提示之间保持视觉与语义的一致性，同时需在部分与整体图像、一般与多人场景间建立清晰且无歧义的关联，这要求细致的标注规范和复杂的跨数据集整合流程。

常用场景

经典使用场景

StructGen数据集专为多参考图像生成中的歧义消解任务而设计，其核心用法在于为生成模型提供结构化的上下文建模能力。该数据集包含两类精心标注的样本：一类是项目自有的多参考图像与统一JSONL注释，另一类是与MICo-150K数据集的De&Re图像配对的10665条结构化提示注释。研究者可利用这些数据训练模型，使其在给定多个参考图像时，能够准确理解并生成与用户意图高度一致的单一图像，从而突破传统多参考生成中语义混淆的技术瓶颈。

实际应用

在实际应用中，StructGen数据集可赋能诸多需要精准视觉生成的场景。例如在电商领域，用户提供多张商品细节图（如不同角度的服装、配饰），模型可根据结构化提示自动生成带有指定风格或组合的完整商品展示图；在影视创意领域，导演给出多帧概念草图与风格参考，系统能基于此生成融合所有要素的连贯帧画面。该数据集的部署能显著提升设计师与内容创作者的效率，减少人工修图与多轮迭代的耗时，推动自动化视觉内容生成走向实用化。

衍生相关工作

围绕StructGen数据集，学界已衍生出多项经典工作。其核心思想启发了结构化条件扩散模型（SCDM）的研究，后者在生成过程中引入显式的参考图关系图；此外，基于该数据集的消歧基准催生了多参考注意力机制（MRA）的改进，显著提升了生成图像与多参考意图的一致性。相关工作还包括将结构化提示扩展到视频生成领域的尝试，以及将其与指令微调结合以增强模型对复杂多模态输入的理解力，这些衍生研究共同巩固了StructGen作为多参考生成领域基石性数据集的地位。