FoR-T2I

FoR-T2I是一个基准测试，评估文本到图像模型在指定参考系与相机视角不同时能否遵循方向描述。该数据集包含1200个提示对，分为三个难度级别，并附带结构化布局元数据和评估工具。FoR-T2I is a benchmark that evaluates whether text-to-image models can follow directional descriptions when the specified frame of reference differs from the camera viewpoint. This benchmark dataset contains 1200 prompt pairs, divided into three difficulty levels, and is accompanied by structured layout metadata and evaluation tools.

原始信息汇总

数据集概述

FoR-T2I 是一个用于评估文本到图像（T2I）生成模型是否能够正确理解和遵循“参照系”（Frame of Reference）相关空间指令的基准数据集。该数据集针对当指定方向参考与相机视角不一致时，模型能否准确绘制带有方向性描述的物体空间关系这一问题而设计。

核心特点

• 配对提示设计：每个数据项包含一对提示——FoR_prompt（通过定向锚定物体自身的左、右、前、后参考系描述目标布局）和 Cam_prompt（从相机/图像视角描述相同布局的对照提示），用以区分普通的图像坐标布局能力与使用物体自身方向参照系的额外难度。
• 规模与难度：包含 1,200 对提示，分为三个难度等级（L1、L2、L3），并附带结构化布局元数据及评估工具。
• 评估发现：在 22 个近期 T2I 模型上的实验显示，从相机视角提示到参照系提示存在一致的性能下降；同时提供了基于提示改写和 VLM 门控视觉反馈的无训练缓解方法研究。
• 数据内容：该仓库仅提供提示词和结构化布局元数据，不包含生成的模型图像。

数据字段

字段	说明
id	唯一的基准项标识符
level	难度级别（L1、L2 或 L3）
camera_view	相机设置（top_down 或 eye_level）
FoR_prompt	通过锚定物体自身参照系描述目标布局的提示
Cam_prompt	从图像视角描述相同布局的对照提示
objects	提示中使用的物体角色（含锚定与目标类别）
layout_result	结构化布局信息（坐标、解析方向、关系元数据）
layout_signature	紧凑的评估导向布局表示
target_anchor_relation	目标相对于锚定物体自身方向的关系
target_image_relation	目标在相机/图像帧中的等价位置
object_orientation	锚定物体所需的方向
orientation_rule	仅 L3 情况下的方向链接规则，否则为 null
split	发布分割标识

构建与评估

• 数据创建：物体词汇取自现有 T2I 基准数据集，筛选具有具体视觉可识别性和可用方向线索的类别；每个数据项包含解析后的布局、相机视角、锚定方向、目标关系及配对提示文本。
• 自动评估：使用开放词汇检测、分割回退、深度线索和基于 VLM 的锚定方向验证；仅当目标物体被检测、目标空间关系满足且锚定方向正确时，预测才计为正确。
• 评估结果格式：需为每条基准项分别生成 FoR 和 Cam 两种提示对应的图像，结果以 JSON 行记录（含 id、prompt_kind、image_path、status、model 字段）。

使用方式

可通过 HuggingFace datasets 库加载，或直接读取本地 JSONL 文件。

限制与许可

• 限制：该数据集仅用于评估而非训练；自动评分依赖所选用的检测器、分割模型、深度模型及 VLM 评判模型；发布结果时应报告所有生成与评估设置。
• 许可：提示词与结构化布局元数据采用 CC BY 4.0 许可；配套代码采用 Apache License 2.0；第三方模型与服务遵循其自有许可。

引用信息

该工作对应的论文可在 arXiv:2608.03357 获取。

搜集汇总

数据集介绍

构建方式

FoR-T2I数据集通过精心设计的提示词对(prompt pairs)构建而成，旨在评估文本到图像模型在处理参照系转换时的空间推理能力。每个数据项包含一个基于物体自身视角的参照系提示词(FoR_prompt)和一个从相机视角描述相同布局的对照提示词(Cam_prompt)，这种配对设计巧妙地区分了模型的常规图像坐标布局能力与理解有方向性物体左右前后关系的能力。数据集包含1200对提示词，分为三个难度等级(L1, L2, L3)，涵盖俯视和视线水平两种相机视角，并附有结构化的布局元数据，如物体角色、坐标、解析方向及目标与锚定物体的相对关系。物体类别来源于现有基准测试的词汇表，确保视觉可识别性和方向线索的可用性。

特点

FoR-T2I数据集的显著特点在于其任务设计的针对性和挑战性。它聚焦于文本到图像模型常见的空间理解误区，即物体在图像中的位置与其自身方向性参照系可能不一致，例如一个人的左手在图像中可能位于右侧。数据集通过配对提示词直接量化模型在相机视角与参照系视角下的性能差距，实验表明22个现代T2I模型均出现一致性下降，凸显了该任务的难度。数据集还提供了多层次的元数据，支持细粒度的评估，并附带评估工具，包括开放词汇检测、分割、深度线索和基于VLM的锚定方向验证，确保评估的严谨性和可重复性。此外，数据集仅发布提示词和布局元数据，不包含生成图像，便于灵活整合到各种评估流程中。

使用方法

FoR-T2I的使用方法简洁且灵活。研究者可通过Hugging Face的`datasets`库直接加载数据集，例如使用`load_dataset("ernie-research/FoR-T2I")`获取测试集，每项包含`FoR_prompt`和`Cam_prompt`。对于本地使用，也可从JSONL文件读取数据。数据字段丰富，支持针对不同难度级别和相机视图进行分组分析。评估时，需要为每个提示对生成图像，并按照指定格式记录结果，然后利用GitHub仓库中的脚本自动评估，基于检测和方向验证计算正确率。该数据集专为评估设计，不适合训练，且基准测试结果需报告完整的生成和评估配置。数据遵循CC BY 4.0许可，代码为Apache 2.0，确保了研究用途的开放性和合法性。

背景与挑战

背景概述

FoR-T2I数据集由ERNIE研究团队于2026年创建，旨在系统评估文本到图像（T2I）模型在遵循基于物体自身参照系（如左右前后）的空间方向描述时的能力。该研究填补了现有基准测试仅关注图像坐标布局而忽略方向性参照系的空白，通过配对设计分离了基本布局能力与方向参照理解能力。数据集包含1200对提示词，涵盖三个难度级别，并基于22种主流T2I模型的测试揭示了模型在方向参照任务上的显著性能下降。该数据集为T2I模型的空间推理能力提供了重要评测基准，推动了该领域对方向性语义理解的研究。

当前挑战

FoR-T2I面临的核心挑战在于T2I模型常将方向描述误解为图像坐标系中的左右，而非物体自身的左右，导致空间关系绘制错误。构建过程中，需从现有基准词汇中筛选具有明确方向线索的具体物体，并设计精确的配对提示词以解耦图像坐标布局与方向参照，同时确保布局元数据和评估工具（如开放词汇检测、分割、深度估计和VLM判定）的准确性与一致性。此外，不同难度层级（L1-L3）的设置需反映从简单到复杂的推理需求，评估结果的可靠性依赖多个视觉模型，易受所选组件性能影响，增加了基准构建和复现的复杂性。

常用场景

经典使用场景

FoR-T2I数据集为文本到图像生成模型的方位理解能力提供了系统性的评估基准。该数据集通过精心设计的1200对提示词，每对包含一个基于物体自身参考系的提示（FoR_prompt）和一个基于相机视角的对照提示（Cam_prompt），从而能够独立区分模型在图像坐标空间中的基础布局能力与在涉及物体自身左右前后方向时的额外理解难度。这一设计使得研究者能够针对性地剖析模型在处理视角依赖的空间关系时的表现，广泛适用于对现代扩散模型和自回归模型的空间推理能力进行横向对比与纵向追踪。

解决学术问题

该数据集有效解决了文本到图像生成领域中关于空间关系理解评估碎片化的问题。以往基准大多仅考察图像坐标下的简单方位描述，忽视了物体自身朝向带来的参考系转换挑战，导致模型在真实世界场景中常常出现左右颠倒等系统性错误。FoR-T2I通过严谨的对照实验设计和分难度级别（L1-L3）的评测体系，为学术界提供了一个可量化、可复现的评估工具，不仅揭示了当前主流模型在参考系转换上的普遍不足，还为后续改进提供了明确的性能度量标准，推动了空间智能在生成模型中的深入研究。

衍生相关工作

FoR-T2I的发布催生了若干后续研究方向，包括提示重写策略、视觉语言模型（VLM）门控的反馈校正机制，以及面向参考系理解的多模态评测拓展。其工作已引领对生成模型内在空间推理瓶颈的探索，启发了诸如构建更细粒度的方向性描述数据集、开发训练时面向参考系的微调策略等衍生工作。此外，该数据集的配对测试范式也被借鉴用于评估视频生成和3D场景生成中的视角一致性，为生成模型的可信空间认知研究提供了新的思路和基准参考。