Arena-T2I Hard

Arena-T2I Hard是由Arena Intelligence Inc与加州大学洛杉矶分校联合创建的高难度文本到图像生成基准数据集，旨在评估模型对复杂提示的忠实度。该数据集包含310条真实用户提示，每条提示平均约430词，并分解为约30个是/否约束问题，涵盖艺术、三维建模、卡通等六种视觉风格类别，数据来源于2026年1月至3月的公开竞技场用户投票日志。其构建过程通过筛选真实用户请求并利用Gemini-3-Pro进行结构化分解，形成依赖感知的有向无环图约束。该数据集主要应用于提升文本到图像生成模型的忠实度评估与优化，解决现有基准在复杂多约束提示下无法有效区分模型性能的局限性，推动生成式人工智能在实际创意工作流程中的可靠应用。Arena-T2I Hard is a high-difficulty text-to-image generation benchmark dataset jointly developed by Arena Intelligence Inc and the University of California, Los Angeles (UCLA), designed to assess the faithfulness of text-to-image generation models to complex prompts. This dataset includes 310 real user prompts, each with an average length of approximately 430 words, and each prompt is decomposed into around 30 yes/no constraint questions covering six visual style categories such as art, 3D modeling, and cartoon. The dataset's data is sourced from public user voting logs on the Arena platform from January to March 2026. Its construction process involves screening real user requests and leveraging Gemini-3-Pro for structured decomposition to create dependency-aware directed acyclic graph (DAG) constraints. This dataset is primarily applied to enhance the evaluation and optimization of the faithfulness of text-to-image generation models, addressing the limitation that existing benchmarks cannot effectively distinguish model performance under complex multi-constraint prompts, thereby advancing the reliable deployment of generative AI in practical creative workflows.

原始信息汇总

Arena-T2I-Hard 数据集总结

概述 Arena-T2I-Hard 是一个用于评估文本到图像生成模型忠实度的基准数据集。它包含 310 个具有挑战性的、来自真实 Arena 用户的复杂提示词（长句、多实体、包含属性、空间关系、计数和风格约束），并配有一个依赖感知的忠实度检查清单评估器。

核心特性

• 重难点数据：包含310个来自真实用户的高难度提示词。
• 依赖感知评估：每个提示词被分解为一个**有向无环图（DAG）**形式的“是/否”问题清单。评估时，若父节点问题失败（即“否”），其所有子节点问题将被跳过并自动计为失败。
• 高区分度：旨在解决DPG-Bench和DSG等现有基准在复杂场景下区分度不足的问题。

数据集结构

• 提示词及其对应的依赖感知问题清单托管在 Hugging Face Hub (lmarena-ai/Arena-T2I-Hard)。
• GitHub仓库 (banyuanhao/Arena-T2I-Hard) 主要包含评估代码、数据格式说明（位于 benchmark/ 目录）和许可证。
• 数据可通过 datasets 库直接加载。

评估方法

1. 分解 (Decompose)：将提示词分解为问题的DAG。
2. 检查 (Check)：按广度优先（BFS）顺序检查图像对每个问题的符合程度，父节点失败则跳过子节点。
3. 评分 (Score)：最终得分为所有问题中回答“是”的比例。

使用方式

• 评估自有模型：为310个提示词生成图像（命名为 {prompt_id}.png），然后运行 score_benchmark.py 脚本，可选择 Qwen3.5-VL 或 Gemini 作为评估判官。
• 分解自定义提示词：使用 decompose_prompts.py 脚本（需要 Gemini API Key）将自定义提示词分解为评估清单。

相关资源

• 论文: 即将发布。
• 项目页面: https://banyuanhao.github.io/Arena-T2I-Hard-Page/
• 数据集下载: https://huggingface.co/datasets/lmarena-ai/Arena-T2I-Hard

搜集汇总

数据集介绍

构建方式

Arena-T2I Hard 数据集源自 2026 年 1 月至 3 月期间公开的文本到图像竞技场用户投票日志，从中筛选出 310 条提示词。每条提示词经 NSFW、个人身份信息和无效提示过滤后，由 Gemini-3-Pro 模型分解为平均约 30 个属于/不属于的约束问题，涵盖六类视觉风格。这些问题被构建为有向无环图，其中属性、关系等子问题依赖于对象存在性的父问题，从而形成结构化的忠诚度评估基准。

使用方法

数据集用于评估文本到图像模型的忠诚度。每条提示词附带约 30 个结构化约束问题，评估时由视觉语言模型按拓扑顺序回答，若父问题失败则跳过子问题以避免分数膨胀。最终忠诚度分数为通过问题比例。用户可直接下载提示词 JSON 及分解问题，并利用提供的 VLM 判断管道（默认为 Qwen3.5-27B 单次查询模式）进行标准化评分。

背景与挑战

背景概述

Arena-T2I Hard 是由 Arena Intelligence Inc. 与加州大学洛杉矶分校（UCLA）联合团队于 2026 年提出的文本到图像生成（T2I）模型忠实性压力测试基准。该基准创建于 2026 年 6 月，旨在应对现有忠实性基准（如 DSG、TIFA、DPG-Bench）在主流模型性能趋于饱和（准确率超 95%）后，无法有效区分模型对复杂、多约束提示的遵循能力这一核心问题。研究团队从 2026 年 1 月至 3 月的真实用户竞技场（T2I Arena）投票记录中筛选出 310 条高难度提示，每条提示平均包含约 30 个解构的二分约束问题，覆盖文本渲染、空间关系、风格约束等六大类别，突破了传统模板化或 GPT 扩充提示的局限，为前沿 T2I 模型的忠实性评估提供了更具区分度的标尺。

当前挑战

该数据集面临的核心挑战在于如何精确度量并改进 T2I 模型对复杂、多约束提示的忠实性。具体而言，包括：1) 领域问题方面，现有基准在性能顶尖系统上已近饱和，无法反映真实场景中用户提出的包含精细空间关系、多重风格约束及复杂文本渲染的复合指令，且公共竞技场的整体偏好评分（如 Bradley-Terry 分数）往往更侧重美观性而非细粒度提示遵循，导致忠实性评估存在根本性偏差；2) 构建过程中，如何从海量真实用户提示中筛选出具有足够组成难度的问题，并设计依赖感知的检查列表（DAG）以准确解析每项约束的逻辑前提关系，避免平面评分中属性问题在对象缺失时仍被错误计分，同时确保视觉语言模型（VLM）评判的可靠性，构成了关键方法论挑战。

常用场景

经典使用场景

在文本到图像生成领域，Arena-T2I Hard 被设计为一个极具挑战性的压力测试基准，用于评估顶尖模型对复杂、多约束提示的忠实执行能力。与传统的短句、合成模板基准不同，该数据集源自真实用户提交的交互日志，提示词平均长度约 430 个单词，并包含约 30 个分解的二元约束问题，覆盖空间关系、风格限制、文本渲染等六类场景。研究者可以利用该基准精确衡量模型在应对带有依赖关系的高阶指令时的忠实度上限。

解决学术问题

该数据集解决了现有忠实度基准（如 DSG、DPG-Bench）对顶级模型已趋于饱和、无法有效区分的学术困境。通过引入依赖感知的检查表奖励机制，将复杂提示分解为有向无环图形式的二元问题集，并采用广度优先的父子依赖评分策略，避免了属性问题在对象缺失时仍被误判视为正确。研究证实，公共偏好排名与忠实度往往脱节，揭示了美学偏好主导的评估体系在细粒度忠实度衡量上的不足。

实际应用

在实际部署中，Arena-T2I Hard 可用于自动化评测与模型迭代的闭环流程。例如，内容创作平台可通过该基准筛选最适合用户复杂需求的图像生成模型，或在未标注数据上利用检查表奖励作为强化学习训练信号。该数据集还能辅助识别模型在处理多实体、精细文本渲染及空间逻辑时的常见失败模式，为产品优化提供结构化反馈。

数据集最近研究

最新研究方向

在文本到图像生成领域，忠实性（faithfulness）与美学质量之间的平衡成为前沿研究焦点。传统基准因指令简单已趋于饱和，难以评估复杂多约束的真实用户需求。最新研究引入Arena-T2I Hard基准，采用来自真实用户日志的高难度长提示，并创新性地提出依赖感知的检查表奖励机制，将每个提示分解为有向无环图（DAG）形式的二值问题，通过层次化评分精准捕捉模型在空间关系、文本渲染等多维约束上的细微缺陷。研究发现，仅优化布拉德利-特里偏好奖励会以牺牲忠实性为代价提升美学，而单独优化忠实性则无法提升美学得分。为此，研究者提出结合依赖感知的检查表奖励与美学偏好奖励，通过组解耦归一化策略，在FLUX.1-dev和SD3.5-Medium上实现了忠实性与美学质量的同步提升。这项研究揭示了当前奖励函数与任务目标之间的根本性错配，为构建更可靠的创意工作流生成模型提供了全新的训练范式与评估标准。

相关研究论文

• Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist

  Arena Intelligence Inc; 加州大学洛杉矶分校 · 2026年