GenUI

该数据集包含了由不同模型和配置生成的用户界面，用于生成性接口的语言模型研究。具体包括由Claude 3.7和GPT-4o生成的对话用户界面，具有完整框架功能的生成用户界面，以及不同消融研究的用户界面。还包括用于评估的基准提示和评估套件，原始的人类和LLM评估数据，以及用于分析和数据处理脚本和交互式数据查看器。

原始信息汇总

数据集概述

基本信息

• 许可证: CC BY-NC 4.0
• 语言: 英语
• 数据规模: 小于1K

数据集结构

• generated_uis/: 不同模型和配置生成的用户界面
  • conversational_ui_claude_3.7/
  • conversational_ui_gpt_4o/
  • generative_ui_claude_3.7/
  • generative_ui_without_adaptive_reward_claude_3.7/
  • generative_ui_without_adaptive_reward_and_structured_representation_claude_3.7/
  • generative_ui_without_adaptive_reward_and_structured_representation_and_iterative_refinement_claude_3.7/
  • instructed_ui_claude3.7/
• uix_benchmark/: 基准提示和评估套件
• raw_evaluation_results/: 原始人类和LLM评估数据
• scripts/: 分析和数据处理脚本
• dataviewer/: 交互式数据查看器

相关资源

• 论文: https://arxiv.org/abs/2508.19227
• 代码: https://github.com/SALT-NLP/GenUI
• 项目主页: https://salt-nlp.github.io/generative_interfaces/

搜集汇总

数据集介绍

构建方式

在自然语言处理与用户界面生成的前沿交叉领域，GenUI数据集通过多模型协同构建策略形成。研究团队采用Claude 3.7、GPT-4o等先进大语言模型，基于自适应奖励机制与结构化表示框架生成对话式与生成式用户界面。通过设计包含完整功能版本与多种消融实验版本的对比架构，系统化采集了不同配置下的界面生成数据，并配套构建了包含基准测试提示与评估套件的完整验证体系。

特点

该数据集呈现出多维度对比研究的显著特征，涵盖对话式UI、生成式UI及三种关键组件消融实验版本，形成完整的控制变量研究体系。所有数据均经过人工与大语言模型双重评估验证，并配备交互式数据浏览器支持可视化探索。其核心价值在于提供了生成界面与原始提示的映射关系，以及不同模型架构在界面生成任务中的性能表现矩阵，为可解释性AI研究提供重要实证基础。

使用方法

研究者可通过集成数据查看器进行可视化分析，利用scripts目录下的分析脚本复现实验结果。数据集支持端到端研究流程：从uix_benchmark加载基准提示，通过generated_uis目录访问不同模型生成的界面数据，结合raw_evaluation_results中的评估数据进行效果验证。特别设计的消实验版本数据支持框架组件贡献度分析，为生成式UI设计理论的演进提供量化依据。

背景与挑战

背景概述

人机交互领域正经历从传统图形界面向生成式智能界面的范式转变，斯坦福大学SALT-NLP实验室于2025年推出的GenUI数据集标志着这一演进的重要里程碑。该数据集由陈佳琪、张彦哲等学者构建，致力于探索大语言模型生成动态用户界面的能力边界。其核心研究在于解决自然语言指令与交互界面元素之间的语义映射问题，通过多模态数据融合推动对话式AI与可视化交互的交叉研究，为人机协同创新提供了重要的基准平台。

当前挑战

该数据集首要解决生成式用户界面的语义一致性与功能完备性评估难题，包括多轮对话中界面元素的动态演化追踪和跨模态表示对齐问题。构建过程中面临标注复杂性挑战，需要协调人类专家与LLM评估的异构标准，同时处理不同模型生成结果的维度不一致性。迭代优化框架还需克服奖励机制设计中的奖励黑客现象，确保生成界面既符合设计规范又保持用户体验的自然流畅。

常用场景

经典使用场景

在人机交互研究领域，GenUI数据集为生成式用户界面设计提供了重要基准。该数据集通过多模态语言模型生成的对话式界面和结构化界面，广泛应用于评估人工智能系统的界面生成能力。研究者利用其丰富的配置变体和消融实验数据，系统分析不同生成策略对界面质量的影响，为智能交互系统设计提供实证基础。

衍生相关工作

该数据集催生了多项重要研究工作，包括基于自适应奖励机制的界面优化算法、多模态界面生成模型的评估体系构建，以及结构化表示学习在界面生成中的应用探索。相关成果已延伸至跨语言界面生成、无障碍交互设计等新兴领域，推动了人机交互与自然语言处理研究的深度融合。

数据集最近研究

最新研究方向

在人机交互与自然语言处理交叉领域，GenUI数据集推动了生成式用户界面研究的前沿探索。该数据集通过多模态大语言模型生成对话式界面，结合自适应奖励机制与结构化表征学习，显著提升了界面设计的智能化水平。当前研究热点集中于通过消融实验验证核心框架组件的有效性，探索无需人工干预的自主界面生成范式。这一方向不仅促进了 conversational AI 与可视化设计的深度融合，更为下一代智能交互系统的开发奠定了实证基础，对提升用户体验和自动化设计流程具有重要影响。