UICrit

UICrit是一个数据集，包含人类生成的自然语言设计评论、相应的边界框以及来自RICO的1000个移动UI的设计质量评级。每个评论还包括UI截图中相关区域的边界框坐标。数据集包含11,344条设计评论，每个UI屏幕由三个不同的注释者评估。

UICrit is a dataset that comprises human-generated natural language design critiques, corresponding bounding boxes, and design quality ratings for 1,000 mobile UIs sourced from RICO. Each critique also includes the bounding box coordinates of the relevant region in the corresponding UI screenshot. The dataset contains 11,344 design critiques, with each UI screen being evaluated by three distinct annotators.

原始信息汇总

UICrit Dataset

描述

UICrit数据集包含1,000个来自RICO的移动UI的人工生成自然语言设计批评、相应的边界框以及设计质量评级。该数据集的收集是为了支持我们发表在UIST 24会议上的论文：https://arxiv.org/abs/2407.08850。

数据文件

所有数据可在CSV文件uicrit_public.csv中找到。每行数据由一个人工标注者提供，每个UI屏幕由三个不同的标注者评估。

数据列

• “rico_id”: 来自RICO数据集的相应屏幕ID，可用于获取移动UI截图。
• “task”: UI屏幕设计的主要任务。
• “aesthetics_rating”: UI屏幕美学质量的数值评级（1-10分）。
• “learnability”: UI屏幕学习质量的数值评级（1-5分），即直观性。
• “efficency”: UI屏幕效率质量的数值评级（1-5分），即用户完成任务的速度。
• “usability_rating”: UI屏幕可用性质量的数值评级（1-10分），即使用难易程度。
• “design_quality_rating”: UI整体设计质量的数值评级（1-10分），取决于其可用性和美学评级。
• “comments_source”: 一个列表，每个项目指定“comments”列中相应评论的来源，包括“human”（人工标注者）、“llm”（Gemini）和“both”（人工标注者和Gemini）。
• “comments”: UI屏幕的设计评论列表。每个评论还包括其相关区域在UI截图中的边界框坐标。边界框坐标按截图尺寸进行归一化。每个评论的来源（human、llm或both）可在“comments_source”中对应的列表索引找到。

数据集版本

注意，此版本的数据集比论文中讨论的版本大三倍，论文中每个UI屏幕由单个人工标注者评估。此较大版本的数据集包含11,344条设计批评。

搜集汇总

数据集介绍

构建方式

UICrit数据集的构建基于对1,000个移动用户界面（UI）的深入评估，这些UI来自RICO数据集。每个UI屏幕由三位不同的注释者进行评估，注释者提供了自然语言的设计批评、相应的边界框以及设计质量的评分。数据集的构建过程包括收集注释者的评论和评分，并将这些信息与RICO数据集中的UI截图关联起来。最终，数据集以CSV文件形式存储，每行代表一个注释者的数据，包含UI的ID、主要任务、美学评分、可学习性评分、效率评分、可用性评分、整体设计质量评分、评论来源以及评论内容和边界框坐标。

特点

UICrit数据集的显著特点在于其多维度的评估体系和丰富的注释信息。该数据集不仅提供了对UI美学、可学习性、效率和可用性的详细评分，还包含了注释者生成的自然语言设计批评及其对应的边界框坐标。此外，评论来源的多样性（包括人类注释者、Gemini模型以及两者的结合）增加了数据集的多样性和可靠性。这种多层次的注释和评分机制使得UICrit成为研究UI设计质量评估和用户界面优化的宝贵资源。

使用方法

使用UICrit数据集时，研究者可以通过CSV文件访问所有数据，利用“rico_id”字段从RICO数据集中获取相应的UI截图。每个UI屏幕的评估数据包括多个评分和设计评论，这些评论附带有边界框坐标，便于定位评论所指的具体UI区域。通过分析“comments_source”字段，研究者可以区分评论的来源，从而评估不同来源注释的差异性和一致性。此外，数据集的评分体系为研究UI设计质量的各个方面提供了量化依据，适用于多种用户界面设计与优化的研究场景。

背景与挑战

背景概述

UICrit数据集是一个包含人类生成的自然语言设计批评、相应的边界框以及1000个移动用户界面（UI）设计质量评级的数据集，这些UI来自RICO数据集。该数据集由UIST '24会议论文提出，旨在为移动UI设计领域提供一个全面的评估工具。UICrit数据集的创建时间可以追溯到2024年，主要研究人员或机构通过收集和分析大量移动UI的反馈，致力于解决UI设计中的核心问题，即如何通过自然语言批评和视觉反馈来提升UI的设计质量。这一数据集的发布对UI设计领域的研究具有重要影响，为研究人员提供了一个宝贵的资源，以探索和优化移动UI的用户体验。

当前挑战

UICrit数据集在构建过程中面临多项挑战。首先，数据集的规模较大，包含11,344条设计批评，这要求高效的存储和处理技术。其次，数据集中的评论来源多样，包括人类注释者和语言模型（如Gemini），这增加了数据一致性和质量控制的难度。此外，评论中包含的边界框坐标需要精确处理，以确保与UI截图的准确对应。最后，数据集的多维度评级（如美学、可学习性、效率和可用性）需要复杂的算法来综合评估，以生成整体设计质量的评级。这些挑战不仅涉及技术实现，还要求在数据收集和处理过程中保持高度的准确性和一致性。

常用场景

经典使用场景

UICrit数据集在用户界面设计领域中，被广泛用于评估和优化移动用户界面的设计质量。通过提供自然语言的设计批评、相应的边界框以及设计质量评分，该数据集使得研究人员能够深入分析和理解用户界面的美学、可学习性、效率和可用性。经典的使用场景包括使用机器学习算法对设计评论进行分类和分析，以识别常见的设计问题，并提出改进建议。此外，该数据集还可用于训练和验证自然语言处理模型，以自动生成设计反馈，从而加速设计迭代过程。

实际应用

UICrit数据集在实际应用中具有广泛的价值。设计团队可以利用该数据集中的设计评论和质量评分，进行用户界面设计的自我评估和改进。通过分析数据集中的常见设计问题，设计团队可以制定针对性的设计指南，提升产品的用户体验。此外，该数据集还可用于培训设计工具和自动化设计系统，使其能够生成更符合用户需求的设计建议。在教育领域，UICrit数据集也可作为教学资源，帮助学生和设计师学习如何评估和优化用户界面设计。

衍生相关工作

UICrit数据集的发布催生了一系列相关研究工作。例如，研究人员利用该数据集开发了新的设计质量评估模型，这些模型能够更准确地预测用户对界面的满意度。此外，基于UICrit数据集的研究还推动了自然语言处理技术在设计领域的应用，开发了能够自动生成设计反馈的智能助手。这些工作不仅提升了设计工具的智能化水平，也为设计研究和实践提供了新的方法和工具。