ScreenPR

Screen Point-and-Read数据仓库旨在促进布局感知的屏幕阅读和GUI解释任务的研究。它包含屏幕截图数据，每个样本包括文件名、模态（`os`、`web`或`mobile`）、唯一ID、用户指示的点坐标、人工标注的对应局部区域边界框、参考点坐标、参考局部区域边界框、参考局部区域相对于目标区域的位置关系，以及GPT-4生成并经人工校正的局部区域内容描述。此外，还提供了用于循环一致性评估的候选ID列表。该数据集基于MIT许可发布。