yfan1997/ScreenPR

该数据集名为Screen Point-and-Read Data，旨在支持论文Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding，并促进布局感知屏幕阅读和GUI解释任务的研究。数据集的每一行/样本包含以下变量：截图文件路径、截图模态（如操作系统、网页或移动设备）、唯一ID、用户输入点坐标、本地区域边界框（由人工标注）、参考点坐标、参考本地区域边界框、参考本地区域相对于目标区域的相对位置、GPT生成并手动修正的本地区域内容描述，以及用于循环一致性评估的多选候选ID列表。

This dataset supports the paper Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding and is designed to facilitate research in layout-aware screen reading and GUI interpretation tasks. Each sample includes variables such as file name, screenshot modality, unique ID, user-indicated point coordinate, local region bounding box, reference point, reference local region bounding box, relative location of reference to target, GPT-generated caption with manual correction, and multi-choice candidate IDs for cycle consistency evaluation.

原始信息汇总

Screen Point-and-Read Data

数据集描述

该数据集支持论文《Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding》，旨在促进布局感知屏幕阅读和GUI解释任务的研究。

数据集变量

每个样本包含以下变量：

1. file_name: 对应截图的目录。
2. modality: 截图的模态，可以是 os、web 或 mobile。
3. id: 对应截图模态的唯一ID。
4. point: 用户指示的输入点坐标。
5. local_region_bbox: 对应输入点坐标的真实局部区域的边界框，由人工标注。
6. reference_point: 由人工标注的点坐标，对应不同的局部区域。
7. reference_local_region_bbox: 对应 reference_point 的局部区域，由人工标注。
8. reference_location_regarding_to_target: reference_local_region_bbox 相对于 local_region_bbox 的人工标注的相对位置。
9. gpt_generated_caption_with_manual_correction: 由GPT-4生成的 local_region_bbox 内内容的描述，并由人工检查和修正（如有问题）。
10. cycle_consistency_multichoice_candidate_ids: 包含不同内容 local_region_bbox 的数据的ID列表，用于论文中详细描述的循环一致性评估。

引用

如果使用此数据集进行研究，请引用以下论文：

bibtex @article{fan2024read, title={Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding}, author={Fan, Yue and Ding, Lei and Kuo, Ching-Chen and Jiang, Shan and Zhao, Yang and Guan, Xinze and Yang, Jie and Zhang, Yi and Wang, Xin Eric}, journal={arXiv preprint arXiv:2406.19263}, year={2024} }

许可证

该数据集在MIT许可证下发布。