GUI Odyssey
收藏GUI Odyssey 数据集概述
简介
GUI Odyssey 是一个全面的跨应用导航代理训练和评估数据集。该数据集包含来自6种移动设备的7,735个片段，涵盖6种类型的跨应用任务、201个应用和1.4K个应用组合。
数据收集流程
GUI Odyssey 包含六种类型的导航任务。对于每种类型，我们构建了包含预定义池中选择的项目和应用的指令模板，生成大量独特的指令以标注GUI片段。通过在Android模拟器上的人类演示捕获每个片段的元数据，并经过严格的质量检查，最终包含7,735个经过验证的跨应用GUI导航片段。
统计数据
| 分割类型 | 片段数量 | 唯一提示数量 | 平均步骤数 | 数据位置 | 模型 |
|---|---|---|---|---|---|
| 总计 | 7,735 | 7,735 | 15.4 | GUI-Odyssey | OdysseyAgent |
| 随机训练与测试 | 5,802 / 1,933 | 5,802 / 1,933 | 15.4 / 15.2 | random_split.json | OdysseyAgent-Random |
| 任务训练与测试 | 6,719 / 1,016 | 6,719 / 1,016 | 15.0 / 17.6 | task_split.json | OdysseyAgent-Task |
| 设备训练与测试 | 6,473 / 1,262 | 6,473 / 1,262 | 15.4 / 15.0 | device_split.json | OdysseyAgent-Device |
| 应用训练与测试 | 6,596 / 1,139 | 6,596 / 1,139 | 15.4 / 15.3 | app_split.json | OdysseyAgent-App |
数据集访问
GUI Odyssey 数据集托管在 Huggingface。可以通过以下命令克隆整个数据集： shell git clone https://huggingface.co/datasets/OpenGVLab/GUI-Odyssey
克隆后，将数据集移动到 ./data 目录中，结构如下：
GUI-Odyssey ├── data │ ├── annotations │ │ └── *.json │ ├── screenshots │ │ └── *.png │ ├── splits │ │ ├── app_split.json │ │ ├── device_split.json │ │ ├── random_split.json │ │ └── task_split.json │ ├── format_converter.py │ └── preprocessing.py └── ...
然后运行预处理脚本： shell cd data python preprocessing.py
最终结构如下：
GUI-Odyssey ├── data │ ├── annotations │ │ └── *.json │ ├── screenshots │ │ └── *.png │ ├── splits │ │ ├── app_split.json │ │ ├── device_split.json │ │ ├── random_split.json │ │ └── task_split.json │ ├── format_converter.py │ └── preprocessing.py └── ...
引用
如果您觉得 GUI Odyssey 对您的项目或研究有用，请使用以下 BibTeX 条目引用我们的论文： bib @misc{lu2024gui, title={GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices}, author={Quanfeng Lu and Wenqi Shao and Zitao Liu and Fanqing Meng and Boxuan Li and Botong Chen and Siyuan Huang and Kaipeng Zhang and Yu Qiao and Ping Luo}, year={2024}, eprint={2406.08451}, archivePrefix={arXiv}, primaryClass={cs.CV} }
