GUIMid
收藏资源简介：
图形用户界面（GUI）代理的性能通常受限于高质量轨迹数据的稀缺性。为了解决这一限制，我们提出了在专门的中期训练阶段对视觉语言模型（VLMs）进行数据丰富、推理密集型任务的训练，并研究了将这些任务纳入中期训练阶段如何促进对GUI规划场景的泛化。我们发布我们的中期训练数据以供进一步研究。
The performance of graphical user interface (GUI) agents is often limited by the scarcity of high-quality trajectory data. To address this limitation, we propose training vision-language models (VLMs) on data-augmented, reasoning-intensive tasks during a dedicated intermediate training phase, and investigate how incorporating such tasks into this phase facilitates generalization to GUI planning scenarios. We release our intermediate training data for further research.
GUIMid 数据集概述
数据集简介
- 目的：解决图形用户界面(GUI)智能体因高质量轨迹数据稀缺而性能受限的问题。
- 方法：通过在专门的中期训练阶段训练视觉语言模型(VLMs)来处理数据丰富、推理密集的任务。
- 关键发现：
- 任务泛化效果显著，例如多模态数学推理使AndroidWorld性能提升6.3%。
- 文本数学数据显著提升GUI网络智能体性能，WebArena提升5.6%，AndroidWorld提升5.4%。
- GUI感知数据对最终性能影响有限。
数据内容
- 数据类型：
- 图表/文档问答
- 非GUI感知
- GUI感知
- 网页截图转代码
- 非GUI智能体
- 多模态数学
- 多轮视觉对话
- 数学指令
- 奥林匹克数学
- 代码输入/输出
- 网页知识库
数据示例
| 领域 | 文本示例 | 图像示例 |
|---|---|---|
| 图表/文档问答 | "What is the median value of female life expectancy at birth from 2009 to 2013?" | assets/multi_col_80624.png |
| 非GUI感知 | "The content presented in this diagram states SECRETARYS REPORT ON CALL FOR APPOINTMENT..." | assets/ztwc0228_1.png |
| GUI感知 | "Concentrate on the part of the image bordered in red, What theme does the imagery contribute to?" | assets/1_annotated_viewpoint.png |
性能结果
| 领域 | WebArena (PR) | WebArena (SR) | AndroidWorld (SR) |
|---|---|---|---|
| GUI后训练 | 26.3 | 6.2 | 9.0 |
| 多模态数学 | 30.4 | 8.5 | 15.3 |
| 数学指令 | 31.9 | 10.9 | 14.4 |
| GUIMid组合 | 34.3 | 9.5 | 21.2 |
引用
bibtex @article{zhang2025guimid, title={Breaking the Data Barrier -- Building GUI Agents Through Task Generalization}, author={Zhang, Junlei and Ding, Zichen and Ma, Chang and Chen, Zijie and Sun, Qiushi and Lan, Zhenzhong and He, Junxian}, journal={arXiv preprint arXiv:2504.10127}, year={2025} }
