HongxinLi/AutoGUI-v1-zip

该存储库包含用于训练AutoGUI模型的训练数据集。Autogui-625k是通过AutoGUI注释管道收集的完整数据集；Cauldron是从整个Cauldron数据集中选择的用于维持训练视觉语言模型（VLM）一般视觉理解能力的两个通用数据集之一；llava_150k是来自LLaVA的150k指令跟随数据集。使用这些数据集时，需要下载后修改JSON文件中的图像路径为绝对路径，并合并三个JSON文件以用于AutoGUI训练脚本。

原始信息汇总

数据集概述

数据集列表

1. Autogui-625k

   • 描述：由AutoGUI标注流水线收集的完整数据集。

2. Cauldron

   • 描述：用于维持训练的视觉语言模型（VLM）的通用视觉理解能力的通用数据集之一。
   • 包含子集：Screen2Words, DocVQA, OCR-VQA, visualmrc, infovga, Diagram image-to-text。

3. llava_150k

   • 描述：来自LLaVA的150k指令跟随数据集。

数据处理

• 下载所有三个数据集后，需将JSON文件中的每个样本的图像路径修改为Qwen-VL微调框架所需的绝对路径。
• 合并三个JSON文件，生成用于AutoGUI训练脚本的data_path参数。