MBZUAI/Web2Code
收藏资源简介：
Web2Code数据集是一个用于视觉问答任务的数据集，主要包含网页图像与代码对的生成、现有网页代码生成数据的改进、新的文本问答对的创建以及现有网页理解数据的改进。数据集的语言为英语，大小在100K到1M之间。数据集的构建涉及使用GPT-3.5和GPT-4进行数据生成和改进。数据集的字段包括ID、图像和对话内容。数据集的许可证为CC BY 4.0，仅限研究使用。
The Web2Code dataset is designed for visual question answering tasks, primarily involving the generation of webpage image-code pairs, refinement of existing webpage code generation data, creation of new text question-answer pairs, and improvement of existing webpage understanding data. The dataset is in English and ranges in size from 100K to 1M. The construction of the dataset involves data generation and refinement using GPT-3.5 and GPT-4. The dataset fields include ID, image, and conversations. The dataset is licensed under CC BY 4.0 and is intended for research use only.
Web2Code 数据集概述
数据集详情
- 任务类别: 视觉问答 (Visual Question Answering)
- 语言: 英语 (en)
- 标签: 代码 (code)
- 数据规模: 100K<n<1M
数据集构建过程
- 创建新的网页图像-代码对数据: 使用GPT-3.5生成高质量的HTML网页-代码对，并转换为指令跟随数据。
- 改进现有的网页代码生成数据: 将现有数据集转换为类似LLaVA数据的指令跟随格式，用于训练多模态大语言模型（MLLMs）。
- 创建新的文本问答对数据: 利用GPT-3.5生成的新数据创建新的问答对数据集，用于网页理解。
- 改进现有的网页理解数据: 使用GPT-4改进WebSRC问答数据，以提高其质量。
数据文件
- 配置名称: default
- 数据文件:
- 分割: train
- 路径: "Web2Code_samples.json"
图像文件夹结构
Web2Code_image ├── games │ ├── 01 │ ├── ... │ └── 09 ├── jobs │ ├── 03 │ ├── ... │ └── 13 ...
数据字段
json { id: 99720969-917D-4843-BB69-D09AF953F258, image: pix2code/99720969-917D-4843-BB69-D09AF953F258.png, conversations: [ {from: human, value: <image> Use the webpage screenshot to generate HTML code as a replication of its structure. Manifest the code following Bootstrap layout.}, {from: gpt, value: <html> <header> <meta charset="utf-8"/> <meta content="width=device-width, initial-scale=1" name="viewport"/> <link crossorigin="anonymous" ...} ] }
许可证
- 数据许可证: CC BY 4.0
- 使用和许可证声明: 数据仅用于研究目的，模型训练后不得用于研究以外的用途。
