windata-vision-synthetics-zh-300k|多模态数据数据集|自然语言处理数据集

**介绍**

我们整理生成了一个中文多模态图文指令数据集，包含了大约30万条数据以及约20万张图片，涉及文档doc、图表、数学、OCR等多种场景。

针对开源数据中中文图文指令集少且指令集描述普遍过于简短等问题，我们设计了一种基于开源模型的合成数据生成方法，利用 Qwen2-vl-72B-Instruct 生成较为详细的中文caption指令集，然后在同一场景中随机挑选1-4张图片和相应的中文caption，将caption数据给到我们的大语言模型 [WiNGPT-2.6](https://wingpt.winning.com.cn/) 通过设计系统指令使其每轮进行提问，将问题和图片给到 Qwen2-vl-72B-Instruct 使其进行回答；最后设定循环次数，得到多轮多图的对话数据。

对于生成后的数据，根据答案的长度、语句的重复性等进行了规则过滤；数学类题目，根据原始数据的答案进行了过滤。在制作最后的caption指令集时，我们针对每一个场景都设计了上百个问题，保证了caption数据集的多样性；在对话数据集上，我们在不同场景下来让WiNGPT-2.6 生成问题，得到了多样性的问题。最终我们通过合成数据的方式得到了一批多样性、答案较为详实且具有一定质量的中文多模态图文指令集。

**数据介绍**

| 数据集来源 | 任务说明 | 数量 | 来源 | License |
| ---------- | ------------------------------------- | ----- | ------------------------------------------------------- | -------------------------------------------------------- |
| Docmatix | doc文档的caption、ocr以及多轮对话数据 | 61817 | https://huggingface.co/datasets/HuggingFaceM4/Docmatix | MIT license |
| TallyQA | 通用文档的caption以及多轮对话数据 | 81950 | https://github.com/manoja328/TallyQA_dataset | Apache-2.0 license |
| PlotQA | 图表数据的caption以及多轮对话数据 | 38437 | https://huggingface.co/datasets/nimapourjafar/mm_plotqa | MIT license |
| Geo170KQA | 数学类数据 | 75000 | https://huggingface.co/datasets/Luckyjhg/Geo170K | Apache-2.0 license |
| EST-VQA | 包含ocr类的通用场景图片数据 | 26505 | https://github.com/xinke-wang/EST-VQA | [wang2020general](https://github.com/xinke-wang/EST-VQA) |
| ArXivQA | 论文截图数据 | 25540 | https://huggingface.co/datasets/taesiri/arxiv_qa | cc-by-4.0 |

**单条数据示例**

```json
{
"image_file": "arxivqa",
"image": [
"2006.11319_0.jpg"
],
"conversations": [
{
"from": "human",
"value": "\n以下关于图中\\(z_4\\)和\\(z_6\\)之间关系的陈述中，哪一个是正确的？\nA. 随着\\(z_6\\)的增加，\\(z_4\\)单调增加。\nB. 随着\\(z_6\\)的增加，\\(z_4\\)单调减少。\nC. 当\\(\\zeta = 1\\)时，\\(z_4\\)在\\(z_6 = 1\\)处有最大值。\nD. \\(z_4\\)和\\(z_6\\)彼此成正比。"
},
{
"from": "gpt",
"value": "图中显示，随着\\(z_6\\)的增加，\\(z_4\\)呈现为一个带有极大值的曲线，而不是单调增加或减少。在\\(\\zeta = 1\\)的曲线上，\\(z_4\\)在\\(z_6 = 1\\)处达到最大值。因此，正确答案是C。因此，正确答案是C。"
}
]
}
```

**解释：**

- **"image_file"**: 表示图片所在的文件夹名称

- **"image"**: 列表中存放图片名称

- **"conversations"**: 对话内容，里面包含多轮和单轮的对话内容，其中 human 为人类问题，gpt 为模型回答

**参考文献**

1. Dai W, Lee N, Wang B, et al. Nvlm: Open frontier-class multimodal llms[J]. arXiv preprint arXiv:2409.11402, 2024.