WIT (Wikipedia-based Image Text)

基于维基百科的图像文本 (WIT) 数据集是一个大型多模式多语言数据集。 WIT 由一组精选的 3760 万个实体富图像文本示例组成，其中包含 108 种维基百科语言的 1150 万个独特图像。它的大小使 WIT 可以用作多模式机器学习模型的预训练数据集。
WIT 的一些独特优势：
最大的多模态数据集（在撰写本文时可公开获得）图像-文本示例的数量。
覆盖 100 多种语言的大规模多语言数据集（同类中的第一个）。
一组不同的概念和现实世界实体的集合。
带来具有挑战性的真实世界测试集。

搜集汇总

背景与挑战

背景概述

WIT (Wikipedia-based Image Text) 是一个基于维基百科构建的大型多模态多语言数据集，包含3760万个图像-文本示例和1150万个独特图像，覆盖108种语言，适用于多模态机器学习模型的预训练。其优势在于规模大、语言覆盖广、概念多样，并提供了具有挑战性的真实世界测试集。