WIT (Wikipedia-based Image Text)

基于维基百科的图像文本 (WIT) 数据集是一个大型多模式多语言数据集。 WIT 由一组精选的 3760 万个实体富图像文本示例组成，其中包含 108 种维基百科语言的 1150 万个独特图像。它的大小使 WIT 可以用作多模式机器学习模型的预训练数据集。 WIT 的一些独特优势： 最大的多模态数据集（在撰写本文时可公开获得）图像-文本示例的数量。 覆盖 100 多种语言的大规模多语言数据集（同类中的第一个）。 一组不同的概念和现实世界实体的集合。 带来具有挑战性的真实世界测试集。The Wikipedia-based Image Text (WIT) Dataset is a large-scale multimodal and multilingual dataset. WIT comprises a curated set of 37.6 million entity-rich image-text examples, containing 11.5 million unique images across 108 Wikipedia languages. Its scale enables WIT to serve as a pre-training dataset for multimodal machine learning models. Several unique strengths of WIT are listed below: 1. It has the largest number of image-text examples among publicly available multimodal datasets as of the time of writing. 2. It is a large-scale multilingual dataset covering over 100 languages, being the first of its kind. 3. It includes a diverse collection of concepts and real-world entities. 4. It provides a challenging real-world test set.

搜集汇总

背景与挑战

背景概述

WIT (Wikipedia-based Image Text) 是一个基于维基百科构建的大型多模态多语言数据集，包含3760万个图像-文本示例和1150万个独特图像，覆盖108种语言，适用于多模态机器学习模型的预训练。其优势在于规模大、语言覆盖广、概念多样，并提供了具有挑战性的真实世界测试集。