Noah-Wukong

诺亚-悟空数据集是一个大规模的多模态中文数据集。
数据集包含100万对 <图像，文本>
数据集中的图像根据大小 (两个维度均> 200px) 和宽高比 (1/3〜3) 进行过滤
数据集中的文本根据其语言，长度和频率进行过滤。隐私和敏感词也被考虑在内。

Noah-Wukong Dataset is a large-scale multimodal Chinese dataset.
The dataset contains 1 million <image, text> pairs.
Images in the dataset are filtered based on their size (both dimensions > 200px) and aspect ratio (1/3 to 3).
Text samples in the dataset are filtered according to their language, length and frequency, with privacy and sensitive words also taken into consideration.

搜集汇总

背景与挑战

背景概述

Noah-Wukong是一个大规模的多模态中文数据集，专门用于计算机视觉和自然语言处理的跨模态预训练，包含100万对经过严格过滤的图像和文本数据。图像基于尺寸和宽高比筛选，文本则考虑语言、长度、频率及隐私敏感词，确保数据质量。该数据集由华为诺亚方舟实验室和中山大学于2022年发布，旨在支持中文跨模态基础模型的研究与开发。