laion/filtered-wit

Filtered WIT是一个图像-文本数据集，用于运行图像-文本模型。该数据集来源于Wikipedia Image Text Dataset (WIT)，数据以tar文件格式存储，每个tar文件包含10,000个样本。每个样本包含一个.jpg图像文件、一个.txt文本文件和一个.json元数据文件。数据集通过CLIP ViT-B32模型和多语言CLIP文本编码器对每个样本的8个可能标题进行比较，保留余弦相似度大于0.26的标题，并丢弃没有过滤标题的样本。

Filtered WIT is an image-text dataset designed for running image-text models. Derived from the Wikipedia Image Text Dataset (WIT), the dataset is stored in tar archive files, with each tar file containing 10,000 samples. Each sample consists of a .jpg image file, a .txt text file, and a .json metadata file. During the filtering process, the dataset compares the 8 candidate captions of each sample using the CLIP ViT-B32 model and the multilingual CLIP text encoder, retaining those captions with a cosine similarity score greater than 0.26, and discarding any samples that have no valid captions left after filtering.

原始信息汇总

Filtered WIT 图像-文本数据集

数据结构

• 数据以 tar 文件形式存储，每个 tar 文件包含 10,000 个样本。
• 每个 tar 文件包含 .jpg 图像文件、.txt 描述文本文件和 .json 元数据文件。
• 推荐的读取数据方法是使用 WebDataset。

过滤过程

• 每个样本有 8 个可能的描述文本，这些文本通过 CLIP ViT-B32 与图像进行比较。
• 文本使用 multilingual CLIP text encoder 进行编码。
• 通过余弦相似度比较编码后的文本和图像，保留相似度大于 0.26 的文本。
• 新的描述文本是所有过滤后的文本的串联，没有过滤文本的样本被丢弃。
• 过滤过程使用的脚本是 filter_wit.py。

搜集汇总

数据集介绍

构建方式

在视觉语言模型的研究中，高质量图文数据对模型性能至关重要。Filtered WIT数据集基于Wikipedia Image Text Dataset（WIT）构建，通过严格的过滤流程提升数据可靠性。每个样本包含8个候选描述文本，采用CLIP ViT-B32模型对图像与文本进行编码，并利用多语言CLIP文本编码器提取特征，通过余弦相似度计算图文匹配程度。仅保留相似度高于0.26的文本，并将符合条件的文本拼接作为最终描述，完全无匹配的样本被剔除。数据以tar包形式存储，每包含10,000个样本，每个样本包含JPEG图像、TXT文本及JSON元数据，便于高效读取。

使用方法

推荐使用WebDataset库进行数据加载，其原生支持tar包流式读取，可高效处理大规模数据集。典型用法是创建WebDataset对象并指定tar路径，通过.to_tuple()方法提取文本、图像和元数据字段。例如，调用'wds.WebDataset('data/00000.tar').to_tuple('txt', 'jpg', 'json')'即可迭代获取三元组。该方式内存友好，支持多进程预取，适合在PyTorch等框架中构建数据管道，适用于训练图像描述、跨模态检索等模型。

背景与挑战

背景概述

在视觉与语言多模态研究领域，图像-文本配对数据集是训练跨模态模型（如CLIP、DALL-E等）的基石。维基百科图像文本数据集（WIT）由Google Research于2021年发布，旨在提供大规模、多语言且富含知识性的图文对，以推动视觉语义理解与零样本学习的发展。然而，原始WIT数据集虽涵盖超过3700万样本，但其文本描述存在冗长、噪声大及与图像关联性弱等问题，限制了模型训练的效率与效果。为此，研究者Aarush Katta基于WIT原始数据，通过CLIP ViT-B32模型与多语言文本编码器对图文语义进行筛选，构建了Filtered WIT数据集。该数据集由LAION（Large-scale Artificial Intelligence Open Network）社区托管于HuggingFace平台，旨在为多模态研究提供更可靠、高质量的图文数据基础，尤其适用于需要精确语义对齐的图像-文本模型训练任务。其发布对提升跨模态检索、图像描述生成等任务的性能具有重要参考价值。

当前挑战

Filtered WIT数据集面临的核心挑战之一在于领域问题：原始WIT数据中文本与图像的语义关联度参差不齐，直接用于训练可能导致模型学习到噪声关联，影响跨模态对齐的准确性。通过CLIP相似度筛选虽提升了数据质量，但阈值设定（0.26）需在保留足够样本与剔除低质量配对间取得平衡，过高则减少数据量，过低则无法有效过滤噪声。构建过程中，数据集采用分片存储（tar格式）与元数据管理，需处理多语言文本编码的复杂性，确保不同语种描述与图像的一致性。此外，筛选后样本的文本由多个候选描述拼接而成，可能引入语义冗余或逻辑断裂，需验证其对下游模型泛化能力的影响。数据规模庞大（数千万样本）也带来了存储、传输与高效读取的工程挑战，WebDataset的采用虽缓解了部分问题，但跨模态模型的训练仍需应对数据分布偏差与计算资源消耗的持续考验。

常用场景

经典使用场景

Filtered WIT数据集作为维基百科图像文本数据集（WIT）的精炼版本，通过CLIP ViT-B32模型对原始多模态数据进行语义对齐过滤，保留了高质量图文对。其最经典的使用场景在于训练和评估跨模态检索与图像描述生成模型，研究者可借助该数据集构建从文本到图像的映射关系，或验证视觉语言预训练模型在弱监督学习下的表征能力。数据以WebDataset格式存储，便于高效流式读取，适合大规模分布式训练。

解决学术问题

该数据集解决了原始WIT中图文语义不一致、噪声过多的学术痛点。通过多语言CLIP文本编码器与余弦相似度筛选（阈值0.26），有效去除了低质量或无关描述，为多模态对齐研究提供了更可靠的基准。它推动了跨语言视觉语义理解、零样本图像分类等问题的探索，其过滤策略为后续数据清洗方法（如基于对比学习的噪声剔除）树立了范式，显著提升了模型在弱监督场景下的泛化稳定性。

实际应用

在实际应用中，Filtered WIT可用于构建多模态搜索引擎，例如维基百科知识图谱中的图文互检系统；同时赋能辅助视觉障碍用户的图像描述生成工具，提升描述准确性与文化适配性。此外，该数据集支撑了社交媒体内容审核中的图文一致性校验，以及教育领域自动生成教学插图说明的场景，其多语言特性尤其适合跨地域部署的全球化产品。

数据集最近研究

最新研究方向

在跨模态学习与多模态预训练模型快速迭代的背景下，laion/filtered-wit数据集通过对Wikipedia Image Text Dataset进行CLIP ViT-B32相似度过滤，剔除了图文匹配度低的样本，显著提升了图像-文本对的语义对齐质量。该数据集的前沿研究聚焦于利用其高置信度配对数据训练更鲁棒的视觉-语言模型，如改进CLIP、BLIP等架构的细粒度表征能力，并探索多语言场景下的跨模态迁移学习。近期热点包括将filtered-wit用于评估和缓解多模态模型中的偏见问题，以及构建更高效的对比学习框架。这一过滤策略不仅为大规模图文数据清洗提供了可复现的基准，还推动了多模态理解在低资源语言和开放域场景中的实际落地，其影响延伸至图像生成、视觉问答等下游任务，成为连接原始维基百科语义与前沿模型训练需求的关键桥梁。