alexandrainst/da-wit

Danish WIT数据集是从WikiMedia的WIT-Base数据集中提取的丹麦语部分，包含大约160,000张图片及其丹麦语描述。该数据集主要用于图像生成、零样本图像分类和文本图像搜索等任务。数据集的创建目的是为了简化丹麦语部分的使用，原始数据集占用了333 GB的磁盘空间。数据集的结构包括图像、图像URL、嵌入向量、元数据URL等多个字段，并分为训练集、验证集和测试集。数据集遵循CC BY-SA 4.0许可证。The Danish WIT Dataset is the Danish language subset extracted from the Wikimedia WIT-Base dataset, containing approximately 160,000 images along with their Danish descriptions. This dataset is primarily utilized for tasks such as image generation, zero-shot image classification, and text-image search. The core purpose of developing this dataset is to simplify the usage of the Danish language subset, as the original dataset occupies 333 GB of disk storage. The dataset structure includes multiple fields such as images, image URLs, embeddings, metadata URLs, and it is divided into training, validation, and test sets. This dataset is released under the CC BY-SA 4.0 license.

原始信息汇总

数据集卡片 for Danish WIT

数据集描述

• 语言: 丹麦语 (da)
• 许可证: CC BY-SA 4.0
• 大小类别: 100K<n<1M
• 源数据集: wikimedia/wit_base
• 任务类别:
  • 图像到文本
  • 零样本图像分类
  • 特征提取
• 任务ID: 图像描述

数据集概述

Google 在 2021 年 7 月发布了 Wikipedia Image Text (WIT) 数据集，该数据集包含从 Wikipedia 抓取的图像及其描述。WikiMedia 在 2021 年 9 月发布了 WIT-Base，这是 WIT 的一个修改版本，移除了没有“参考描述”的图像，以及人脸覆盖超过 10% 的图像和不适合的图像。本数据集是 WIT-Base 数据集的丹麦部分，包含大约 160,000 张带有相关丹麦描述的图像。数据集遵循 CC BY-SA 4.0 许可证。

支持的任务和排行榜

该数据集旨在用于训练机器学习模型进行图像描述生成、零样本图像分类和图文搜索。目前没有活跃的排行榜。

语言

数据集提供丹麦语 (da) 版本。

数据集结构

数据实例

• 下载的数据文件大小: 7.5 GB
• 生成的数据集大小: 7.8 GB
• 总磁盘使用量: 15.3 GB

一个来自 train 分割的示例如下： json { "image": [PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=300x409 at 0x7FE4384E2190], "image_url": "https://upload.wikimedia.org/wikipedia/commons/4/45/Bispen_-inside.jpg", "embedding": [2.8568285, 2.9562542, 0.33794892, 8.753725, ...], "metadata_url": "http://commons.wikimedia.org/wiki/File:Bispen-_inside.jpg", "original_height": 3161, "original_width": 2316, "mime_type": "image/jpeg", "caption_attribution_description": "Kulturhuset Bispen set indefra. Biblioteket er til venstre", "page_url": "https://da.wikipedia.org/wiki/Bispen", "attribution_passes_lang_id": True, "caption_alt_text_description": None, "caption_reference_description": "Bispen set indefra fra 1. sal, hvor ....", "caption_title_and_reference_description": "Bispen [SEP] Bispen set indefra ...", "context_page_description": "Bispen er navnet på det offentlige kulturhus i ...", "context_section_description": "Bispen er navnet på det offentlige kulturhus i ...", "hierarchical_section_title": "Bispen", "is_main_image": True, "page_changed_recently": True, "page_title": "Bispen", "section_title": None }

数据字段

所有分割的数据字段相同：

• image: 图像特征。
• image_url: 字符串特征。
• embedding: 列表特征。
• metadata_url: 字符串特征。
• original_height: 整数或 NaN 特征。
• original_width: 整数或 NaN 特征。
• mime_type: 字符串或 None 特征。
• caption_attribution_description: 字符串或 None 特征。
• page_url: 字符串特征。
• attribution_passes_lang_id: 布尔或 None 特征。
• caption_alt_text_description: 字符串或 None 特征。
• caption_reference_description: 字符串或 None 特征。
• caption_title_and_reference_description: 字符串或 None 特征。
• context_page_description: 字符串或 None 特征。
• context_section_description: 字符串或 None 特征。
• hierarchical_section_title: 字符串特征。
• is_main_image: 布尔或 None 特征。
• page_changed_recently: 布尔或 None 特征。
• page_title: 字符串特征。
• section_title: 字符串或 None 特征。

数据分割

大约 2.60% 的 WIT-Base 数据集来自丹麦 Wikipedia。我们将 168,740 个样本分成以下大小的训练集、验证集和测试集：

分割	样本数
train	167,460
val	256
test	1,024

数据集创建

策划理由

提取 WIT-Base 数据集的丹麦部分相当繁琐，特别是当数据集占用 333 GB 磁盘空间时，因此策划丹麦-WIT 纯粹是为了更容易处理丹麦部分。

源数据

原始数据来自 WikiMedia 的 WIT-Base 数据集，该数据集又来自 Google 的 WIT 数据集。

附加信息

数据集策展人

Dan Saattrup Nielsen 来自 The Alexandra Institute 策划了此数据集。

许可信息

数据集遵循 CC BY-SA 4.0 许可证。

搜集汇总

数据集介绍

构建方式

在计算机视觉与自然语言处理交叉领域，图像-文本配对数据集是训练多模态模型的基础资源。alexandrainst/da-wit数据集源自Google于2021年发布的Wikipedia Image Text（WIT）数据集，后经WikiMedia进一步筛选形成WIT-Base版本，剔除了空描述、人脸占比过高及不当图像。本数据集从WIT-Base中提取丹麦语子集，共计约16万张图像及其对应的丹麦语描述，以CC BY-SA 4.0许可协议发布，旨在降低研究者获取丹麦语多模态数据的门槛。

特点

该数据集具有鲜明的语言专属性与结构完整性特征。作为目前规模最大的丹麦语图像描述数据集，其涵盖约168,740个样本，并按167,460/256/1,024的比例划分为训练、验证与测试集。每个数据实例包含丰富的元信息，如原始图像尺寸、MIME类型、多种描述字段（包括引用描述、替代文本描述、页面上下文描述等）以及预计算的图像嵌入向量，为细粒度的多模态研究提供了坚实基础。

使用方法

数据集主要面向图像描述生成、零样本图像分类及图文检索等任务。研究者可通过HuggingFace Datasets库直接加载，使用load_dataset('alexandrainst/da-wit')即可获取。数据以标准格式提供，包含PIL图像对象和文本字段，便于与主流深度学习框架（如PyTorch、TensorFlow）集成。建议利用caption_reference_description字段作为标注进行有监督训练，或借助embedding字段进行特征提取与对比学习实验。

背景与挑战

背景概述

在跨模态学习与多语言自然语言处理领域蓬勃发展的当下，图像与文本的语义对齐成为核心挑战之一。2021年，Google发布了Wikipedia Image Text（WIT）数据集，为多模态研究提供了大规模、多语言的维基百科图文资源。随后，WikiMedia于同年9月推出WIT-Base版本，剔除了空描述及含敏感内容的图像，提升了数据质量。在此基础上，丹麦奥胡斯大学旗下的亚历山德拉研究所（The Alexandra Institute）的研究员Dan Saattrup Nielsen于2022年精心筛选出丹麦语子集，即Danish WIT（da-wit）。该数据集包含约16万张带有丹麦语描述的图像，旨在填补高资源语言（如英语）与低资源语言（如丹麦语）在多模态研究中的鸿沟，为丹麦语图像描述生成、零样本分类及图文检索等任务提供了关键资源，推动了斯堪的纳维亚语系多模态AI的发展。

当前挑战

Danish WIT数据集面临的挑战主要体现在两个层面。在领域问题层面，多模态模型在低资源语言上表现不佳，现有预训练模型（如CLIP）对丹麦语的语义理解深度不足，导致图像与丹麦语文本的对齐精度有限，尤其在处理丹麦语特有的复合词、语法结构及文化特定概念时，零样本分类与图文检索的鲁棒性亟待提升。在构建过程层面，从高达333 GB的WIT-Base中提取丹麦语子集极为繁琐，需处理海量无关数据与存储开销；此外，原始数据中部分图像描述存在噪声，如自动生成的替代文本（alt text）不完整或与图像内容脱节，虽经WIT-Base初步清洗，但仍需额外过滤以确保丹麦语描述的准确性。数据集的规模（约16万样本）对于训练强泛化能力的模型而言仍显不足，可能限制其在复杂场景下的表现。

常用场景

经典使用场景

在跨模态表示学习与多语言视觉语言理解领域，丹麦语WIT数据集（Danish WIT）为研究者提供了稀缺的高质量丹麦语图像-文本配对资源。该数据集源自Wikipedia Image Text（WIT）基础版本，精选约16万张丹麦语维基百科图片及其对应的描述性文本，涵盖丰富的文化、地理与历史主题。其经典应用场景包括训练丹麦语图像描述生成模型，通过卷积神经网络与Transformer架构的协同，实现从视觉特征到自然语言描述的精准映射；同时支持零样本图像分类任务，利用预训练视觉语言模型（如CLIP）在丹麦语语境下的迁移能力，评估模型对未见类别的泛化性能。此外，特征提取任务可借助多模态嵌入空间，为下游丹麦语信息检索与视觉问答系统提供基础表征。

实际应用

在实际应用层面，Danish WIT为丹麦语地区的数字内容生态注入了智能化动力。基于该数据集训练的模型可部署于丹麦语维基百科的自动图像标注系统，提升多媒体内容的可访问性与检索效率；在文化遗产数字化场景中，模型能够为历史照片或艺术品生成丹麦语语境化描述，辅助博物馆与档案馆的元数据构建。教育科技领域亦受益于此，例如开发面向丹麦学生的交互式学习工具，通过图像理解自动生成丹麦语解释性文本。此外，丹麦语视觉搜索引擎和社交媒体内容审核系统可借助该数据集优化零样本分类能力，精准识别与过滤违规图像，同时保持对丹麦语文化语境的敏感度。

衍生相关工作

Danish WIT的发布催生了一系列具有启发性的后续研究。在数据层面，研究者借鉴其筛选与标注流程，构建了面向冰岛语、法罗语等更小众语言的图像-文本数据集，形成了斯堪的纳维亚多模态数据生态。模型层面，基于该数据集的工作探索了参数高效微调（如LoRA）在丹麦语视觉语言模型上的适配策略，并对比了多语言预训练模型（如mT5、XLM-R）与单语模型的性能差异。此外，跨模态对比学习框架（如SigLIP）的丹麦语版本评估常以此数据集为基准，推动了多语言对比损失函数的设计优化。这些衍生工作共同编织了一张连接低资源语言与前沿多模态技术的创新网络。