Bingsu/laion-translated-to-en-korean-subset

该数据集是laion/laion2B-multi-joined-translated-to-en和laion/laion1B-nolang-joined-translated-to-en的子集，仅包含韩语内容。数据集包括哈希值、URL、文本、英文文本、宽度、高度、语言、相似度、水印概率、不安全内容概率和美学评分等字段。数据集的总大小为4.89 GiB，其中下载大小为1.40 GiB，生成大小为3.49 GiB。数据集的许可证为CC-BY-4.0。

This dataset is a subset of laion/laion2B-multi-joined-translated-to-en and laion/laion1B-nolang-joined-translated-to-en, exclusively containing Korean-language data. It includes fields such as hash value, URL, text, English-translated text, width, height, language, similarity score, watermark probability, unsafe content probability, and aesthetic rating. The total size of the dataset is 4.89 GiB, with a download size of 1.40 GiB and a generated size of 3.49 GiB. The dataset is licensed under CC-BY-4.0.

原始信息汇总

laion-translated-to-en-korean-subset 数据集概述

基本信息

• 名称: laion-translated-to-en-korean-subset
• 语言: 韩语（ko）、英语（en）
• 许可证: CC-BY-4.0
• 多语言性: 多语言
• 大小: 10M<n<100M 数据实例
• 任务类别: 特征提取

数据集描述

• 下载大小: 1.40 GiB
• 生成大小: 3.49 GiB
• 总大小: 4.89 GiB

数据结构

数据实例

• 特征:
  • hash: int64
  • URL: large_string
  • TEXT: large_string
  • ENG TEXT: large_string
  • WIDTH: int32
  • HEIGHT: int32
  • LANGUAGE: large_string
  • similarity: float32
  • pwatermark: float32
  • punsafe: float32
  • AESTHETIC_SCORE: float32

数据大小

• 下载: 1.40 GiB
• 生成: 3.49 GiB
• 总计: 4.89 GiB

数据字段

• hash: int
• URL: string
• TEXT: string
• ENG TEXT: string
• WIDTH: int
• HEIGHT: int
• LANGUAGE: string
• similarity: float32
• pwatermark: float32
• punsafe: float32
• AESTHETIC_SCORE: float32

数据分割

• 训练集: 12769693 数据实例

搜集汇总

数据集介绍

构建方式

该数据集源自LAION-5B项目，具体是从laion/laion2B-multi-joined-translated-to-en和laion/laion1B-nolang-joined-translated-to-en两个大规模多语言图文数据集中，通过语言筛选仅保留韩语（Korean）条目构建而成。原始数据经过翻译处理，将非英语文本统一转化为英文，并过滤掉ENG TEXT字段为空的数据行，最终形成一份聚焦于韩语-英语双语的子集。数据构建过程中，对于缺失的数值型字段如WIDTH、HEIGHT、similarity等，均以0.0或0进行填充，确保了数据结构的完整性与一致性。

特点

本数据集包含约1277万条样本，总存储大小约4.89 GiB，属于中等规模的多模态数据集。每条样本涵盖哈希值、图像URL、原始文本、英文翻译文本、图像尺寸、语言标签、CLIP相似度分数、水印概率、不安全内容概率及美学评分等多个维度，为多模态学习提供了丰富的特征信息。数据集采用CC-BY-4.0许可协议，允许广泛的研究与应用，其特点在于聚焦韩语领域，同时提供高质量的英文翻译对齐，适用于跨语言视觉语言模型训练与评估。

使用方法

用户可通过HuggingFace Datasets库便捷加载数据，使用`load_dataset("Bingsu/laion-translated-to-en-korean-subset")`即可获取包含训练集的DatasetDict对象。数据以Parquet格式存储，支持高效列式读取，推荐使用Polars库进行大规模数据处理，通过`hf_hub_url`获取Parquet文件链接后，调用`pl.read_parquet(url)`即可完成加载。数据字段清晰，可直接用于特征提取、图文匹配、多模态表示学习等任务，且可根据LANGUAGE字段进一步筛选特定语言子集，灵活适配不同研究需求。

背景与挑战

背景概述

在跨模态学习与多语言视觉语言模型蓬勃发展的当下，大规模图文对数据集的构建成为推动模型性能跃升的关键基石。LAION-5B作为开源社区里程碑式的项目，汇聚了数十亿互联网图文样本，然而其原始数据中非英语文本的语义鸿沟始终制约着模型对多元文化语境的理解。为此，研究者于2023年从LAION多语种子集中提取韩语条目，经由机器翻译引擎将韩语描述转化为英语，构建了名为Bingsu/laion-translated-to-en-korean-subset的专用子集。该数据集由HuggingFace平台托管，包含逾1270万条高质量图文对，每个样本均附有CLIP相似度、水印概率、NSFW风险及美学评分等元信息。这一资源填补了韩语视觉语义对齐数据的空白，为提升多语言视觉模型在韩语场景下的泛化能力提供了关键支撑。

当前挑战

该数据集面临的核心挑战在于机器翻译带来的语义保真度问题。原始韩语描述经自动翻译转为英语后，可能丢失文化特有的隐喻、成语或细微情感，导致图文语义错位，进而影响跨模态检索与理解的准确性。构建过程中，从LAION超大语料中精准筛选韩语条目需依赖语言检测算法，而韩语与其他东亚语言（如日语、中文）的混淆性易引入噪声。此外，元信息字段（如美学评分、水印概率）存在大量缺失值，以零填充的策略可能扭曲数据分布，降低下游模型训练的有效性。安全性过滤（如NSFW检测）的阈值设定亦需平衡敏感内容去除与正常样本保留，避免过度过滤导致语料多样性缩减。

常用场景

经典使用场景

在跨语言多模态学习领域，Bingsu/laion-translated-to-en-korean-subset作为LAION-5B巨量数据集的韩语子集，凭借其包含超过1270万条图文对的规模，成为训练和评估韩语-英语跨模态模型的核心资源。该数据集不仅保留了原始图像的URL、CLIP相似度评分、美学评分等关键元数据，还提供了原始韩语文本与对应的英文翻译，使其在双语视觉语言理解任务中具有独特价值。研究者常将其用于微调多模态大语言模型，以提升模型对韩语语境下图像描述的生成能力，或作为零样本跨语言迁移学习的基准数据。其结构化特征如'punsafe'和'pwatermark'字段，还支持对数据质量进行过滤，从而构建更纯净的训练集，确保模型在真实场景中的鲁棒性。

解决学术问题

该数据集有效填补了高资源语言（如英语）与中低资源语言（如韩语）在多模态研究中的鸿沟，解决了跨语言图文数据稀缺导致的模型泛化能力不足问题。学术上，它支撑了双语视觉语义对齐的探索，使研究者能够系统性地分析不同语言间图像-文本关联的差异，并推动对比学习框架在非英语环境下的适应性改进。通过提供标准化的大规模韩语图文对，该数据集促进了多语言CLIP模型的评估与优化，尤其在跨语言检索任务中，帮助揭示语言偏置对模型性能的影响。其贡献在于为低资源语言的多模态研究提供了可复现的基准，从而加速了全球多语言视觉语言模型的学术进展。

衍生相关工作

该数据集衍生了一系列经典工作，其中最具代表性的是基于LAION-5B的多语言CLIP模型系列，如OpenCLIP的多语言变体，其训练数据即包含此韩语子集以增强韩语理解能力。此外，研究者利用该数据集构建了韩语专用的图像-文本检索基准，并提出了针对低资源语言的多模态微调策略，例如通过跨语言知识蒸馏提升小规模模型性能。在生成式AI领域，它被用于训练韩语文本到图像生成模型的文本编码器，如Stable Diffusion的韩语适配版本。这些工作不仅验证了大规模多语言图文数据在提升模型语言覆盖度上的有效性，还为后续研究提供了数据筛选和训练范式的参考，推动了多模态系统在非英语环境中的落地与优化。