OpenLVD-200m

OpenLVD-200M 是一个面向视觉基础模型训练与蒸馏的 2 亿级网络图像 URL 与 caption 元数据集。它是原 SigLino 论文所用版本的更新版，仅提供元数据，不托管或分发图像本身。数据集包含约 197,657,490 条训练样本，组织为 200 个 zstd 压缩的 parquet 文件，文件路径为 data/part-00000.parquet 至 data/part-00199.parquet，每个文件约 100 万行。其数据池来自 COYO-700M、DFN-2B（DataComp CommonPool 的子集）和 Re-LAION-5B research-safe；在选择阶段，COYO-700M 贡献 117,043,287 行，DFN-2B 贡献 44,296,498 行，Re-LAION-5B research-safe 贡献 38,660,215 行，合计 200,000,000 行，经 NSFW 过滤后保留 197,657,490 行。NSFW 过滤依据 Falconsai/nsfw_image_detection 的 nsfw 概率，删除概率大于 0.2 的 2,342,510 行，约占 1.17%。构建流程先对来自三个源数据集的图像使用 DINOv3 ViT-L/16 CLS token 进行嵌入，再执行球面 4 级层次 k-means 聚类，各级簇数分别为 24,799,866、992,000、99,200 和 24,800；随后采用平衡层次采样降至 200M，簇内策略为随机，覆盖全部 24,800 个顶层簇，每个顶层簇的图像数中位数为 4,833，最大为 18,991。每条记录包含：稳定 12 位字符串 id（uid）、原始图像 URL（url）、原始下载图像字节的 SHA-256（sha256，来自源数据集的 img2dataset 下载元数据）、原始 alt-text caption（caption，主要为英文，也含其他语言，少数为空）、原始图像宽度与高度（width、height，int32）、来源标识（source，取值为 coyo、dfn 或 relaion）、四个层级的聚类 id（cluster_level1 至 cluster_level4，int32），以及 Falconsai/nsfw_image_detection 的 NSFW 概率（nsfw_score，float32）。该数据集适用于图像-文本对相关任务，包括图像特征提取、图像到文本、文本到图像，标签涉及 image-text pairs、url-list、img2dataset、data-curation、hierarchical-clustering、distillation 和 dinov3。使用时可通过 huggingface-cli 下载元数据，使用 img2dataset 根据 url 下载图像；README 给出的 img2dataset 示例会计算并校验 sha256，保存 uid、source 和四级聚类列，输出 webdataset，图像尺寸 336，采用 keep_ratio_largest、仅当图像更大时缩放、bicubic 下采样和编码质量 95。也可通过 datasets.load_dataset 以 streaming 方式加载元数据。许可方面，本数据集自有元数据（uid、聚类 id、nsfw_score、选择结果）采用 CC-BY-4.0；url 与 caption 来自源数据集并遵循其条款：COYO-700M 为 CC-BY-4.0（Kakao Brain），DataComp CommonPool 的 DFN 行说明为 CC-BY-4.0，DFN-2B 选择由 Apple 以 apple-amlr 发布，仅限研究使用；Re-LAION-5B 为 Apache-2.0 的 LAION 门控研究发布。图像归各自所有者，下载与使用责任由用户承担。引用信息指向 SigLino 论文 arXiv:2512.20157。