dcvlm_pool_small
收藏资源简介：
DCVLM-Pool (small) 是 DataComp-VLM 基准测试中 small 规模的原始候选数据池。这是一个大规模、多模态、多语言的数据集合，旨在为视觉语言模型（VLM）的训练数据筛选和混合实验提供原始输入。数据集包含来自 166 个不同源数据集的 120,940,134 个样本，总计约 187.5B tokens，数据量约 10.3 TB，以 WebDataset tar 分片格式组织。数据集内容未经任何筛选或混合，并非可直接用于训练的数据集，而是作为数据管理流程的起点。用户需要根据自身需求，结合单独发布的包含丰富注释（如质量、对齐度、语言、去重、困惑度等约170个字段）的数据集进行筛选和配比，以构建自定义的训练集。数据样本根据源数据的类型分为四种模式：instruction（包含对话文本和一张或多张图像）、text（仅包含对话文本）、captioning（包含图像及其标题）和 mmdoc（包含位置交错的文本和图像文档片段）。每个样本通常包含对话文本文件（conversations.txt）、图像文件（.jpg/.webp）以及包含基础注释的 filters.json 文件。对话文本采用 role:value 格式，由 <EOCL> 分隔，其中 <image> 占位符指向对应的图像成员。数据集适用于视觉问答、图像描述生成、多模态对话等视觉语言建模任务的训练数据构建与研究。
DCVLM-Pool (small) is the raw candidate pool for the small scale in the DataComp-VLM benchmark. It is a large-scale, multimodal, multilingual dataset collection designed to provide raw input for filtering and mixing experiments in training data for Vision-Language Models (VLMs). It contains 120,940,134 samples from 166 different source datasets, totaling approximately 187.5B tokens with a data volume of about 10.3 TB, organized in WebDataset tar shards. The dataset content is unfiltered and unmixed, not directly usable for training, but serves as a starting point for data management workflows. Users need to filter and mix based on their own requirements, using a separately released dataset with rich annotations (such as quality, alignment, language, deduplication, perplexity, etc., about 170 fields) to build custom training sets. Samples are categorized into four modes based on source data types: instruction (containing conversational text and one or more images), text (containing only conversational text), captioning (containing images and their captions), and mmdoc (containing interleaved text and image document fragments). Each sample typically includes a conversation text file (conversations.txt), image files (.jpg/.webp), and a filters.json file with basic annotations. The conversation text uses a role:value format separated by <EOCL> , where the <image> placeholder points to corresponding image members. The dataset is suitable for building and researching training data for vision-language modeling tasks such as visual question answering, image captioning, and multimodal dialogue.
数据集概述
- 数据集名称: DCVLM-Pool (small)
- 发布机构: mlfoundations
- 许可协议: 其他（未具体指定）
- 数据集规模:
- 样本数：120,940,134
- 总token数：约187.5B
- 总存储：10.3 TB
- 数据源数量：166个
- 分片数量：12,206个WebDataset tar分片
- 任务类型: 图像-文本到文本、视觉问答
- 语言: 包含英语、中文、德语、法语、日语、韩语、拉丁语、芬兰语、他加禄语、保加利亚语、西班牙语、荷兰语等多种语言
- 标签: webdataset、多模态、视觉-语言、datacomp
- 查看器: 不支持
数据组成与结构
- 原始候选池: 本数据集是DataComp-VLM基准测试中“小”规模下的原始候选池，未经任何过滤或混合，是数据筛选实验的输入。
- 仓库布局: 平坦结构，每个源数据集对应一个目录，目录内包含多个tar分片（如
datacomp_1b/包含4,310个分片，flanv2/包含1,241个分片，ai2d/仅1个分片等）。每个源目录还附带三个元数据文件：num_saved_samples.txt：该源的样本数full_token_sum.txt：该源的总多模态token数extracted_percentiles.json：每个注释字段的十分位数，用于便捷选择过滤阈值
样本模式
每个样本由一组共享键名的tar成员组成，根据源数据的data_type字段分为四种类型：
| 数据类型 | 数据源数量 | 成员组成 |
|---|---|---|
instruction |
108 | conversations.txt、一个或多个图像（.jpg）、filters.json |
text |
33 | conversations.txt、filters.json（无图像） |
captioning |
15 | 图像（.jpg/.webp）、标题（.txt）、原始记录（.json）、filters.json |
mmdoc |
9 | 位置交错的分段：如.0.txt、.1.jpg、.2.txt等，按整数索引排序重组文档 |
- 每条图像旁还附带以下计算产物：
.sha256.txt、.phash.txt（感知哈希）、.sscd_disc_mixup.pt（SSCD拷贝检测嵌入）。 filters.json包含样本级注释子集（长度/token计数）。完整注释集在单独的注释仓库中。conversations.txt格式：每轮对话以"<EOCL> "分隔，格式为role:value，角色包括human和gpt，<image>占位符指向对应位置的图像。
使用与加载
- 加载方式：建议逐个源下载，或直接通过URL流式读取分片。支持使用
huggingface_hub的snapshot_download或webdataset库。 - 数据集筛选：可拉取对应的注释文件（
dcvlm_pool_small_annotations），根据170+个注释字段（质量、对齐、语言、去污染、困惑度等）进行阈值过滤，仅保留需要的样本键名，无需重新计算任何指标。
引用
bibtex @article{farina2026datacomp, title={DataComp-VLM: Improved Open Datasets for Vision-Language Models}, author={Farina, Matteo and Udandarao, Vishaal and Nguyen, Thao and Kuzucu, Selim and B{"o}ther, Maximilian and Hochlehnert, Andreas and Ghosh, Adhiraj and Nezhurina, Marianna and Roth, Karsten and Struber, Joschka and others}, journal={arXiv preprint arXiv:2606.28551}, year={2026} }
