dcvlm-balanced-200b
收藏资源简介：
DCVLM-Balanced (200B tokens) 是 DataComp-VLM 论文中提出的平衡混合训练集，是一个预混合、去污染、可直接用于训练的多模态预训练数据集，以 WebDataset tar 分片形式提供。该数据集包含 112,358,849 个样本，总计约 200B tokens，来源于 DCVLM-large 数据池。混合比例按训练样本计算：40% 为图像描述数据（captioning），40% 为视觉指令/VQA/多轮对话数据（instruction），15% 为纯文本指令数据（text），5% 为交错多模态文档（mmdoc_mt，支持多图像）。每个样本由多个成员组成，共享一个公共键。主要成员包括：conversations.txt（存储对话，采用 ShareGPT 格式，以 "<EOCL> " 分隔，角色为 human 和 gpt，<image> 占位符引用对应图像）、0.jpg、1.jpg 等图像文件（按引用顺序索引，0 表示第一个 <image>）、data_type.txt（数据类型）、ds_name.txt（来源数据集）、orig_url.txt（原始链接）、ntok.txt（样本令牌数，含图像 tiles）、mdp.txt（最大动态分块参数）。纯文本样本（data_type=text）不包含图像成员；多图像样本（如 mmdoc_mt 和部分 instruction）包含多个图像文件。数据集支持包括英语、中文、德语、法语、日语、韩语、拉丁语、芬兰语、他加禄语、保加利亚语、西班牙语、荷兰语在内的多种语言。适用于视觉语言模型预训练、视觉问答、指令跟随等任务。数据集以 11,318 个 WebDataset tar 分片形式存储，分布于 12 个子目录中，可通过 webdataset 库流式加载。此外，HuggingFace 数据集查看器中的 preview 配置仅提供小样本渲染预览，并非训练数据。
DCVLM-Balanced (200B tokens) is a balanced mixed training set proposed in the DataComp-VLM paper. It is a pre-mixed, decontaminated, and directly usable multimodal pre-training dataset, provided in WebDataset tar shard format. The dataset contains 112,358,849 samples with a total of approximately 200B tokens, sourced from the DCVLM-large data pool. The mixing ratio by training samples is: 40% image captioning data, 40% visual instruction/VQA/multi-turn dialogue data, 15% pure text instruction data, and 5% interleaved multimodal documents (mmdoc_mt, supporting multiple images). Each sample consists of multiple members sharing a common key. Main members include: conversations.txt (stores conversations in ShareGPT format, separated by "<EOCL> ", with roles human and gpt, <image> placeholders referencing corresponding images), 0.jpg, 1.jpg, etc. (image files indexed by reference order, 0 for the first <image>), data_type.txt (data type), ds_name.txt (source dataset), orig_url.txt (original URL), ntok.txt (sample token count including image tiles), mdp.txt (maximum dynamic partitioning parameter). Pure text samples (data_type=text) do not contain image members; multi-image samples (e.g., mmdoc_mt and some instruction) contain multiple image files. The dataset supports multiple languages including English, Chinese, German, French, Japanese, Korean, Latin, Finnish, Tagalog, Bulgarian, Spanish, and Dutch. It is suitable for vision-language model pre-training, visual question answering, instruction following, and other tasks. The dataset is stored as 11,318 WebDataset tar shards distributed across 12 subdirectories, and can be stream-loaded via the webdataset library. Additionally, the preview configuration in the HuggingFace dataset viewer only provides a small sample rendering preview and is not training data.
数据集概述
DCVLM-Balanced (200B tokens) 是一个用于多模态预训练的数据集，由 DataComp-VLM 项目提供。该数据集被设计为预混合、去污染、可直接用于训练的格式，以 WebDataset tar 分片的形式存储，适用于任何训练框架。
基本信息
- 名称: DCVLM-Balanced (200B tokens)
- 许可证: other（非标准许可）
- 语言: 英语、中文、德语、法语、日语、韩语、拉丁语、芬兰语、他加禄语、保加利亚语、西班牙语、荷兰语
- 任务类别: 图像文本到文本、视觉问答
- 数据规模: 1亿到10亿个样本（实际为 112,358,849 个样本）
- 标签: WebDataset、多模态、视觉语言、DataComp
数据组成
数据集的混合比例（按训练样本数量计算）如下：
| 数据类型 | 比例 | 描述 |
|---|---|---|
captioning |
40% | 单图像描述数据 |
instruction |
40% | 视觉指令 / VQA / 多轮对话 |
text |
15% | 纯文本指令数据 |
mmdoc_mt |
5% | 交错式多模态文档（多图像） |
数据仓库结构
shards/: 核心训练数据，包含 11,318 个 WebDataset tar 分片，分布在 12 个子目录（shards/000/至shards/011/），每个子目录最多 1,000 个分片。preview/: 仅用于 Dataset Viewer 展示的小型降采样样本，不是训练数据。dataset_info.json: 包含数据来源、样本计数、token 总量、种子等元数据。README.md: 数据集的说明文档。
样本结构（WebDataset 分片）
每个训练样本是一个 WebDataset 样本，包含以下成员（以公共 key 分组）：
| 成员 | 类型 | 描述 |
|---|---|---|
conversations.txt |
text | 对话内容（见下方格式），每个样本必含。 |
0.jpg, 1.jpg, … |
image | 图像文件，按引用顺序 0-indexed。第 N 个 <image> token 对应 N.jpg。 |
data_type.txt |
text | 数据类型：instruction / text / captioning / mmdoc_mt。 |
ds_name.txt |
text | 来源数据集名称（溯源信息）。 |
orig_url.txt |
text | 原始源分片 URL（溯源信息）。 |
ntok.txt |
text | 该样本的训练 token 数（包含图像 tile 的完整多模态计数）。 |
mdp.txt |
text | 最大动态补丁（max_dynamic_patch），用于图像分块的参数（溯源信息）。 |
特殊说明：
- 纯文本样本（
data_type == text）不包含任何图像成员。 - 多图像样本（
mmdoc_mt及部分指令数据）会包含多个N.jpg/png/webp成员。
对话格式（conversations.txt）
对话以 role:value 格式存储，轮次间用分隔符 "<EOCL> " 连接。角色包括 human 和 gpt。图像占位符 <image> 出现在轮次文本中，第 N 个 <image> 对应图像成员 N.jpg。
示例（单个图像描述样本）：
human:<image> Describe the image concisely.<EOCL> gpt:Fiddlenecks, aka Devils lettuce
该格式遵循 ShareGPT 风格，可转换为标准的轮次字典列表：[{"from": ..., "value": ...}, …]。
加载数据集
推荐使用 webdataset 库进行流式加载。需要构建全部 11,318 个分片的 URL 列表，并注意分片编号规则：分片 i 位于 shards/{i // 1000:03d}/{i:06d}.tar。
注意：
- 数据集仍在上传进行中，分片集尚未完整发布。
- 训练数据是
shards/目录下的 WebDataset 分片，而非preview配置（后者仅用于浏览示例）。
引用信息
参考论文：DataComp-VLM: Improved Open Datasets for Vision-Language Models（arXiv:2606.28551）。
