open-markdown-v2

Open Markdown是一个基于Common Crawl构建的大规模网络文本数据集，旨在为训练和检索提供高质量的即用型Markdown格式文本。它通过处理原始HTML内容，将其转换为干净的Markdown，并保留可追溯的WARC元数据。当前版本包含Common Crawl的CC-MAIN-2026-25爬取批次，约2,043,916,315个文档，分布在100,000个分片中。原始HTML约332.8 TB被处理为约8.9 TB的Markdown，压缩率达97.3%。数据以Parquet文件格式存储，每个文件行代表一个网页，包含doc_id（基于URL的确定性SHA-256哈希）、url（原始URL）、host（主机名）、crawl_date（爬取日期）、warc_record_id（原始WARC记录ID）、html_length（原始HTML字节长度）、markdown_length（转换后Markdown字节长度）和markdown（干净的Markdown内容）。数据集适用于文本生成、特征提取等自然语言处理任务，并支持通过Hugging Face datasets库、huggingface_hub或DuckDB进行下载和使用。数据集采用Open Data Commons Attribution License (ODC-By) v1.0许可，并遵循Common Crawl的使用条款。需要注意的是，数据集可能包含个人可识别信息，且继承了Common Crawl和公共网络的偏见，未应用基于机器学习的质量或毒性过滤。Open Markdown is a large-scale web text dataset based on Common Crawl, designed to provide high-quality, ready-to-use Markdown-formatted text for training and retrieval. It processes raw HTML content, converting it into clean Markdown while preserving traceable WARC metadata. The current version includes the CC-MAIN-2026-25 crawl batch from Common Crawl, with approximately 2,043,916,315 documents distributed across 100,000 shards. Raw HTML of about 332.8 TB is processed into about 8.9 TB of Markdown, achieving a compression rate of 97.3%. The data is stored in Parquet file format, with each row representing a webpage and containing fields such as doc_id (deterministic SHA-256 hash based on URL), url (original URL), host (hostname), crawl_date (crawl date), warc_record_id (original WARC record ID), html_length (original HTML byte length), markdown_length (converted Markdown byte length), and markdown (clean Markdown content). The dataset is suitable for natural language processing tasks like text generation and feature extraction, and supports download and usage via the Hugging Face datasets library, huggingface_hub, or DuckDB. It is licensed under the Open Data Commons Attribution License (ODC-By) v1.0 and adheres to Common Crawls terms of use. Note that the dataset may contain personally identifiable information and inherits biases from Common Crawl and the public web, with no machine learning-based quality or toxicity filtering applied.

原始信息汇总

数据集概述：Open Markdown

Open Markdown 是一个大规模网络文本数据集，由 Common Crawl 的网页内容经处理生成。它将原始 HTML 转换为干净的 Markdown 格式，便于直接用于模型训练和信息检索。

核心信息

• 发布机构：open-index
• 数据集页面：https://huggingface.co/datasets/open-index/open-markdown-v2
• 许可证：Open Data Commons Attribution License (ODC-By) v1.0
• 任务类别：文本生成、特征提取
• 语言：多语言
• 大小规模：1B < n < 10B（文档数量）
• 数据集标签：common-crawl, web, markdown, html-to-markdown, parquet, open-data

数据集结构与规模

• 当前包含的抓取批次：CC-MAIN-2026-25
• 文档数量：约 2,043,354,814 个文档
• 分片数量：100,000 个分片（每个分片对应一个 Common Crawl WARC 文件）
• 数据处理效果：
  • 处理约 332.7 TB 原始 HTML，生成约 8.9 TB 干净 Markdown
  • 相较于原始 HTML，体积减少了 97.3%
  • 最终 Parquet 文件（Zstd 压缩）体积约为 4.6 TB
• 数据存储结构：采用 Hive 分区目录结构，便于多批次快照共存和按批次过滤

数据处理流程

1. 下载：从 Common Crawl S3 下载原始 .warc.gz 文件。
2. 过滤：仅保留 HTTP 200 响应且内容类型为 text/html 的页面。
3. 转换：使用 go-trafilatura 库，采用 FavorRecall 模式并启用了 Readability 和 DomDistiller 后备方案，提取主要内容节点，移除导航、广告等无关内容，并将其转换为 GitHub 风格的 Markdown 格式，链接已解析为绝对 URL。
4. 导出：直接将转换结果导出为 Zstd 压缩的 Apache Parquet 文件。
5. 过滤空内容：转换后内容为空的页面会被丢弃。

数据字段说明

字段名	类型	描述
doc_id	string	URL 的确定性 SHA-256 哈希值（前 16 字节十六进制表示），用于跨抓取批次去重
url	string	被爬取页面的原始 URL
host	string	从 URL 中提取的主机名
crawl_date	string	WARC 记录的日期（YYYY-MM-DD 格式）
warc_record_id	string	原始 HTTP 响应的 WARC-Record-ID（格式：<urn:uuid:...>）
html_length	int64	转换前原始 HTML 主体的字节长度
markdown_length	int64	转换后 Markdown 内容的字节长度
markdown	string	从页面提取的干净 Markdown 内容

数据使用方式

• 使用 datasets 库加载：
  • 流式加载整个数据集：load_dataset("open-index/open-markdown-v2", name="CC-MAIN-2026-25", split="train", streaming=True)
  • 加载单个分片：load_dataset("open-index/open-markdown-v2", data_files="data/crawl=CC-MAIN-2026-25/000000.parquet", split="train")
• 使用 huggingface_hub 下载：通过 snapshot_download 下载指定模式的文件。
• 使用 DuckDB 查询：可直接通过 read_parquet 函数查询 Hugging Face 上的数据集文件。

注意事项与局限

• 个人信息与敏感信息：未进行额外的 PII 过滤。数据集来源于公共网络，可能包含个人信息。用户如发现自己的信息，可在仓库中提问题单。
• 偏见：数据集继承了 Common Crawl 和公共网络的偏见。内容提取工具会更倾向于文章类页面，可能低估论坛、社交媒体等内容的比重。数据集未应用任何基于机器学习的质量或内容过滤。
• 已知局限：代码密集型页面转换效果不佳。高度结构化的页面（如维基百科）可能不如专门的转储格式良好。
• 许可：使用本数据集需同时遵守其 ODC-By 许可证和 Common Crawl 的使用条款。

搜集汇总

数据集介绍

构建方式

Open Markdown v2 数据集以 Common Crawl 的非商业性网络爬取存档为基石，通过一条高效的流式处理管线将原始 HTML 转化为干净、结构化的 Markdown 文本。该管线从亚马逊 S3 下载压缩的 WARC 文件，首先过滤出 HTTP 200 响应且内容类型为 text/html 的页面，随后利用经过召回率优化的 go-trafilatura 库（辅以 Readability 与 DomDistiller 作为回退策略）精准提取主内容节点，剔除导航、广告与样板文字，并通过直接的节点树遍历生成带有绝对链接的 GitHub 风味 Markdown。最终，处理结果直接以 Zstd 压缩的 Apache Parquet 格式导出，整个流程无需中间文件，实现了从原始压缩 WARC 到干净 Markdown 的端到端流式处理。这一精妙设计不仅将约332.7 TB的非压缩 HTML 缩减至约8.9 TB 的洁净文本，实现了高达97.3%的体积压缩，更确保了每一步操作的透明性与可追溯性。

使用方法

Open Markdown v2 为研究者提供了多元、便捷的接入方式。通过 Hugging Face 的 `datasets` 库，用户能够以流式方式加载整个数据集进行高效的迭代处理，或仅加载单个分片至内存进行小规模实验。借助 `huggingface_hub` 的 `snapshot_download` 函数，配合 `allow_patterns` 参数，可选择性下载特定爬取批次的分片文件，通过安装 `hf_transfer` 加速包并设置环境变量更可显著提升下载速度。对于熟悉 SQL 的分析人员，DuckDB 提供了直接查询远程 Parquet 文件的优雅方案，能够利用标准 SQL 语法执行复杂的筛选、过滤与聚合操作。数据集中每条记录包含的字段如 `doc_id`（基于 URL 的确定性哈希），跨爬取批次具有一致性，为高效的去重工作提供了天然支持，极大地便利了大规模语言模型训练、特征提取与信息检索等下游任务的开展。

背景与挑战

背景概述

Open Markdown v2数据集由Open Index团队于2026年创建，旨在从Common Crawl非营利组织收集的海量网页中提取并转换为结构化Markdown文本，以服务于大规模语言模型的预训练与检索任务。核心研究问题在于如何高效地从原始HTML中剥离导航、广告等噪音，仅保留主要内容，同时保证数据可溯源性与跨快照的兼容性。该数据集目前包含约20.4亿文档，覆盖CC-MAIN-2026-25快照，通过97.3%的体积压缩比将332.7 TB的HTML处理为8.9 TB的Markdown，显著降低了使用门槛，为研究者提供了高质量的开源网络文本资源，推动了自然语言处理领域的民主化进程。

当前挑战

该数据集首先解决的领域挑战是网络文本的不可直接训练性：原始HTML包含大量布局代码与无关元素，直接用于模型训练会导致计算浪费与性能下降，而Open Markdown通过自动提取主内容并转换为Markdown格式，提供了一种即用型清洁文本。在构建过程中，数据管道面临的主要挑战包括：规模庞大的流式处理（需从S3下载压缩WARC文件后实时过滤、转换并导出至Parquet，且不依赖中间文件）以及确保转换质量（采用go-trafilatura工具，兼顾召回率与准确性，避免高密度结构化页面如代码论坛的内容丢失）。此外，数据集涵盖多种语言并保留元数据，但未施加基于机器学习的质量或毒性过滤，以避免对特定方言的不公平移除，这要求使用者在应用时自行处理潜在的偏见与敏感信息。

常用场景

经典使用场景

Open Markdown v2 作为一个海量、多语言的网络文本数据集，其最经典的用途在于为大规模语言模型（LLM）的预训练提供高质量、结构化的语料。该数据集创新性地将Common Crawl中超过20亿个网页的原始HTML转化为纯净的Markdown格式，不仅精简了内容（压缩率高达97.3%），更保留了标题、列表、链接等语义结构，使得模型能够通过学习Markdown的内在层次来更深入地理解网络文本的逻辑组织与信息权重。此举有效规避了传统预处理中因噪音过多而导致的训练效率低下问题。

解决学术问题

该数据集直面学术界在处理海量网络数据时所遭遇的两大瓶颈：数据存储成本高昂与非结构化文本带来的语义模糊。通过将约332.7 TB的原始HTML高效压缩至约8.9 TB的Markdown，研究者得以在有限的硬件资源下处理亿级文档。此外，去除广告、导航等干扰要素，并保留结构标记，极大地提升了训练语料的信噪比。这为探究如何从嘈杂的网络环境中高效萃取知识、以及结构信息（如Markdown）是否比纯文本更能促进模型语法与推理能力等研究问题提供了关键数据基石。

实际应用

在实际应用中，该数据集可直接作为知识检索增强生成（RAG）系统的优质知识库。由于Markdown格式天然支持有序列表、表格和代码块，将其分割后嵌入向量数据库，能够显著提高检索阶段对复杂查询（如操作指南、文档对比）的准确率。同时，对于需要从零开始训练或持续预训练特定领域（如科技、新闻）语言模型的团队，Open Markdown v2提供了即取即用的便利，大幅降低了自行搭建爬虫与清洗管线的工程门槛，使得模型微调与应用开发能够更快迭代。

数据集最近研究

最新研究方向

Open Markdown数据集的最新研究方向聚焦于大规模网络文本的高效清洗与标准化转换，利用Common Crawl的原始WARC档案，通过go-trafilatura等工具将HTML精准转化为清洁的Markdown格式，实现超过97%的体积压缩。该数据集为多语言、超大规模的语言模型预训练提供了高质量、可追溯的训练语料，并降低了研究人员处理原始爬取数据的门槛。当前热点研究包括利用该数据集进行文本生成与特征提取任务的模型优化，探索其在开放科学、可复现研究中的价值，同时关注数据偏差与隐私过滤等伦理问题，推动以Markdown格式为中间表示的细粒度文档理解与检索增强生成技术的发展。