eduagarcia/CrawlPT

CrawlPT是一个从各种网页中提取的通用葡萄牙语语料库。该数据集由三个语料库组成：brWaC、C100-PT和OSCAR-2301-PT。brWaC是一个来自12万个不同网站的巴西葡萄牙语网络语料库；C100-PT是CC-100的葡萄牙语子集，包含来自2018年Common Crawl项目快照的49.1 GiB文本；OSCAR-2301-PT是从OSCAR-2301中提取的葡萄牙语语料库。数据集主要用于巴西葡萄牙语的自然语言处理任务。

原始信息汇总

CrawlPT 数据集概述

数据集详情

CrawlPT 是一个从各种网页中提取的通用葡萄牙语语料库。该数据集由三个子语料库组成：brWaC、C100-PT 和 OSCAR-2301-PT。

子语料库描述

• brWaC: 一个来自 120,000 个不同网站的巴西葡萄牙语网络语料库。
• C100-PT: 来自 CC-100 的葡萄牙语子集。CC-100 是为训练多语言 Transformer XLM-R 而创建的，包含来自 2018 年 Common Crawl 项目快照的 2TB 清洗数据，涵盖 100 种语言。C100-PT 包含 49.1 GiB 的文本。
• OSCAR-2301-PT: 来自 OSCAR-2301 的葡萄牙语精选语料库。

数据集配置

OSCAR-2301

• 特征:

  • id: 数据类型为 int64
  • text: 数据类型为 string
  • meta: 结构化数据，包含以下字段：
    • categories: 序列类型为 string
    • dedup: 结构化数据，包含 exact_norm 和 minhash 字段
    • harmful_pp: 数据类型为 float64
    • identification: 结构化数据，包含 label 和 prob 字段
    • quality_warnings: 序列类型为 string
    • sentence_identifications: 列表类型，包含 label 和 prob 字段
    • tlsh: 数据类型为 string
    • warc_headers: 结构化数据，包含多个 WARC 头字段

• 分割:

  • train: 包含 18,031,400 个样本，总大小为 127,937,389,641 字节

• 下载大小: 68,773,837,112 字节

• 数据集大小: 127,937,389,641 字节

all

• 特征:

  • id: 数据类型为 int64
  • source: 数据类型为 string
  • orig_id: 数据类型为 int64
  • text: 数据类型为 string

• 分割:

  • train: 包含 60,561,584 个样本，总大小为 177,056,691,649 字节

• 下载大小: 104,747,375,703 字节

• 数据集大小: 177,056,691,649 字节

brwac

• 特征:

  • id: 数据类型为 int64
  • text: 数据类型为 string
  • meta: 结构化数据，包含以下字段：
    • dedup: 结构化数据，包含 exact_norm 和 minhash 字段
    • doc_id: 数据类型为 string
    • title: 数据类型为 string
    • uri: 数据类型为 string

• 分割:

  • train: 包含 3,530,796 个样本，总大小为 18,308,163,747 字节

• 下载大小: 11,184,800,378 字节

• 数据集大小: 18,308,163,747 字节

cc100

• 特征:

  • id: 数据类型为 int64
  • text: 数据类型为 string
  • meta: 结构化数据，包含以下字段：
    • dedup: 结构化数据，包含 exact_norm 和 minhash 字段

• 分割:

  • train: 包含 38,999,388 个样本，总大小为 55,033,381,569 字节

• 下载大小: 35,074,345,417 字节

• 数据集大小: 55,033,381,569 字节

数据文件路径

• OSCAR-2301: OSCAR-2301/train-*
• all: all/train-*
• brwac: brwac/train-*
• cc100: cc100/train-*

搜集汇总

数据集介绍

构建方式

CrawlPT数据集是为葡萄牙语构建的大规模通用语料库，其构建方式融合了三个具有代表性的网络爬取语料：brWaC、CC100-PT和OSCAR-2301-PT。brWaC专注于巴西葡萄牙语，采集自12万个不同网站；CC100-PT源自Common Crawl 2018年快照，经清洗后提取出49.1 GiB的葡萄牙语文本；OSCAR-2301-PT则是对OSCAR-2301项目中葡萄牙语子集的精心筛选。三者汇聚后，数据集以原始形式呈现，并提供了去重版本供研究使用，整体规模达到约6056万条样本，覆盖了多样化的网络文本来源。

特点

该数据集的核心特点在于其多源整合与丰富的元数据结构。每个样本不仅包含原始文本，还附带了详尽的元信息，如文档来源、精确去重与MinHash去重标记、有害文本概率、质量警告以及句子级识别标签等。这种设计使得研究者能够根据具体需求灵活过滤数据，例如移除重复内容或低质量片段。此外，数据集按子集划分为OSCAR-2301、brwac和cc100三个配置，每个配置均保留原始语料的独特属性，从而支持跨语料对比分析或针对性预训练任务。

使用方法

使用CrawlPT数据集时，可通过HuggingFace Datasets库加载指定配置，例如加载全部语料的合并版本或单独选取brWaC子集。数据以训练集形式提供，每个样本包含唯一标识符和文本字段，便于直接用于语言模型的预训练或微调。对于需要高质量数据的场景，建议利用元信息中的去重标记和有害文本概率进行过滤，同时可参考质量警告字段剔除低质量条目。此外，研究者可结合论文中的预处理流程，将数据集适配至特定下游任务，如法律文本分析或领域适应学习。

背景与挑战

背景概述

CrawlPT数据集由Eduardo A. S. Garcia等研究人员于2024年构建，旨在为葡萄牙语自然语言处理研究提供大规模、多样化的预训练语料。该数据集整合了brWaC、CC100-PT和OSCAR-2301-PT三个子语料库，分别源自巴西葡萄牙语网页、Common Crawl项目2018年快照以及OSCAR项目的葡萄牙语筛选内容，涵盖超过6000万文档，总文本量达177 GB。其核心研究问题在于解决葡萄牙语，尤其是法律领域，预训练语料稀缺的问题，为后续的RoBERTaLexPT模型训练奠定基础。该数据集在葡萄牙语计算语言学领域具有重要影响力，为低资源语言的预训练研究提供了可复现的基准资源。

当前挑战

CrawlPT面临的挑战主要体现在两个方面。在领域问题层面，葡萄牙语作为相对低资源的语言，缺乏高质量、大规模且经过精细去重的预训练语料，这限制了基于Transformer的模型在该语言上的表现，尤其在法律等专业领域，术语的准确性和语义的完整性难以保障。在构建过程中，挑战包括：从多源异构网页（如brWaC的12万个网站）中提取文本时，需应对噪声、重复内容及格式不一致问题；对OSCAR-2301和CC100等大规模语料进行精确去重和有害内容过滤，计算资源消耗巨大；以及确保不同子语料库之间的语言风格和领域分布均衡，以避免模型产生偏差。

常用场景

经典使用场景

CrawlPT作为面向葡萄牙语的大规模通用网络语料库，其经典使用场景在于为低资源语言的自然语言处理模型提供预训练基础。该数据集整合了brWaC、CC100-PT和OSCAR-2301三大来源，覆盖巴西葡萄牙语及欧洲葡萄牙语的多样化网络文本，涵盖新闻、博客、法律文书等多元领域。研究者常利用其原始版本或去重版本，从头训练诸如RoBERTa、BERT等Transformer架构的语言模型，以捕捉葡萄牙语的句法、语义及语用特征。这一场景尤其适用于缺乏大规模高质量语料的语言，CrawlPT通过提供超过6000万条文档的丰富文本，显著提升了模型对葡萄牙语复杂形态和口语化表达的建模能力。

解决学术问题

CrawlPT的核心学术贡献在于破解葡萄牙语自然语言处理中数据稀缺的瓶颈问题，为跨语言迁移学习和领域自适应研究提供了坚实的数据支撑。该数据集解决了通用语料库在语言多样性、领域覆盖度和噪声控制方面的不足，通过精细的元数据标注（如去重哈希、有害性评分、质量警告）支持文本质量评估与过滤研究。其衍生出的RoBERTaLexPT法律领域模型，证明了在专业领域（如法律文本）中，基于CrawlPT预训练后微调可显著提升命名实体识别、文本分类等任务的性能，推动了低资源语言在特定学术场景下的前沿探索。

衍生相关工作

CrawlPT直接催生了RoBERTaLexPT这一经典工作，即基于去重版本预训练的葡萄牙语法律RoBERTa模型，其在法律文本分类和语义相似度任务上超越多语言基线。此外，该数据集被用于构建葡萄牙语词向量与句子嵌入的评估基准，相关研究探索了不同去重策略（如精确去重与MinHash）对下游任务的影响。在跨语言对比研究中，CrawlPT与英语、西班牙语语料库联合训练多语言模型，验证了葡萄牙语在低资源场景下的迁移学习潜力。这些工作不仅深化了对葡萄牙语语言特性的理解，也为其他罗曼语族语言的语料库构建提供了方法论参考。