eduagarcia-temp/OSCAR-2301_meta

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: meta
struct:
- name: categories
sequence: string
- name: dedup
struct:
- name: exact_norm
struct:
- name: cluster_main_idx
dtype: int64
- name: cluster_size
dtype: int64
- name: exact_hash_idx
dtype: int64
- name: is_duplicate
dtype: bool
- name: minhash
struct:
- name: cluster_main_idx
dtype: int64
- name: cluster_size
dtype: int64
- name: is_duplicate
dtype: bool
- name: minhash_idx
dtype: int64
- name: harmful_pp
dtype: float64
- name: identification
struct:
- name: label
dtype: string
- name: prob
dtype: float64
- name: quality_warnings
sequence: string
- name: sentence_identifications
list:
- name: label
dtype: string
- name: prob
dtype: float64
- name: tlsh
dtype: string
- name: warc_headers
struct:
- name: content-length
dtype: int64
- name: content-type
dtype: string
- name: warc-block-digest
dtype: string
- name: warc-date
dtype: string
- name: warc-identified-content-language
dtype: string
- name: warc-record-id
dtype: string
- name: warc-refers-to
dtype: string
- name: warc-target-uri
dtype: string
- name: warc-type
dtype: string
splits:
- name: train
num_bytes: 127702717461
num_examples: 18031400
download_size: 40317121912
dataset_size: 127702717461
---
# Dataset Card for "OSCAR-2301_meta"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 字段名：id
数据类型：64位整数
- 字段名：text
数据类型：字符串
- 字段名：meta
结构体：
- 字段名：categories
类型：字符串序列
- 字段名：dedup
结构体：
- 字段名：exact_norm
结构体：
- 字段名：cluster_main_idx
数据类型：64位整数
- 字段名：cluster_size
数据类型：64位整数
- 字段名：exact_hash_idx
数据类型：64位整数
- 字段名：is_duplicate
数据类型：布尔型
- 字段名：minhash
结构体：
- 字段名：cluster_main_idx
数据类型：64位整数
- 字段名：cluster_size
数据类型：64位整数
- 字段名：is_duplicate
数据类型：布尔型
- 字段名：minhash_idx
数据类型：64位整数
- 字段名：harmful_pp
数据类型：64位浮点数
- 字段名：identification
结构体：
- 字段名：label
数据类型：字符串
- 字段名：prob
数据类型：64位浮点数
- 字段名：quality_warnings
类型：字符串序列
- 字段名：sentence_identifications
列表类型：
- 字段名：label
数据类型：字符串
- 字段名：prob
数据类型：64位浮点数
- 字段名：tlsh
数据类型：字符串
- 字段名：warc_headers
结构体：
- 字段名：content-length
数据类型：64位整数
- 字段名：content-type
数据类型：字符串
- 字段名：warc-block-digest
数据类型：字符串
- 字段名：warc-date
数据类型：字符串
- 字段名：warc-identified-content-language
数据类型：字符串
- 字段名：warc-record-id
数据类型：字符串
- 字段名：warc-refers-to
数据类型：字符串
- 字段名：warc-target-uri
数据类型：字符串
- 字段名：warc-type
数据类型：字符串
数据集划分：
- 划分名称：train（训练集）
字节大小：127702717461
样本数量：18031400
下载大小：40317121912
数据集总大小：127702717461

# "OSCAR-2301_meta"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征结构:
  • id: 数据类型为 int64。
  • text: 数据类型为 string。
  • meta: 结构化数据，包含以下字段:
    • categories: 序列类型，数据类型为 string。
    • dedup: 结构化数据，包含以下字段:
      • exact_norm: 结构化数据，包含以下字段:
        • cluster_main_idx: 数据类型为 int64。
        • cluster_size: 数据类型为 int64。
        • exact_hash_idx: 数据类型为 int64。
        • is_duplicate: 数据类型为 bool。
      • minhash: 结构化数据，包含以下字段:
        • cluster_main_idx: 数据类型为 int64。
        • cluster_size: 数据类型为 int64。
        • is_duplicate: 数据类型为 bool。
        • minhash_idx: 数据类型为 int64。
    • harmful_pp: 数据类型为 float64。
    • identification: 结构化数据，包含以下字段:
      • label: 数据类型为 string。
      • prob: 数据类型为 float64。
    • quality_warnings: 序列类型，数据类型为 string。
    • sentence_identifications: 列表类型，包含以下字段:
      • label: 数据类型为 string。
      • prob: 数据类型为 float64。
    • tlsh: 数据类型为 string。
    • warc_headers: 结构化数据，包含以下字段:
      • content-length: 数据类型为 int64。
      • content-type: 数据类型为 string。
      • warc-block-digest: 数据类型为 string。
      • warc-date: 数据类型为 string。
      • warc-identified-content-language: 数据类型为 string。
      • warc-record-id: 数据类型为 string。
      • warc-refers-to: 数据类型为 string。
      • warc-target-uri: 数据类型为 string。
      • warc-type: 数据类型为 string。

数据集分割

• train:
  • 字节数: 127702717461 字节。
  • 样本数: 18031400 个样本。

数据集大小

• 下载大小: 40317121912 字节。
• 数据集大小: 127702717461 字节。

搜集汇总

数据集介绍

构建方式

OSCAR-2301_meta数据集源于对海量网络文本的深度清洗与结构化处理。其构建依托于OSCAR语料库的2301版本，通过引入多维度元数据注解框架，对原始文本进行精细加工。具体而言，数据集为每条文本记录配备了丰富的结构化信息，包括基于精确归一化与MinHash算法的去重标记、有害内容概率评分、质量警告标签、句子级识别结果以及WARC标准头信息。这些元数据通过自动化流水线生成，确保了大规模处理的一致性与效率，从而构建出一个兼具文本内容与深度上下文信息的复合型语料资源。

特点

该数据集的核心特征在于其多层次、细粒度的元数据体系。与传统纯文本语料不同，每条数据不仅包含原始文本，还附带了类别标签、去重索引、有害性度量及质量信号。精确去重与MinHash两种并行机制提供了冗余控制的灵活性，而有害概率与质量警告则赋予数据筛选以可量化的标准。此外，句子级识别结果与WARC头信息（如内容语言、记录日期）进一步拓展了数据在语言分析、时间序列研究及信息检索等领域的应用潜力，使其成为进行大规模自然语言处理实验的理想基石。

使用方法

使用OSCAR-2301_meta数据集时，研究者可通过HuggingFace的datasets库直接加载，并利用其丰富的元数据字段进行定制化筛选。例如，借助去重标记（is_duplicate）可快速移除冗余样本，利用有害概率（harmful_pp）过滤低质量内容，或依据质量警告（quality_warnings）剔除特定问题文本。对于多语言任务，可依据WARC头中的语言标识进行子集划分。数据集以训练集形式提供，包含超过1800万条示例，适用于预训练语言模型、文本分类训练及语料分析等场景，其结构化元数据亦便于进行可复现的数据消融实验。

背景与挑战

背景概述

OSCAR-2301_meta数据集由OSCAR项目团队于2023年1月构建，旨在为大规模多语言网络文本提供丰富的元数据标注。该数据集源于Common Crawl的网页抓取数据，经过精细的清洗与结构化处理，核心研究问题聚焦于如何通过元数据增强网络语料库的可用性，从而推动自然语言处理模型在预训练阶段的数据质量提升。作为OSCAR系列的重要扩展，该数据集不仅记录了文本内容，还包含去重标识、有害性评分、质量警告及语言识别等多维度信息，为研究者在数据筛选、领域适应及模型鲁棒性探索中提供了关键支撑，对多语言NLP社区产生了深远影响。

当前挑战

OSCAR-2301_meta所解决的领域挑战在于网络文本数据的高噪声与异构性问题，传统语料库缺乏细粒度质量标注，导致模型训练易受低质或有害内容干扰。构建过程中面临的核心挑战包括：1）从海量Common Crawl数据中高效提取并统一元数据结构，需平衡计算资源与标注精度；2）设计鲁棒的去重算法（如精确哈希与MinHash结合），以处理跨文档的语义重复；3）开发有害内容检测与质量预警机制，确保标注的客观性与跨语言一致性；4）整合多源元数据（如WARC头信息与句子级识别），避免数据碎片化，最终实现近1800万样本的规模化处理。

常用场景

经典使用场景

OSCAR-2301_meta数据集作为大规模网络文本语料库的元数据增强版本，其最经典的使用场景在于为预训练语言模型提供经过质量过滤与去重处理的训练数据。研究者常利用其丰富的元数据字段，如去重标识（exact_norm与minhash）、有害内容概率（harmful_pp）以及质量警告（quality_warnings），从海量网页文本中筛选出高质量、低噪声的子集，从而训练出性能更优、鲁棒性更强的语言模型。该数据集还支持基于语言识别（identification）与句子级标注（sentence_identifications）的多语言研究，成为跨语言自然语言处理任务中不可或缺的数据基石。

解决学术问题

该数据集解决了大规模网络文本语料库中普遍存在的质量参差不齐、重复冗余与有害内容混杂等核心学术难题。通过提供精确的去重索引与相似度哈希信息，研究者能够系统性地消除训练数据中的重复样本，避免模型过拟合与记忆效应。同时，有害内容概率与质量警告字段为过滤低质量、有毒或偏见文本提供了量化依据，显著提升了预训练语言模型在安全性与公平性方面的表现。这些元数据设计使得OSCAR-2301_meta成为探索数据质量对模型泛化能力影响的理想研究平台，推动了数据驱动型自然语言处理方法的理论发展。

衍生相关工作

OSCAR-2301_meta数据集衍生了一系列具有影响力的经典工作。例如，基于其去重信息的研究提出了多种高效的数据去重算法，这些算法被后续的大规模语料库构建工作广泛采用。同时，利用有害内容与质量警告字段，研究者开发了自动化数据清洗流水线，显著提升了如GPT系列、LLaMA等模型训练数据的纯净度。此外，该数据集促进了多语言模型评估基准的建立，如XGLUE与XTREME中部分任务的测试数据即来源于其元数据筛选。这些衍生工作不仅深化了对数据质量与模型性能关系的理解，也为后续开源数据集（如C4、RedPajama）的设计提供了重要参考范式。