datablations/oscar-filter

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: meta
struct:
- name: warc_headers
struct:
- name: warc-record-id
dtype: string
- name: warc-date
dtype: string
- name: content-type
dtype: string
- name: content-length
dtype: int32
- name: warc-type
dtype: string
- name: warc-identified-content-language
dtype: string
- name: warc-refers-to
dtype: string
- name: warc-target-uri
dtype: string
- name: warc-block-digest
dtype: string
- name: identification
struct:
- name: label
dtype: string
- name: prob
dtype: float32
- name: annotations
sequence: string
- name: line_identifications
list:
- name: label
dtype: string
- name: prob
dtype: float32
- name: perplexity_score
dtype: float64
- name: text_length
dtype: int64
- name: url
dtype: string
- name: domain
dtype: string
- name: dup_ratio
dtype: float64
- name: pairs
sequence:
sequence: int64
- name: repetitions
sequence: binary
- name: included_in_dedup
dtype: bool
- name: cluster
sequence: int64
splits:
- name: train
num_bytes: 3188486875748
num_examples: 431992659
download_size: 419397499659
dataset_size: 3188486875748
---

this is the one where we build the suffix array for 25% Oscar and only deduplicate that part - by deduplication I mean removing any document which has an at least 100-char span overlapping with another document in the 25% chunk. This is very strict and preserves only about 20 million documents, so less then 5% of the full Oscar.

数据集信息：
特征：
- 名称：id，数据类型：int64
- 名称：text，数据类型：字符串
- 名称：meta，结构体：
- 名称：warc_headers，结构体：
- 名称：warc-record-id，数据类型：字符串
- 名称：warc-date，数据类型：字符串
- 名称：content-type，数据类型：字符串
- 名称：content-length，数据类型：int32
- 名称：warc-type，数据类型：字符串
- 名称：warc-identified-content-language，数据类型：字符串
- 名称：warc-refers-to，数据类型：字符串
- 名称：warc-target-uri，数据类型：字符串
- 名称：warc-block-digest，数据类型：字符串
- 名称：identification，结构体：
- 名称：label，数据类型：字符串
- 名称：prob，数据类型：float32
- 名称：annotations，字符串序列
- 名称：line_identifications，列表：
- 名称：label，数据类型：字符串
- 名称：prob，数据类型：float32
- 名称：perplexity_score，数据类型：float64（困惑度得分）
- 名称：text_length，数据类型：int64（文本长度）
- 名称：url，数据类型：字符串（统一资源定位符）
- 名称：domain，数据类型：字符串（域名）
- 名称：dup_ratio，数据类型：float64（重复率）
- 名称：pairs，序列：元素为int64类型的序列
- 名称：repetitions，二进制值序列
- 名称：included_in_dedup，数据类型：布尔型（是否参与去重）
- 名称：cluster，元素为int64类型的序列
数据集划分：
- 名称：train（训练集），字节数：3188486875748，样本数：431992659
下载大小：419397499659
数据集总大小：3188486875748

本数据集针对25%的Oscar语料库（Oscar）子集构建后缀数组（suffix array），并仅对该子集执行去重操作。此处的去重指移除该25%分块中与其他文档存在至少100字符文本跨度重叠的所有文档。该去重规则极为严格，最终仅保留约2000万份文档，仅为完整Oscar语料库总量的5%以下。

原始信息汇总

数据集概述

数据集特征

• id: 整数类型 (int64)
• text: 字符串类型 (string)
• meta: 结构体类型，包含以下子特征：
  • warc_headers: 结构体类型，包含以下子特征：
    • warc-record-id: 字符串类型 (string)
    • warc-date: 字符串类型 (string)
    • content-type: 字符串类型 (string)
    • content-length: 整数类型 (int32)
    • warc-type: 字符串类型 (string)
    • warc-identified-content-language: 字符串类型 (string)
    • warc-refers-to: 字符串类型 (string)
    • warc-target-uri: 字符串类型 (string)
    • warc-block-digest: 字符串类型 (string)
  • identification: 结构体类型，包含以下子特征：
    • label: 字符串类型 (string)
    • prob: 浮点数类型 (float32)
  • annotations: 字符串序列类型
  • line_identifications: 列表类型，包含以下子特征：
    • label: 字符串类型 (string)
    • prob: 浮点数类型 (float32)
• perplexity_score: 浮点数类型 (float64)
• text_length: 整数类型 (int64)
• url: 字符串类型 (string)
• domain: 字符串类型 (string)
• dup_ratio: 浮点数类型 (float64)
• pairs: 整数序列的序列类型 (sequence: sequence: int64)
• repetitions: 二进制序列类型 (sequence: binary)
• included_in_dedup: 布尔类型 (bool)
• cluster: 整数序列类型 (sequence: int64)

数据集分割

• train: 训练集
  • 字节数: 3188486875748
  • 示例数: 431992659

数据集大小

• 下载大小: 419397499659
• 数据集大小: 3188486875748

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模语料库的构建往往面临数据冗余与质量控制的挑战。datablations/oscar-filter数据集正是基于Oscar语料库，通过创新的去重策略构建而成。构建过程选取了Oscar语料库中25%的文档作为样本，利用后缀数组技术对这部分数据构建索引，然后执行严格的去重操作。去重的核心标准是移除任何与其他文档存在至少100个字符重叠片段的文档，这一严苛的阈值设定旨在最大程度消除重复内容，最终仅保留约2000万篇文档，占原始Oscar语料库的不到5%。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库直接加载，例如使用`load_dataset('datablations/oscar-filter', split='train')`获取训练集。数据集包含`text`字段作为主要文本内容，同时提供`perplexity_score`、`dup_ratio`等质量指标，便于根据任务需求进行二次过滤。`meta`字段中的语言识别信息可用于多语言任务筛选，而`included_in_dedup`布尔字段则标识文档是否经过去重处理。对于需要严格数据质量的研究，建议结合`text_length`和`perplexity_score`进一步筛选低困惑度、长度适中的文档。

背景与挑战

背景概述

在自然语言处理领域，大规模无监督语料库的构建是预训练语言模型成功的关键基石。OSCAR语料库作为从Common Crawl中筛选出的多语言网络文本集合，自2019年由Inria研究团队与Hugging Face联合发布以来，已成为多语言预训练研究的重要数据源。该数据集的核心研究问题在于如何从海量、嘈杂的网络数据中提取高质量、多语言的文本，以支持跨语言模型的泛化能力。其影响力体现在推动了XLM-R、mBART等模型的训练，并催生了后续针对数据质量与去重的深入研究。然而，原始OSCAR语料库中存在的冗余与噪声问题，促使研究者进一步探索更精细的数据过滤策略。

当前挑战

datablations/oscar-filter数据集所面临的挑战首先源自领域问题的复杂性：尽管OSCAR语料库解决了多语言数据稀缺问题，但其内部存在大量重复文档与低质量文本，严重影响模型训练的收敛效率与泛化性能。该数据集通过构建后缀数组对25%的OSCAR子集进行严格去重，移除任何与其他文档存在至少100字符重叠的文档，最终仅保留不足5%的原始文档。这一过程中，构建挑战包括处理近4.32亿文档的庞大索引规模、设计高效的字符串匹配算法以在合理计算资源下完成去重，以及平衡去重严格性与数据保留量之间的权衡，避免过度过滤导致语料多样性丧失。

常用场景

经典使用场景

在自然语言处理领域，大规模语料库的构建与清洗是预训练语言模型成功的关键基石。Oscar-filter 数据集作为 OSCAR 语料库的严格去重版本，其经典使用场景在于为语言模型提供高质量、低冗余的训练数据。通过构建后缀数组对 25% 的原始 OSCAR 数据进行去重，移除任何与其他文档存在至少 100 字符重叠的文档，最终仅保留约 2000 万篇文档，占比不足原始数据的 5%。这一严苛的过滤策略使得该数据集成为研究数据质量与模型性能之间关系的理想平台，尤其适用于探索去重强度对语言模型泛化能力、记忆效应及训练效率的影响。

解决学术问题

该数据集精准回应了大规模语料库中数据冗余导致模型过拟合与泛化能力下降的学术难题。在预训练语言模型的研究中，重复文本的过度记忆会削弱模型对未见数据的适应能力，并引发隐私泄露风险。Oscar-filter 通过系统性去重，为量化数据冗余与模型性能之间的因果关联提供了基准资源。它帮助研究者验证了“严格去重可显著提升下游任务表现”这一假设，并揭示了不同去重阈值对模型困惑度、知识记忆度及鲁棒性的差异化影响。这一工作推动了数据筛选方法论从经验性操作向可解释、可复现的科学范式转变，成为数据高效训练领域的重要参照。

实际应用

在实际应用中，Oscar-filter 数据集为工业级语言模型的训练提供了低冗余、高信息密度的语料基础。企业可基于此数据集构建更轻量、更高效的预训练流程，降低计算资源消耗的同时提升模型在问答、文本生成、语义理解等任务中的表现。此外，该数据集还可用于开发数据去重工具链的基准测试，帮助技术团队评估不同去重算法（如 MinHash、SimHash）的效力与效率。对于需要处理海量网络爬取文本的搜索引擎、推荐系统及对话机器人，Oscar-filter 所代表的严格去重策略为数据预处理环节提供了可复用的技术路径，直接优化了实际产品的响应质量与用户隐私保护水平。

数据集最近研究

最新研究方向

在大规模语言模型预训练数据治理的前沿探索中，Oscar-filter数据集凭借其严格的去重策略，成为研究数据质量与模型性能关联性的关键资源。该数据集基于Oscar语料库的25%子集，通过构建后缀数组识别并移除任意包含至少100字符重叠的文档，最终仅保留约2000万条高质量文本，占比不足原始数据的5%。这一极端去重方法直接回应了当前大模型领域对数据冗余与记忆效应的高度关注，尤其与GPT-4、Llama等模型在训练中暴露的过拟合与隐私泄露风险紧密相关。研究者利用该数据集验证了硬去重对减少模型逐字记忆、提升泛化能力的积极作用，同时揭示了过度去重可能损害语料多样性的权衡。Oscar-filter的发布不仅为数据清洗提供了可复现的基准，更推动了关于“最优去重粒度”的讨论，其影响延伸至低资源语言处理、多模态数据融合等交叉方向，成为连接数据工程与模型伦理的重要枢纽。