zicsx/OSCAR-2301-Hindi

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: meta
struct:
- name: warc_headers
struct:
- name: warc-record-id
dtype: string
- name: warc-date
dtype: string
- name: content-type
dtype: string
- name: content-length
dtype: int32
- name: warc-type
dtype: string
- name: warc-identified-content-language
dtype: string
- name: warc-refers-to
dtype: string
- name: warc-target-uri
dtype: string
- name: warc-block-digest
dtype: string
- name: identification
struct:
- name: label
dtype: string
- name: prob
dtype: float32
- name: harmful_pp
dtype: float32
- name: tlsh
dtype: string
- name: quality_warnings
sequence: string
- name: categories
sequence: string
- name: sentence_identifications
list:
- name: label
dtype: string
- name: prob
dtype: float32
splits:
- name: train
num_bytes: 35532441971
num_examples: 2757227
download_size: 13860618751
dataset_size: 35532441971
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：id，数据类型：64位整型（int64）
- 名称：text，数据类型：字符串型（string）
- 名称：meta，结构体类型，包含以下子字段：
- 名称：warc_headers，结构体类型，包含以下子字段：
- 名称：warc-record-id，数据类型：字符串型（string）
- 名称：warc-date，数据类型：字符串型（string）
- 名称：content-type，数据类型：字符串型（string）
- 名称：content-length，数据类型：32位整型（int32）
- 名称：warc-type，数据类型：字符串型（string）
- 名称：warc-identified-content-language，数据类型：字符串型（string）
- 名称：warc-refers-to，数据类型：字符串型（string）
- 名称：warc-target-uri，数据类型：字符串型（string）
- 名称：warc-block-digest，数据类型：字符串型（string）
- 名称：identification，结构体类型，包含以下子字段：
- 名称：label，数据类型：字符串型（string）
- 名称：prob，数据类型：32位浮点型（float32）
- 名称：harmful_pp，数据类型：32位浮点型（float32）
- 名称：tlsh，数据类型：字符串型（string）
- 名称：quality_warnings，字符串序列类型
- 名称：categories，字符串序列类型
- 名称：sentence_identifications，列表类型，包含以下子字段：
- 名称：label，数据类型：字符串型（string）
- 名称：prob，数据类型：32位浮点型（float32）
数据集划分：
- 划分集名称：train（训练集），占用字节数：35532441971，样本数量：2757227
下载大小：13860618751
数据集总存储大小：35532441971
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分集：train（训练集），文件路径：data/train-*

原始信息汇总

数据集信息

特征

• id: 数据类型为 int64
• text: 数据类型为 string
• meta: 结构化数据，包含以下字段：
  • warc_headers: 结构化数据，包含以下字段：
    • warc-record-id: 数据类型为 string
    • warc-date: 数据类型为 string
    • content-type: 数据类型为 string
    • content-length: 数据类型为 int32
    • warc-type: 数据类型为 string
    • warc-identified-content-language: 数据类型为 string
    • warc-refers-to: 数据类型为 string
    • warc-target-uri: 数据类型为 string
    • warc-block-digest: 数据类型为 string
  • identification: 结构化数据，包含以下字段：
    • label: 数据类型为 string
    • prob: 数据类型为 float32
  • harmful_pp: 数据类型为 float32
  • tlsh: 数据类型为 string
  • quality_warnings: 序列类型，数据类型为 string
  • categories: 序列类型，数据类型为 string
  • sentence_identifications: 列表类型，包含以下字段：
    • label: 数据类型为 string
    • prob: 数据类型为 float32

数据分割

• train: 包含 2757227 个样本，总字节数为 35532441971

数据集大小

• 下载大小: 13860618751 字节
• 数据集大小: 35532441971 字节

配置

• default: 包含训练数据文件，路径为 data/train-*

搜集汇总

数据集介绍

构建方式

OSCAR-2301-Hindi数据集源自OSCAR语料库项目，专注于印地语文本的收集与处理。其构建基于大规模网络爬取，从Common Crawl中提取印地语网页内容，并通过语言识别模型进行精准筛选。每条数据包含唯一的标识符、原始文本及丰富的元数据，如WARC头信息（记录ID、日期、内容类型等）、语言识别标签与置信度、有害性困惑度评分、TLSH哈希值、质量警告及类别标签。句子级别的语言识别进一步增强了数据的细粒度可靠性。数据集以Parquet格式存储，单训练集划分包含约276万条样本，总大小达35.5GB，确保覆盖广泛的印地语使用场景。

特点

该数据集的核心特点在于其多维度元数据架构，为自然语言处理研究提供了深度支持。WARC头信息保留了网络来源的完整溯源，便于数据审计与去重。有害性困惑度评分与质量警告字段可辅助过滤低质量或有害内容，提升训练数据的纯净度。类别标签与句子级语言识别结果则支持多任务学习，如主题分类与语言变体分析。此外，TLSH哈希值实现了高效的近似去重，避免冗余样本影响模型泛化。整体而言，OSCAR-2301-Hindi在规模与元数据丰富性上达到平衡，尤其适合印地语大语言模型的预训练与评估。

使用方法

使用该数据集时，可通过Hugging Face Datasets库加载，指定配置名'default'与训练集路径。加载后，数据以字典形式呈现，包含'id'、'text'及'meta'字段。'meta'为嵌套结构，需按需提取WARC头信息、语言识别标签或质量指标。研究者可基于'text'字段进行语言建模或微调，利用'quality_warnings'与'harmful_pp'过滤低质量样本。对于去重任务，可结合'tlsh'字段计算相似度。建议将数据集划分为训练与验证子集，或通过'categories'实现领域自适应学习。数据处理时需注意Parquet格式的高效读取，并合理管理35.5GB的内存占用。

背景与挑战

背景概述

在自然语言处理领域，大规模多语言语料库的构建是推动低资源语言技术发展的关键基石。zicsx/OSCAR-2301-Hindi数据集由OSCAR项目团队于2023年1月创建，聚焦于印地语这一全球使用人数众多的语言，旨在弥补高资源语言与低资源语言之间的数据鸿沟。该数据集从Common Crawl中筛选出约276万个印地语文档，经过语言识别、质量过滤及有害内容检测等严格处理流程，为印地语预训练语言模型、机器翻译及文本分类等任务提供了高质量、多样化的原始文本资源。其发布显著提升了印地语在自然语言处理研究中的可及性，成为评估和推进该语言相关模型性能的重要基准。

当前挑战

该数据集面临的核心挑战在于多维度平衡与资源稀缺性。首先，从领域问题看，印地语作为低资源语言，面临语料噪声大、标注数据匮乏的困境，数据集需在保持规模的同时确保文本的纯净度与代表性，以支持下游任务如情感分析或命名实体识别的泛化能力。其次，构建过程中遭遇技术挑战：从Common Crawl中精准识别印地语文本需依赖语言分类器的鲁棒性，而混合脚本（如天城文与拉丁转写）的存在增加了误判风险；此外，有害内容过滤（如基于ppl值的毒性检测）与质量警告机制需在保留多样性内容与去除低质样本间取得平衡，避免过度过滤导致文化特异性表达丢失。这些挑战共同制约了数据集在真实场景中的适用性与可靠性。

常用场景

经典使用场景

OSCAR-2301-Hindi数据集作为大规模印地语非结构化文本语料库，在自然语言处理领域扮演着基石角色。该数据集汇聚了来自网络爬虫的逾270万条印地语文档，涵盖丰富多样的主题与文体风格。其经典使用场景集中于预训练语言模型的构建，研究者可借助这批海量、无标注的文本数据，训练出能够捕捉印地语语法、语义及上下文依赖关系的深度神经网络模型，为下游任务奠定坚实基础。

解决学术问题

该数据集有效缓解了低资源语言研究中印地语大规模语料匮乏的瓶颈问题。学术研究者长期面临印地语标注数据稀缺、领域覆盖不足等挑战，OSCAR-2301-Hindi通过提供经过质量过滤与语言识别的纯净文本，支持无监督与自监督学习范式的探索。它推动了跨语言迁移学习、多语言模型泛化能力评估以及印地语特有语言现象（如词形变化、复合词结构）的统计分析，显著提升了学术界对印度次大陆主要语言的认知深度。

衍生相关工作

围绕OSCAR-2301-Hindi衍生了一系列经典研究工作，包括基于该数据集的印地语BERT变体（如Hindi-BERT、MuRIL）的预训练，以及针对印地语命名实体识别、情感分析与文本分类的微调基准。研究者还利用其元数据中的语言识别概率与质量指标，开发了语料净化与领域自适应算法。这些工作不仅验证了数据集在低资源场景下的有效性，也推动了印地语NLP从通用模型向领域特定模型的演进。