Someman/hindi-summarization

---
license: mit
task_categories:
- summarization
language: hi
original_source: >-
https://www.kaggle.com/datasets/disisbig/hindi-text-short-and-large-summarization-corpus
dataset_info:
features:
- name: headline
dtype: string
- name: summary
dtype: string
- name: article
dtype: string
splits:
- name: train
num_bytes: 410722079.5542422
num_examples: 55226
- name: test
num_bytes: 102684238.44575782
num_examples: 13807
- name: valid
num_bytes: 128376473
num_examples: 17265
download_size: 150571314
dataset_size: 641782791
pretty_name: hindi summarization
size_categories:
- 10K<n<100K
---
# Dataset Card for Dataset Name

## Dataset Description

- Homepage: https://www.kaggle.com/datasets/disisbig/hindi-text-short-and-large-summarization-corpus?select=test.csv

### Dataset Summary

Hindi Text Short and Large Summarization Corpus is a collection of ~180k articles with their headlines and summary collected from Hindi News Websites.

This is a first of its kind Dataset in Hindi which can be used to benchmark models for Text summarization in Hindi. This does not contain articles contained in Hindi Text Short Summarization Corpus which is being released parallely with this Dataset.

The dataset retains original punctuation, numbers etc in the articles.

### Languages

The language is Hindi.

### Licensing Information

MIT

### Citation Information

https://www.kaggle.com/datasets/disisbig/hindi-text-short-and-large-summarization-corpus?select=test.csv

### Contributions

license: MIT协议
task_categories:
- 文本摘要（summarization）
language: 印地语（hi）
original_source: >-
https://www.kaggle.com/datasets/disisbig/hindi-text-short-and-large-summarization-corpus
dataset_info:
features:
- name: 标题（headline）
dtype: 字符串（string）
- name: 摘要（summary）
dtype: 字符串（string）
- name: 文本（article）
dtype: 字符串（string）
splits:
- name: 训练集（train）
num_bytes: 410722079.5542422
num_examples: 55226
- name: 测试集（test）
num_bytes: 102684238.44575782
num_examples: 13807
- name: 验证集（valid）
num_bytes: 128376473
num_examples: 17265
download_size: 150571314
dataset_size: 641782791
pretty_name: 印地语摘要生成（hindi summarization）
size_categories:
- 10000 < 样本数 < 100000
---
# 数据集卡片（Dataset Card）

## 数据集说明

- 主页：https://www.kaggle.com/datasets/disisbig/hindi-text-short-and-large-summarization-corpus?select=test.csv

### 数据集概述

印地语长短文本摘要语料库（Hindi Text Short and Large Summarization Corpus）是从印地语新闻网站采集得到的、包含约18万条带标题与对应摘要的文本语料集合。
本数据集为首款印地语专属文本摘要数据集，可用于构建印地语文本摘要任务的基准模型，或对相关模型进行性能基准测试。本数据集未包含与本语料库同步发布的《印地语短文本摘要语料库》中的文本内容。
该数据集保留了原文本中的原始标点符号、数字等信息。

### 语言说明

语言为印地语。

### 许可信息

MIT协议

### 引用信息

https://www.kaggle.com/datasets/disisbig/hindi-text-short-and-large-summarization-corpus?select=test.csv

### 贡献

原始信息汇总

数据集概述

数据集名称

• 名称：Hindi Text Short and Large Summarization Corpus

数据集描述

• 描述：该数据集包含约180,000篇来自印度新闻网站的文章，每篇文章都附有标题和摘要。这是首个用于评估印度语文本摘要模型的数据集。

语言

• 语言：印度语

许可信息

• 许可：MIT

数据集特征

• 特征：
  • 名称：headline
    • 类型：字符串
  • 名称：summary
    • 类型：字符串
  • 名称：article
    • 类型：字符串

数据集拆分

• 训练集：
  • 示例数：55,226
  • 字节数：410,722,079.5542422
• 测试集：
  • 示例数：13,807
  • 字节数：102,684,238.44575782
• 验证集：
  • 示例数：17,265
  • 字节数：128,376,473

数据集大小

• 下载大小：150,571,314字节
• 数据集大小：641,782,791字节

数据集类别

• 大小类别：10K<n<100K

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，文本摘要任务长期受限于非英语语料库的匮乏。为弥补印地语摘要资源的空白，研究者从印地语新闻网站系统性地采集了约18万篇新闻文章，并为其配备了对应的标题与摘要。该数据集在构建过程中保留了原文的标点符号与数字等原始特征，确保了数据质量的完整性。数据集被划分为训练集（55,226条）、验证集（17,265条）和测试集（13,807条），为模型训练与评估提供了标准化的基准。

特点

作为印地语首个大规模摘要语料库，该数据集具有鲜明的领域特色。其核心优势在于覆盖了短文本与长文本两种摘要场景，能够全面检验模型对不同长度内容的概括能力。数据来源于真实新闻网站，保留了原始文本中的数字、标点等细微特征，避免了预处理造成的信息损失。此外，该数据集与同期发布的短文本摘要语料库互不重叠，为研究者提供了多样化的实验素材。

使用方法

该数据集可直接用于序列到序列模型的训练与评估，支持基于Transformer架构的摘要模型微调。使用时，研究者可将'article'字段作为模型输入，以'headline'或'summary'作为目标输出。推荐采用标准的分词工具对印地语文本进行预处理，并利用提供的划分方案进行交叉验证。该数据集兼容HuggingFace的Datasets库，可通过简单的API调用加载，便于集成到现代深度学习流程中。

背景与挑战

背景概述

在自然语言处理领域，文本摘要技术旨在将冗长的文档精炼为简洁的概要，极大提升了信息获取效率。然而，相较于英语等资源丰富语言，印地语等低资源语言的摘要研究长期受限于高质量数据集的匮乏。Someman/hindi-summarization数据集应运而生，由研究团队于近年构建，源自印度新闻网站的约18万篇文章及其标题与摘要，是印地语领域首个大规模文本摘要基准资源。该数据集保留了原文的标点和数字等细节，为模型训练提供了真实场景的挑战。其发布填补了印地语自动摘要研究的空白，推动了多语言自然语言处理的发展，并为评估模型在低资源语言上的泛化能力提供了重要基石。

当前挑战

该数据集所解决的领域问题聚焦于印地语文本摘要，核心挑战在于低资源语言中语义理解的复杂性：印地语形态丰富、词序灵活，且缺乏大规模预训练语言模型，导致生成式摘要易出现语法错误或信息丢失。构建过程中，团队面临多重困难：首先，从多个新闻网站采集数据需处理编码不一致和噪声文本；其次，人工标注摘要的质量控制成本高昂，需确保标题与摘要的语义一致性；最后，数据划分需平衡类别分布，避免新闻主题偏差影响模型泛化。这些挑战不仅关乎数据集的可用性，也为后续研究在数据增强、跨语言迁移学习等领域提出了新课题。

常用场景

经典使用场景

在自然语言处理领域中，印地语作为全球使用人数众多的语言之一，其文本摘要研究长期受限于高质量标注数据的匮乏。Someman/hindi-summarization数据集应运而生，它汇聚了约18万篇来自印地语新闻网站的完整文章及其对应的标题与摘要，成为该语种首个大规模、可基准测试的文本摘要语料库。研究者可借助此数据集训练和评估序列到序列模型、基于Transformer的预训练语言模型（如mT5、IndicBART）在抽象式与抽取式摘要任务上的表现，从而推动印地语自动摘要技术的标准化发展。

衍生相关工作

该数据集的发布激发了多项经典后续工作，例如研究者基于此微调多语言预训练模型IndicBART，在印地语摘要任务上取得了超越基线模型的性能；同时有工作将其与英语摘要数据集结合，探索跨语言摘要的知识迁移机制。此外，该语料被用于评估生成式摘要中的事实一致性检测方法，催生了针对印地语的语言特异性评估指标。这些衍生研究不仅深化了对低资源语言摘要挑战的理解，也为构建真正实用的多语言摘要系统奠定了方法论基础。

数据集最近研究

最新研究方向

在自然语言处理领域，印地语作为全球使用人数众多的语言之一，其文本摘要研究长期受限于高质量标注语料的匮乏。Someman/hindi-summarization数据集的出现填补了这一空白，为低资源语言摘要任务提供了首个大规模基准。当前前沿研究方向聚焦于利用该数据集训练基于Transformer架构的跨语言摘要模型，探索在印地语新闻场景下结合预训练语言模型（如mT5、IndicBERT）的微调策略，并针对长文本摘要中的关键信息压缩与语义保真度展开优化。该数据集还推动了多语言摘要系统的公平性评估，成为衡量模型在非英语语言上泛化能力的重要测试床，其开源特性更促进了印度本土NLP社区的技术迭代与学术交流，对构建包容性多语言智能系统具有里程碑意义。