zicsx/mC4-hindi

该数据集是mC4数据集的一个子集，mC4数据集是多语言的、经过清理的Common Crawl网页爬取语料库。它包含101种语言的自然文本，包括印地语。该数据集特别关注印地语文本，包含各种类型的文本，如新闻文章、博客文章和社交媒体帖子。该数据集旨在用于训练和评估印地语的自然语言处理模型，可用于多种任务，如预训练语言模型、机器翻译、文本摘要和问答。

This dataset is a subset of the mC4 dataset, which is a multilingual colossal, cleaned version of Common Crawls web crawl corpus. It contains natural text in 101 languages, including Hindi. This dataset is specifically focused on Hindi text, and contains a variety of different types of text, including news articles, blog posts, and social media posts. The dataset is intended to be used for training and evaluating natural language processing models for Hindi, suitable for tasks such as pretraining language models, machine translation, text summarization, and question-answering. The dataset is in JSONL format, with each line containing a JSON object with fields for text, timestamp, and URL. The dataset is split into train and validation parts, with the train split containing 90% of the data, the validation split containing 5% of the data, and the test split containing 5% of the data.

原始信息汇总

数据集卡片 "mC4-hindi"

概述

该数据集是mC4数据集的一个子集，mC4是一个多语言的庞大且经过清洗的Common Crawl网络爬虫语料库。它包含101种语言的自然文本，包括印地语。该数据集专门关注印地语文本，包含各种类型的文本，如新闻文章、博客文章和社交媒体帖子。

用途

该数据集旨在用于训练和评估印地语的自然语言处理模型。它可以用于多种任务，如预训练语言模型、机器翻译、文本摘要和问答。

数据格式

数据集采用JSONL格式。每行文件包含一个具有以下字段的JSON对象：

• text：包含文档的文本。
• timestamp：包含文档被爬取的日期和时间。
• url：包含文档的URL。

数据分割

数据集分为两部分：训练集和验证集。训练集包含90%的数据，验证集包含5%的数据，测试集包含5%的数据。

使用方法

要使用该数据集，可以使用以下代码将其加载到Hugging Face Dataset对象中：

python import datasets

dataset = datasets.load_dataset("zicsx/mC4-hindi")

加载数据集后，可以使用以下代码访问训练集和验证集：

python train_dataset = dataset["train"] validation_dataset = dataset["validation"]

然后可以使用该数据集来训练和评估您的自然语言处理模型。