Bingsu/KcBERT_Pre-Training_Corpus
收藏Hugging Face2022-07-13 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Bingsu/KcBERT_Pre-Training_Corpus
下载链接
链接失效反馈官方服务：
资源简介：
KcBERT预训练语料库（韩国新闻评论）是一个用于韩语评论的BERT模型预训练数据集。该数据集包含了经过清理的韩国新闻评论数据，适用于填充掩码和文本生成任务。数据集大小为10M到100M之间，包含86246285条文本数据，总大小为19.76 GiB。数据集的结构包括一个训练集，数据字段为文本。
The KcBERT Pre-training Corpus (Korean News Comments) is a pre-training dataset for BERT models designed for Korean comment tasks. It contains cleaned Korean news comment data, which is suitable for masked language modeling and text generation tasks. The dataset has a scale ranging from 10M to 100M, comprises 86,246,285 text samples, and has a total storage size of 19.76 GiB. The dataset structure includes a single training set, with the only data field being text.
提供机构：
Bingsu
原始信息汇总
数据集概述
名称: KcBERT Pre-Training Corpus (Korean News Comments)
语言: 韩语 (ko)
许可证: CC BY-SA 4.0
多语言性: 单语种
数据集大小: 10M<n<100M
源数据集: 原始数据
任务类别:
- 填充掩码
- 文本生成
任务ID:
- 掩码语言建模
- 语言建模
数据集结构
数据实例: pycon
from datasets import load_dataset
dataset = load_dataset("Bingsu/KcBERT_Pre-Training_Corpus") dataset DatasetDict({ train: Dataset({ features: [text], num_rows: 86246285 }) })
数据大小:
- 下载: 7.90 GiB
- 生成: 11.86 GiB
- 总计: 19.76 GiB
数据字段:
text:string
数据分割:
| train | |
|---|---|
| # of texts | 86246285 |
