gsgoncalves/roberta_pretrain
收藏Hugging Face2023-05-02 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/gsgoncalves/roberta_pretrain
下载链接
链接失效反馈官方服务：
资源简介：
这是用于预训练RoBERTa的数据集的串联。数据集未打乱，包含原始文本，为了方便使用而打包。本质上与以下代码相同：从datasets库加载bookcorpus、openwebtext、cc_news和cc-stories数据集，移除cc_news中除text列外的所有列，然后将这些数据集串联起来。
这是用于预训练RoBERTa的数据集的串联。数据集未打乱，包含原始文本，为了方便使用而打包。本质上与以下代码相同：从datasets库加载bookcorpus、openwebtext、cc_news和cc-stories数据集，移除cc_news中除text列外的所有列，然后将这些数据集串联起来。
提供机构：
gsgoncalves
原始信息汇总
数据集概述
基本信息
- 许可证: 未知
- 任务类别:
- 填充掩码
- 文本生成
- 语言: 英语
- 大小类别: 10M<n<100M
数据集详情
- 名称: RoBERTa Pretrain Dataset
- 描述: 该数据集是用于预训练RoBERTa模型的数据集的拼接。数据集未进行随机排序，包含原始文本，旨在方便使用。
- 构成: 数据集由以下部分拼接而成：
- BookCorpus
- OpenWebText
- CC_News（已移除非文本列）
- CC_Stories
