MC4 Dataset(101 Languages) for Text-to-Text Transformer by Google
收藏数据链接：
官方服务：
资源简介：
MT5 (multilingual Text-to-Text Transfer Transformer) is pretrained on a new Common Crawl-based dataset--mC4 dataset covering 101 languages.
MT5（多语言文本到文本迁移Transformer，multilingual Text-to-Text Transfer Transformer）在基于公共爬虫（Common Crawl）构建的全新mC4数据集上完成预训练，该数据集涵盖101种语言。
提供机构：
阿里云天池创建时间：
2020-11-05
搜集汇总
数据集介绍
背景与挑战
背景概述
MC4是一个多语言数据集，涵盖101种语言，基于Common Crawl网络抓取数据构建，用于训练mT5等文本到文本转换器模型。该数据集经过过滤和去重处理，包含约6.6亿页面和6.3万亿令牌，采用CC BY-NC-SA 4.0许可证。
以上内容由遇见数据集搜集并总结生成
