MC4 Dataset(101 Languages) for Text-to-Text Transformer by Google
收藏阿里云天池2026-05-27 更新2024-03-07 收录
下载链接：
https://tianchi.aliyun.com/dataset/82412
下载链接
链接失效反馈官方服务：
资源简介：
MT5 (multilingual Text-to-Text Transfer Transformer) is pretrained on a new Common Crawl-based dataset--mC4 dataset covering 101 languages.
MT5（多语言文本到文本迁移Transformer，multilingual Text-to-Text Transfer Transformer）在基于公共爬虫（Common Crawl）构建的全新mC4数据集上完成预训练，该数据集涵盖101种语言。
提供机构：
阿里云天池
创建时间：
2020-11-05
搜集汇总
数据集介绍
背景与挑战
背景概述
MC4是一个多语言数据集，涵盖101种语言，基于Common Crawl网络抓取数据构建，用于训练mT5等文本到文本转换器模型。该数据集经过过滤和去重处理，包含约6.6亿页面和6.3万亿令牌，采用CC BY-NC-SA 4.0许可证。
以上内容由遇见数据集搜集并总结生成
