Hutter Prize
收藏OpenDataLab2026-05-17 更新2024-05-09 收录
下载链接:
https://opendatalab.org.cn/OpenDataLab/Hutter_Prize
下载链接
链接失效反馈官方服务:
资源简介:
Hutter Prize Wikipedia 数据集,也称为 enwiki8,是一个字节级数据集,由 Wikipedia XML 转储的前 1 亿字节组成。为简单起见,我们将其称为字符级数据集。在这 1 亿字节中,有 205 个唯一令牌。
提供机构:
OpenDataLab
创建时间:
2022-08-16
搜集汇总
数据集介绍

背景与挑战
背景概述
Hutter Prize数据集是一个基于字节级别的Wikipedia数据集,包含前1亿字节的XML转储内容,共有205个唯一令牌,适用于字符级别的语言建模任务。
以上内容由遇见数据集搜集并总结生成



