Text8

该数据集名为enwik8，包含了2006年3月3日英语维基百科XML转储文件的前100兆字节内容。它通常被用来评估模型在数据压缩方面的能力。其规模达到了100兆字节，适用于数据压缩评估这一任务。

This dataset, named enwik8, contains the first 100 megabytes of the English Wikipedia XML dump from March 3, 2006. It is widely used to evaluate models' performance on data compression tasks. With a size of 100 megabytes, it is specifically suitable for data compression evaluation.

搜集汇总

背景与挑战

背景概述

Text8是一个用于文本压缩和自然语言处理研究的基准数据集，包含1亿字节的清理后英文维基百科文本，经过预处理去除标记和格式，仅保留小写字母和空格。该数据集旨在模拟“干净”书面英语，常用于评估压缩算法的性能，并作为大型数据集fil9的快速测试子集。