lm1b

One Billion Word Language Model Benchmark主要用于衡量统计语言建模的进展，它包含近十亿个单词的训练数据。数据集以纯文本形式提供，主要包含文本字段，分为训练集和测试集，分别包含30301028和306688个样本。该语料库可用于文本生成和掩码填充等任务。