lm1b
收藏官方服务：
资源简介：
One Billion Word Language Model Benchmark主要用于衡量统计语言建模的进展，它包含近十亿个单词的训练数据。数据集以纯文本形式提供，主要包含文本字段，分为训练集和测试集，分别包含30301028和306688个样本。该语料库可用于文本生成和掩码填充等任务。
提供机构：
AIWizards创建时间：
2024-07-19
社区交流群
科研交流群
商业服务
One Billion Word Language Model Benchmark主要用于衡量统计语言建模的进展，它包含近十亿个单词的训练数据。数据集以纯文本形式提供，主要包含文本字段，分为训练集和测试集，分别包含30301028和306688个样本。该语料库可用于文本生成和掩码填充等任务。