OWT2
收藏arXiv2025-09-30 收录
下载链接：
https://github.com/eleutherai/openwebtext2
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含了从2005年直至2020年4月的Reddit提交内容，用于评估大型语言模型的流畅性。此外，该数据集在超过32,000个标记的数据长度上有所限制，主要用于对大型语言模型在较长输入长度下的性能进行基准测试。
This dataset contains Reddit submissions spanning from 2005 to April 2020, and is utilized to evaluate the fluency of large language models (LLMs). Additionally, it comprises samples with data lengths exceeding 32,000 tokens, and is primarily designed to benchmark the performance of large language models when handling longer input lengths.
提供机构：
OpenWebText2
