peS2o数据集是一个包含约4000万篇开放获取学术论文的集合，经过清洗、过滤和格式化，用于语言模型的预训练。该数据集来源于Semantic Scholar Open Research Corpus (S2ORC)，并发布了多个版本，每个版本的处理和知识截止日期不同。文档格式包括添加日期、创建日期、文档ID、来源、文本内容和版本号等信息。
<img src="https://huggingface.co/datasets/allenai/pes2o/resolve/main/logo.png" alt="peS2o logo. It's a picure of a mortar and pestle with documents flying
