peS2o数据集是一个用于语言模型预训练的学术论文集合，包含约4000万篇开放获取的学术论文，这些论文经过清洗、过滤和格式化处理。该数据集源自Semantic Scholar开放研究语料库（S2ORC），由Allen Institute for AI发布。数据集有多个版本（如V1和V2），每个版本具有不同的处理方式和知识截止日期（例如，V2版本的知识截止日期为2023年1月3日）。文档格式包括添加
<img src="https://huggingface.co/datasets/allenai/pes2o/resolve/main/logo.png" alt="peS2o logo. It's a picure of a mortar and pestle with documents flying
