OpenRaiser/PaperFlow

PaperFlow-Bench是一个用于科学论文推荐和个性化研究的基准数据集，包含模拟研究用户的元数据、每日论文流、用户-天事件、去重论文元数据（含arXiv摘要和PDF链接）、事件-论文标签（包括显示标志和模拟阅读选择）、兴趣漂移诊断时间线以及PaperFlow生成的阅读报告。数据集旨在支持文本检索、文本排名和摘要任务，适用于推荐系统、科学论文推荐、个性化和基准测试研究。当前版本包含24个模拟用户、50个每日论文流、1,200个用户-天事件、20,727篇唯一论文、497,448条事件-论文记录和3,104篇阅读报告，显示预算限制为Top-20，并提供了评估工具用于Top-20预测文件和阅读报告输出的性能评估。PaperFlow-Bench is a benchmark dataset for scientific paper recommendation and personalized research, containing simulated research user metadata, daily paper streams, user-day episodes, deduplicated paper metadata (with arXiv abstracts and PDF URLs), episode-paper labels (including shown flags and simulated reading selections), interest-drift diagnostic timelines, and PaperFlow-generated reading reports. The dataset is designed for text retrieval, text ranking, and summarization tasks, suitable for recommender systems, scientific paper recommendation, personalization, and benchmarking research. The current snapshot includes 24 simulated users, 50 daily paper streams, 1,200 user-day episodes, 20,727 unique papers, 497,448 episode-paper records, and 3,104 reading reports, with a display budget limited to Top-20, and provides evaluation tools for performance assessment of Top-20 prediction files and reading report outputs.

搜集汇总

数据集介绍

构建方式

PaperFlow数据集的构建立足于对科研用户信息行为的深度模拟，通过系统化生成24位具有不同角色与兴趣特征的研究用户，并为其构建为期50天的日常文献流，累积产生1,200个用户-日交互片段。该数据集以用户画像、文献元数据、交互标签及兴趣漂移时间线为核心组件，涵盖20,727篇去重论文及497,448条论文-片段关联记录。每个片段均模拟用户的显式标记与阅读选择行为，并辅以PaperFlow引擎生成的3,104份阅读报告作为参考输出，从而实现对个性化文献推荐全流程的闭环表征。

特点

PaperFlow数据集的核心特质在于其高度结构化与多维标注的融合。数据以用户、片段、论文、标签及兴趣漂移五个子集独立存储，便于灵活解析与组合调用。其显著特征包括明确的显示预算机制（Top-20），以及基于伪神标准则构建的控制性评估标签，既规避了真实标注的主观偏差，又提供了可复现的基准。此外，兴趣漂移时间线的引入，使数据集具备捕捉用户偏好动态演进的能力，为时序感知推荐系统的研究提供了稀缺的评测资源。

使用方法

使用者可通过Hugging Face Datasets库直接加载各子集，例如以load_dataset函数指定'users'或'episodes'等配置名称即可获取对应数据。推荐任务采用Top-20预测文件格式，每条记录包含片段标识与排序后的论文ID列表，通过内置的evaluate.py脚本可计算gNDCG@20、Useful@5、MRR@20等多项指标。阅读报告生成任务则依赖evaluate_reports.py进行评估，覆盖覆盖率和结构完整性等维度。配套的make_submission.py脚本可辅助创建合规的提交文件，确保评测流程的标准化与高效性。

背景与挑战

背景概述

PaperFlow数据集由OpenRaiser团队于2025年创建，旨在应对科研场景下论文推荐与个性化阅读报告生成的挑战。核心研究问题聚焦于模拟研究人员在时间序列中的兴趣漂移行为，并评估基于用户-论文交互的多任务检索与排序系统。该数据集通过模拟24位虚拟用户、跨越1200个用户-天会话片段，覆盖超过2万篇论文的元数据与阅读行为标签，为可解释推荐与动态兴趣追踪领域提供了首个端到端基准。其对推荐系统交叉学科的影响力，体现在将信息检索、自然语言生成与用户建模整合为统一的评估范式，推动了可复现研究的进展。

当前挑战

该数据集应对的核心挑战在于科学论文推荐中的高度异质性与时间动态性：用户兴趣随科研前沿与个人学术周期不断演变，传统静态模型难以捕捉这种细粒度漂移。构建过程中，模拟数据的真实性构成显著困难，包括手工设计多样化的用户种子画像、在有限基数下生成具备现实统计特性的交互序列，以及平衡伪标注（episode_labels）的评估精度与泛化偏差。此外，如何从无金标准的论文摘要中自动生成结构化阅读报告作为参考输出，对摘要质量与可评估性提出了严苛要求，驱动了多指标评估体系的开发以规避单一代理指标的局限性。

常用场景

经典使用场景

在学术信息检索与个性化推荐这一交叉领域中，PaperFlow数据集被广泛用作评测科研论文动态推荐系统的标准基准。其核心设计围绕模拟研究者每日面对海量论文流、在有限浏览预算下择取高价值文献的真实场景，构建了以用户-天为粒度的交互时序数据。研究者可借此评估算法在Top-20推荐列表上的表现，涵盖归一化折损累计增益（gNDCG@20）、有用性指标（Useful@20）、排序倒数（MRR@20）等关键维度，从而系统性地比较不同推荐模型在动态兴趣演化环境中的性能优劣。

衍生相关工作

PaperFlow数据集的发布催生了一系列围绕动态论文推荐与科研信息提取的衍生研究工作。一方面，研究者基于其评价框架提出了融入时间衰减与兴趣漂移感知的协同过滤模型，显著提升了长序列推荐中的预测精度。另一方面，其阅读报告生成模块启发了多篇学术短文本结构化摘要生成的工作，探索了如何利用大语言模型从论文全文中提炼实验证据与发现。此外，部分工作还借鉴了PaperFlow的模拟用户机制，迁移至跨领域学术推荐任务中，进一步拓展了其在迁移学习与领域适应问题上的应用边界。

数据集最近研究

最新研究方向

当前，科学文献推荐系统正面临用户兴趣漂移与信息过载的双重挑战，PaperFlow-Bench作为面向科研场景的个性化论文推荐基准数据集，聚焦于模拟研究者日常阅读行为中的动态偏好演变。该数据集通过精细模拟24位科研用户在50篇日更论文流中的交互日志，构建了超过49万条论文-用户时序记录，并创新性地引入兴趣漂移诊断时间线，为捕捉长周期内用户研究焦点的迁移规律提供了实验土壤。前沿研究正利用其参考阅读报告与多维度评估指标（如gNDCG与Lift值），探索结合检索增强生成技术生成个性化论文摘要的可行性，这一方向紧密关联AI for Science浪潮中学者对高效文献筛选工具的迫切需求，对推动科研效率的范式革新具有里程碑意义。