ReviewRebuttal

这是一个同行评审数据集，包含了从2017年到2025年的45个会议的数据，包括论文、评审、反驳和元评审等内容。数据集分为训练集和测试集，其中测试集包含了1000篇论文的评审和500篇论文的反驳。数据集的格式为JSON，包含了论文ID、评审者ID、评审内容、评分等信息。

搜集汇总

数据集介绍

构建方式

在学术评审领域，ReviewRebuttal数据集通过整合45个学术会议2017至2025年间的数据，构建了覆盖完整评审流程的语料库。该数据集从OpenReview平台系统采集了初始投稿、多轮评审意见、作者反驳及讨论记录，并采用统一评分映射机制处理不同会议的异构评分标准。数据以论文为单位组织，将评审信息与反驳对话分别构建为结构化字典与多轮对话格式，最终按7:1比例划分为训练集与测试集，确保了数据的一致性与可复现性。

特点

作为当前规模最大的真实世界学术评审数据集，其核心优势在于同时具备时间跨度广、会议覆盖全、流程要素完整三大特征。数据集不仅收录了传统评审环节的评分与评论文本，更创新性地将反驳过程建模为多轮对话，完整呈现了作者与审稿人的动态交互轨迹。特别值得关注的是，该数据集通过标准化映射方法统一了各会议的评分体系，并首次实现了从初始投稿到最终决策的全流程数据贯通，为研究评审动态演变规律提供了前所未有的数据支撑。

使用方法

针对不同研究需求，该数据集提供了模块化的使用方案。评审数据适用于训练接受预测、评分生成等传统任务，其结构化字段支持细粒度分析评分演变与评审行为。反驳数据采用对话式设计，可直接用于训练交互式评审助手模型，模拟真实场景下的多轮讨论过程。研究者可分别加载REVIEWS与REBUTTAL两类数据文件，利用内置的论文标识符实现跨模块关联分析，或结合初始投稿文本开展端到端的学术写作辅助系统开发。

背景与挑战

背景概述

在学术出版领域，同行评审机制作为保障研究质量的核心环节，长期以来依赖人工评估，存在效率与一致性不足的瓶颈。ReviewRebuttal数据集由研究团队于2024年构建，汇集了2017至2025年间45个国际顶会的完整评审流程数据，涵盖初始投稿、多轮评审、作者反驳、委员会终审等全周期记录。该数据集通过确保初始提交论文的完整性，解决了传统评审数据中因版本混杂导致的分析偏差问题，为开发智能评审辅助系统提供了规模最大、结构最完善的真实世界语料库。其跨会议、跨年份的广泛覆盖特性，显著推动了自动评分预测、元评审生成等自然语言处理任务的研究进展。

当前挑战

构建过程中面临多重挑战：首先，原始评审数据分散于不同会议的异构系统中，需设计统一框架整合评分标准、置信度指标与细粒度维度评价；其次，反驳环节的多轮对话结构蕴含复杂的逻辑关联，要求精确标注作者与评审者的动态交互序列。在领域问题层面，该数据集需克服学术文本特有的技术术语密集性与论证逻辑非线性特征，其核心任务如评审生成需同时满足技术严谨性与语言流畅性，而接受预测则需在争议性边缘案例中保持高区分度。此外，数据脱敏与隐私保护机制亦成为构建过程中不可忽视的技术难点。

常用场景

经典使用场景

在学术出版领域，ReviewRebuttal数据集为同行评审流程的自动化研究提供了关键支撑。该数据集最经典的应用场景在于训练和评估基于大语言模型的智能评审助手，通过模拟作者与审稿人之间的多轮反驳对话，系统能够学习如何生成具有建设性的评审意见，并针对作者的回应进行动态调整。这种交互式对话机制不仅提升了评审过程的透明度，还为学术交流的数字化演进奠定了数据基础。

实际应用

在实际应用层面，该数据集正推动智能学术辅助系统的开发。出版机构可利用其训练自动评审系统，辅助审稿人快速生成结构化评语；作者则能通过模拟反驳对话提前优化论文表述。教育机构亦可将其作为学术写作教学工具，帮助学生理解评审标准与回应策略，这种应用延伸正在重塑传统学术交流的边界与效率。

衍生相关工作

基于该数据集衍生的经典研究主要集中在动态评审建模领域。多项工作利用其多轮对话特性开发了端到端的评审生成系统，如结合强化学习的反驳策略优化模型。在元评审生成任务中，研究者通过融合初始评分与反驳内容的变化轨迹，构建了决策可解释性增强框架。这些工作共同推动了智能学术服务从静态分析向动态交互的技术跨越。