ICLR Peer Review and Rebuttal Process Dataset

该数据集包含从ICLR 2024和2025年收集的同行评审和反驳过程数据，数据来自OpenReview平台，包括评审者ID、初始评分和反驳后评分。评审者评分变化被追踪，使用追踪分数指标来评估评审者连续性，分数≤1表示有效使用，≥2需双重检查。数据许可证为CC BY 4.0。This dataset contains peer review and rebuttal process data collected from ICLR 2024 and 2025, sourced from the OpenReview platform. It includes reviewer IDs, initial review scores, and post-rebuttal scores. Reviewer score changes are tracked, and the tracking score metric is used to evaluate reviewer continuity, where a score ≤1 denotes valid usage, while a score ≥2 requires double-checking. The dataset is licensed under CC BY 4.0.

原始信息汇总

ICLR Insights 数据集概述

数据集基本信息

• 数据集名称: iclr-insights
• 数据来源: ICLR 2024和2025年同行评审和反驳过程
• 数据收集时间: 截至2025年11月24日数据已上传

数据内容

• 数据范围: ICLR 2024和2025年所有收集的评审数据
• 数据位置: https://github.com/papercopilot/iclr-insights/dataset/
• 标识符类型: OpenReview ID（格式：https://openreview.net/forum?id=put_your_id_here）
• 评分信息: 分号前为初始评分，分号后为反驳后评分

数据特征

• 评审者追踪: 使用追踪评分（Tracing Score）指标跟踪评审者连续性
• 评分变化: 记录评审者在评审过程中的多次评分变化
• 数据完整性: 包含评分、置信度、呈现效果等完整评审档案

追踪评分说明

• ≤ 1: 有效可用
• ≥ 2: 需要双重检查（手动审计显示通常仍有效）

评分解释

• -1: 反驳前后档案完全无变化
• 0: 评审者档案（除总体评分外）跨天数保持不变
• 1: 累计微小差异，仍为可靠匹配
• ≥ 2: 评审档案存在多重差异（仅影响小部分数据集）

使用许可

• 许可证: CC BY 4.0（与OpenReview相同许可证）

相关论文

• 论文链接: https://arxiv.org/pdf/2511.15462
• 引用格式:

@article{kargaran2025insights, title={Insights from the ICLR Peer Review and Rebuttal Process}, author={Kargaran, Amir Hossein and Nikeghbal, Nafiseh and Yang, Jing and Ousidhoum, Nedjma}, journal={arXiv preprint arXiv:2511.15462}, year={2025} }

搜集汇总

数据集介绍

构建方式

在人工智能与机器学习领域，同行评审机制对学术质量保障至关重要。该数据集系统采集了ICLR 2024与2025年度的完整评审数据，通过OpenReview平台获取包含初始评分、反驳后评分及评审者画像的多维度信息。构建过程中采用时序追踪技术，通过每日快照记录评分动态变化，并创新性地引入追踪评分指标来验证评审者身份连续性，确保数据纵向对比的可靠性。

特点

本数据集最显著的特征在于完整呈现了评审过程中的动态演变轨迹，不仅包含传统静态评分，更精准记录了每位评审者在反驳阶段前后的评分变化细节。通过独特的追踪评分体系，将评审者身份连续性量化为七个等级，其中≤1级数据具有较高置信度，≥2级数据则需交叉验证。这种设计使得研究者能清晰辨析评审态度转变模式，为理解学术交流机制提供前所未有的细粒度视角。

使用方法

研究者可通过OpenReview标识符直接关联原始论文与评审数据，利用追踪评分筛选高质量样本。数据集支持多维度分析：既可横向比较不同会议年份的评审标准演变，也能纵向追踪个体评审者在反驳过程中的态度转变。使用时应重点参考评分字段中分号前后的对比数据，前者代表初始评分，后者反映反驳后调整结果，这种结构设计为研究学术辩论对决策的影响提供了标准化分析框架。

背景与挑战

背景概述

随着人工智能领域学术交流的蓬勃发展，国际学习表征会议（ICLR）作为机器学习领域的重要学术平台，其同行评审与反驳机制对论文质量筛选具有关键作用。该数据集由Amir Hossein Kargaran等研究人员于2025年创建，依托OpenReview平台系统采集了ICLR 2024与2025两届会议的完整评审数据，通过追踪评审者在反驳流程前后的评分动态，为理解学术社区决策机制提供了量化研究基础。

当前挑战

在构建过程中面临评审者身份连续性验证的技术难题，需通过多维度评分特征重构评审者画像，并设计追踪评分指标保障数据可靠性。该数据集致力于揭示同行评审中评分演变的复杂模式，其核心挑战在于解析初始评分与反驳后评分的关联性，以及多轮评分变更对最终决策的影响机制，这些都对自然语言处理与学术质量评估模型提出了更高要求。

常用场景

经典使用场景

在计算语言学与学术出版交叉领域，该数据集为同行评审动态研究提供了关键实证基础。其核心应用聚焦于分析反驳环节对评审意见的修正效应，通过追踪ICLR会议中评审分数在反驳前后的变化轨迹，揭示学术交流对决策过程的影响机制。研究者可借助评分序列重建模型，量化评审者立场漂移规律，为学术质量控制提供数据驱动的分析框架。

解决学术问题

该数据集有效解决了学术评审机制中的若干核心问题：通过标准化追踪指标验证反驳过程对评审公正性的提升作用，为量化评估学术交流效能提供基准。其设计的追踪评分体系有效甄别评审者行为一致性，缓解了传统研究中因身份匿名导致的验证困境，对构建可解释的智能评审辅助系统具有奠基意义。

衍生相关工作

基于该数据集的经典研究已催生多维度延伸成果。部分工作聚焦于开发动态评审预测模型，通过时序分析预判论文录用概率；另有研究构建评审者画像系统，结合自然语言处理技术分析评论文本与分数变化的关联。这些衍生工作共同推进了学术质量评估从经验判断向数据驱动的范式转变。