LLMscore-ICLR-OpenReview

该数据集是为论文《Position: Peer Review Should Be Calibrated via LLM Scoring》发布的原始数据集，包含与OpenReview关联的ICLR 2023、2024和2025年数据，用于同行评审分析。数据集包括论文元数据、标准化评审记录、匿名化的支持/反对理由项、锚定分数、偏差值以及提取的论文文本，旨在研究论文评审理由、数字评分、LLM衍生的锚定分数和评审分数残差之间的相互作用。

This is the original dataset released for the paper "Position: Peer Review Should Be Calibrated via LLM Scoring", which includes ICLR 2023, 2024 and 2025 data associated with OpenReview for peer review analysis. The dataset includes paper metadata, standardized review records, anonymized support/objection reasoning items, anchor scores, bias values, and extracted paper texts, aiming to investigate the interactions among review rationales, numerical ratings, LLM-derived anchor scores and review score residuals.

原始信息汇总

数据集概述

该数据集是论文《Position: Peer Review Should Be Calibrated via LLM Scoring》的官方发布数据集，已被ICML 2026 Position Track接收。其核心用途为同行评审分析，旨在研究论文评审理由、数值评分、LLM推导的锚定分数以及评审分数残差之间的相互作用，并非通用论文语料库。

数据内容

数据集整理了来自OpenReview平台的ICLR 2023、2024和2025年的数据，包含以下内容：

• 论文元数据：包括论文ID、标题、摘要等基本信息。
• 标准化评审记录：每篇论文收到的同行评审记录。
• 匿名化正反理由项：从评审中提取的结构化赞成/反对理由单元。
• 锚定分数（expected_score）：由LLM（ChatGPT-4o）根据评审理由推导出的基准分数。
• 偏差值（bias）：评审员给出的分数与锚定分数之间的残差。
• 提取的论文文本：从PDF中提取的纯文本内容。

注意：数据集有意不包含论文PDF文件，用户需通过openreview_url和pdf_url访问原始页面和PDF。

数据文件结构

数据集以压缩文件形式组织，按ICLR年份划分：

• data/ 目录：包含按年份（ICLR_2023、ICLR_2024、ICLR_2025）组织的压缩JSONL文件。
  • papers.jsonl.gz：论文级别记录。
  • reviews.jsonl.gz：评审级别记录。
  • anonymized_items.jsonl.gz：匿名化理由项记录。
  • paper_text_index.jsonl.gz：论文文本索引，记录文本路径、页数、字符数等信息。
• texts/ 目录：包含按年份组织的压缩tar.gz包，内含每篇论文的UTF-8纯文本（.txt）文件。
• metadata/ 目录：包含元数据文件。
  • schema.json：字段定义。
  • dataset_summary.json：数据集统计摘要。
  • safety_scan.txt：发布安全检查。
  • 以及按年份的PDF转换报告和清单文件。

基本统计

该数据集的整体规模如下：

项目	数量
论文总数	22,177
评审总数	52,369
匿名化理由项总数	435,754
提取的论文文本文件数	22,675
覆盖的ICLR年份	2023, 2024, 2025

各年份数据统计：

子集	论文数	评审数	匿名化理由项数	文本文件数
ICLR 2023	3,507	13,248	62,915	3,791
ICLR 2024	7,150	27,601	138,356	7,279
ICLR 2025	11,520	11,520	234,483	11,605

数据来源与生成

• 来源：数据源自OpenReview平台的ICLR 2023、2024、2025年评审数据，由LLMscore项目整理。
• 文本提取：论文文本使用pdftotext工具从PDF中提取。
• 评分管线：所有年份的锚定分数均使用ChatGPT-4o基于统一的LLM校准框架生成，保证了跨年度方法论上的一致性。

数据泄露控制

为减少LLM可能对论文具有先验知识而造成的偏差，数据集使用ChatGPT-4o评估论文是否可被模型识别，并仅纳入被判定为“不熟悉”的论文进行下行分析。

限制与注意事项

• 用途限制：该数据集专为同行评审分析设计，不适用于通用论文建模。
• 变量说明：expected_score和bias是基于LLM的分析变量，并非官方公布评分。
• PDF缺失：数据集不包含原始PDF文件，仅供提取的文本使用。
• 脱敏处理：提取的文本中，常见的API密钥、URL和绝对路径已被替换为[REDACTED_API_KEY]、[REDACTED_URL]和[REDACTED_PATH]。

授权与致谢

• 许可协议：CC-BY-4.0。
• 支持机构：华中科技大学。

搜集汇总

数据集介绍

构建方式

在学术同行评审领域，量化评审质量与校准评分偏差一直是备受关注的核心议题。LLMscore-ICLR-OpenReview数据集正是为回应这一挑战而构建，它系统地整合了ICLR 2023、2024及2025年度的OpenReview评审数据。该数据集以压缩的JSONL格式按年份组织，包含论文元数据、标准化评审记录、匿名化的优缺点理由项、由ChatGPT-4o基于评审理由推断的锚点评分（expected_score）、评分残差（bias）以及从PDF中提取的论文全文文本。文本提取采用布局保留的pdftotext工具，并以UTF-8编码存储于年度tar.gz归档文件中，确保了数据的一致性与可复现性。

特点

该数据集的最大特色在于其专为同行评审校准分析而设计的结构化框架。它提供了跨三个年份的22,177篇论文、52,369条评审记录及435,754个结构化理由项，规模庞大且时间跨度广。关键变量如expected_score和bias并非原始场次元数据，而是基于统一LLM校准协议的分析产物，从而支持跨年份的方法论对齐比较。此外，数据集通过ChatGPT-4o进行了论文熟悉度筛查，有效降低了数据泄露风险，确保锚点评分更多反映评审理由而非模型记忆，为评审偏差与残差分析提供了可靠基础。

使用方法

使用该数据集时，研究人员应根据研究目标明确选择特定年份的子集，避免跨年数据混淆。加载数据可通过Python的gzip与json库读取压缩的JSONL文件，例如处理ICLR 2024的论文数据。若要访问论文全文，需先加载年度文本索引文件，解析其中以archive::member形式存储的路径定位符，再通过tarfile模块从对应归档中提取文本。对于需要深入理解字段定义的用户，可查阅metadata/schema.json获取详尽的模式说明。整个流程设计简洁，便于专注于评审校准、评分一致性及残差分析的复现与扩展研究。

背景与挑战

背景概述

在学术同行评审领域，评分偏差与评审一致性长期困扰着研究社区。LLMscore-ICLR-OpenReview数据集由华中科技大学团队（Zijin Chen, Lesui Yu, Xiaofei Liao, Hai Jin, Qinbin Li）于2025年创建，其核心研究问题是如何利用大语言模型（LLM）生成的锚定分数对人工评审进行校准，以提升评审的客观性与可重复性。该数据集整合了ICLR 2023至2025三年间来自OpenReview平台的22,177篇论文、52,369条评审记录及超过43万条匿名化论据项，通过统一使用ChatGPT-4o进行锚定评分，为跨年份的评审校准分析提供了方法论对齐的基础资源。其相关工作已被ICML 2026 Position Track接收，标志着将LLM引入同行评审校准这一研究方向获得了顶级学术会议的认可，对推动评审机制的量化改进具有里程碑意义。

当前挑战

数据集所应对的核心领域挑战在于：传统同行评审中，不同评审人的评分尺度差异与主观偏好常导致分数不可比，亟需一种可校准的量化框架来消除偏差。构建过程中面临的挑战包括：首先，需从ICLR三年海量非结构化评审文本中提取结构化的赞成/反对论据项，涉及自然语言处理中的细粒度信息抽取难题；其次，必须解决LLM评分与人工评审分数之间的潜在数据泄漏问题，通过模型熟悉度筛选剔除可能被ChatGPT-4o记忆的论文，但这一筛选仅为风险缓解措施而非绝对保障；此外，跨年度一致性要求统一的评分协议，而不同年份的评审规范与论文质量的演变增加了协议适配的复杂性。最终，数据集仅提供从PDF提取的文本而非原始PDF文件，文本转换过程中的布局失真与信息丢失也构成了数据保真度的挑战。

常用场景

经典使用场景

在科学同行评审领域，LLMscore-ICLR-OpenReview数据集为探究大语言模型如何辅助评审校准提供了宝贵资源。该数据集汇集了ICLR 2023至2025年间超过两万篇论文及五万余条评审记录，并创新性地引入了由ChatGPT-4o基于评审理由生成的预期评分（expected_score）与偏差（bias）指标。经典使用场景聚焦于分析评审理性、数值评分与LLM衍生锚定分数之间的内在关联，通过结构化正反理由项（pros/cons）探索评审意见的一致性与偏差来源，为构建可校准的自动化评审框架奠定数据基础。

实际应用

实际应用中，该数据集可部署于学术会议或期刊的辅助评审系统。例如，编辑与主席可利用锚定分数与偏差指标快速定位异常评审，结合结构化正反理由自动生成初步的评审质量报告。期刊或会议可借此构建反馈机制，提醒评审人校准自身评分倾向。此外，该数据集的文本层与元数据支持跨年对比分析，为领域演化、录用趋势跟踪提供了数据支撑，已在ICLR评审生态中展现出增强评审透明度与效率的实践价值。

衍生相关工作

该数据集催生了多项经典后续工作，其核心论文《Position: Peer Review Should Be Calibrated via LLM Scoring》被ICML 2026接收，确立了LLM驱动评审校准的研究范式。衍生工作包括：基于偏差残差的评审者画像研究，探索评分倾向与学术背景的关联；利用结构化理由项训练可解释评审质量预测模型；以及跨会议（如NeurIPS、ACL）的评审校准对比分析。这些工作共同推动了‘评审的评审’（meta-review）自动化进程，使LLMscore-ICLR-OpenReview成为连接人工评审与大模型校准的桥梁性数据资源。