Wutaghost/LLMscore-ICLR-OpenReview

LLMscore-ICLR-OpenReview数据集是论文《Position: Peer Review Should Be Calibrated via LLM Scoring》的原始发布数据集，专门用于同行评审分析。该数据集旨在研究论文评审理由、数值评分、LLM衍生的锚定分数和评审分数残差在科学同行评审中的相互作用。它不是一个通用论文语料库，使用时需考虑其特定的方法论背景。数据集包含ICLR 2023、2024和2025年的OpenReview链接数据，组织为论文元数据、标准化评审记录、匿名优缺点理由项、锚定分数、偏差值和提取的论文文本。数据集不包含论文PDF，但提供了openreview_url和pdf_url以访问原始内容。提取的论文文本以UTF-8 .txt文件形式存储在每年的tar.gz压缩包中。数据集还包含模式信息、数据集级摘要统计和安全说明，支持同行评审校准分析、评审理由和评分一致性分析、论文级和评审级残差/偏差分析，以及相关论文实验的复现或扩展。The LLMscore-ICLR-OpenReview dataset is the released original dataset for the paper Position: Peer Review Should Be Calibrated via LLM Scoring. Its concrete purpose is peer review analysis: the dataset is meant for studying how paper-review rationales, numeric ratings, LLM-derived anchor scores, and review-score residuals interact in scientific peer review. It is not a generic paper corpus, and it should be used with that specific methodological context in mind. The package organizes OpenReview-linked ICLR 2023, 2024, and 2025 data, containing paper metadata, normalized review records, anonymized pro/con reason items, anchor scores, bias values, and extracted paper text. The package intentionally does not include paper PDFs, but provides openreview_url and pdf_url to access the original content. Extracted paper text is stored in yearly tar.gz bundles as UTF-8 .txt files. The dataset also includes schema information, dataset-level summary statistics, and safety notes, supporting peer review calibration analysis, reviewer rationale and score-consistency analysis, paper-level and review-level residual/bias analysis, and reproducing or extending experiments from the associated paper.

搜集汇总

数据集介绍

构建方式

该数据集源自OpenReview平台上ICLR 2023、2024及2025三轮会议的同行评审记录，经由LLMscore项目系统化整理而成。构建过程中，首先从OpenReview接口获取论文元数据、评审分数、正反理由项等原始信息，并利用pdftotext工具从PDF文件中提取论文全文文本，形成UTF-8编码的纯文本档案。随后，基于ChatGPT-4o对每条评审理由进行锚定评分，推导出期望分数（expected_score），进而计算评审分数与锚定分数之间的残差（bias），作为校准分析的量化指标。所有数据按年份划分子集，以压缩JSONL格式存储，并附带统一的元数据模式与转换日志，确保跨年数据在方法论上的一致性。

使用方法

使用该数据集时，研究者可通过Python的gzip与json库按年份直接加载压缩的JSONL文件，例如读取ICLR 2024子集的论文数据。论文全文文本存储于独立的tar.gz归档文件中，需借助tarfile库通过文本索引中的'archive::member'定位器进行解压读取。为保持分析纯净性，建议明确指定年份子集，避免跨年数据混淆。数据集适用于同行评审校准分析、评审理由与分数一致性研究，以及论文层面的残差与偏差分析。用户亦可参考metadata/schema.json获取详细的字段定义，以支持实验复现与扩展应用。

背景与挑战

背景概述

LLMscore-ICLR-OpenReview数据集由华中科技大学的研究团队于2026年创建，旨在应对学术同行评议中评分校准的严峻挑战。该数据集聚焦于利用大语言模型（LLM）生成的锚定分数对评审意见进行量化分析，核心研究问题在于如何通过LLM驱动的评分机制提升同行评议的客观性与一致性。数据集整合了ICLR 2023、2024和2025年在OpenReview平台上发布的论文评审数据，包含超过22,000篇论文和52,000余条评审记录，为后续研究提供了规模化的结构化数据基础。其发布在ICML 2026 Position Track的论文中提出，通过锚定分数与评审分数的残差分析，可有效揭示评分偏差，这一方法论对推动计算社会科学与自然语言处理交叉领域的发展具有重要影响。

当前挑战

该数据集需应对的核心挑战包括领域问题层面与构建过程中的双重难点。领域层面，同行评议长期受制于评审者的主观性、评分不一致性及潜在偏见，传统校准方法因缺乏客观参照而效能有限。LLMscore-ICLR-OpenReview通过引入LLM生成的锚定分数解决这一难题，但如何确保锚定分数准确反映评审实质内容而非模型记忆，以及如何克服跨年度数据在评审标准和语言风格上的异质性，仍是关键障碍。构建过程中，团队需处理大规模PDF文本的精准提取与结构化转换，同时平衡数据完整性与隐私安全，例如通过匿名化评审理由、替换API密钥和URL等红action手段降低泄漏风险。此外，数据筛选阶段需借助ChatGPT-4o先行判断论文是否被模型预先熟悉，这一环节的准确性与效率直接影响下游分析的可靠性。

常用场景

经典使用场景

在学术评审研究领域，LLMscore-ICLR-OpenReview数据集被广泛用于探究大语言模型在同行评议中的校准能力。该数据集整合了ICLR 2023至2025年间超过22,000篇论文的元数据、52,000余条评审记录以及43万余条结构化的正反面论证理由单元，为研究者提供了丰富的细粒度分析素材。经典使用方式是将评审者给出的原始评分与大语言模型基于评审理由推断出的锚定分数进行对比，通过计算残差值来量化评审偏差，从而揭示人工评审中可能存在的系统性偏好或随机误差。这种基于锚定校准的分析框架，使得学术界能够从统计和认知层面重新审视同行评议的质量与公平性。

解决学术问题

该数据集的核心学术价值在于解决了长期困扰评审研究领域的量化偏差分析难题。传统同行评议研究多依赖于定性描述或简单的评分分布统计，难以精确刻画评审者个体差异与论文质量之间的复杂关系。LLMscore-ICLR-OpenReview通过引入大语言模型驱动的锚定分数，为每个评审记录赋予了可比较的基准参照点，从而将评审偏差从主观判断转化为可测量的连续变量。这一创新方法使得研究者能够系统性地分析论文内容、评审理由与最终评分之间的因果链路，识别出特定领域或评审风格中存在的潜在偏见模式，为改进学术评审机制提供了数据驱动的理论依据。

实际应用

在实际应用层面，该数据集为学术会议和期刊的编辑决策支持系统提供了关键基础设施。通过训练基于该数据的评审校准模型，编辑委员会能够自动识别出与锚定分数偏离过大的异常评审，及时发起再审或复核流程，从而提升审稿结果的可靠性与一致性。此外，该数据集也可服务于学术质量评估平台的开发，例如构建论文影响力预测工具或评审质量评分系统，帮助研究者在投稿前预判稿件可能遭遇的评审倾向。在开放科学运动背景下，该数据集所蕴含的可复现分析流程，也为建立更加透明、可追责的学术评价体系提供了实践范本。

数据集最近研究

最新研究方向

该数据集聚焦于利用大语言模型对同行评审过程进行校准与偏差分析，是人工智能与科学出版交叉领域的前沿探索。鉴于ICLR作为机器学习顶会的标杆地位，LLMscore-ICLR-OpenReview通过整合ICLR 2023至2025年的完整评审数据，并引入LLM生成锚定分数与残差分析框架，为理解评审者主观评分与文本理性之间的一致性问题提供了量化工具。这一方向直接回应了当前学术界对评审公正性与可重复性的迫切关注，尤其是在大模型介入科学评价体系的热点背景下，数据集为构建更鲁棒的元评估基准、探索评审偏差的归因机制以及推动标准化同行评议范式转化提供了关键支撑，其影响已延伸至科研诚信、学术出版伦理与AI辅助决策的深层次讨论。