OpenReviewAnalysis

该数据集由卡内基梅隆大学和马萨诸塞大学阿默斯特分校的研究团队创建，旨在探究开放同行评审政策的影响。数据集包含两个核心部分：一是从ICLR 2023和NeurIPS 2022收集的4,244条公开评审文本，并利用AI进行了正确性、完整性和论证充分性等质量指标的标注；二是针对机器学习研究社区开展的2,385份匿名调查的完整去标识化响应数据。数据主要通过OpenReview.net平台及定向调查采集，经过严格的匿名化处理以确保隐私。该数据集主要用于分析开放评审模式对评审质量、社区态度及潜在偏见（如重投稿偏见）的影响，为改进学术出版流程提供实证依据。

This dataset was developed by a research team from Carnegie Mellon University and the University of Massachusetts Amherst, aiming to explore the impacts of open peer review policies. It comprises two core components: first, 4,244 public review texts collected from ICLR 2023 and NeurIPS 2022, which were annotated with quality metrics including correctness, completeness, and argumentative sufficiency via AI; second, fully de-identified response data from 2,385 anonymous surveys administered to the machine learning research community. The data were primarily collected through the OpenReview.net platform and targeted surveys, and underwent strict anonymization to ensure privacy protection. This dataset is mainly used to analyze the effects of open review models on review quality, community attitudes, and potential biases such as resubmission bias, providing empirical evidence for improving academic publishing workflows.

原始信息汇总

OpenReview Survey Analysis 数据集概述

数据集来源

• 数据集源自一项关于同行评审开放性的调查研究，用于支持论文《ML Researchers Support Openness in Peer Review But Are Concerned About Resubmission Bias》的分析与图表生成。

数据内容与文件

• 主要数据文件：SurveyDataWithAnnotationsAnonymized.csv
• 该文件为经过匿名化处理的调查响应数据。

数据收集与匿名化处理

• 调查为匿名进行，参与者被要求不在自由文本回答中披露身份信息。
• 匿名化处理流程旨在防止通过会议角色、主要所属机构类型和学术职业层级的组合识别出参与者。
• 具体处理步骤包括：
  1. 筛选出未完成调查的响应。
  2. 手动审查资深受访者（如高级领域主席、组织者、伦理评审员）的自由文本回答，移除包含识别性短语的整个回答字段。
  3. 删除所有受访者在人口统计问题中填写的自由文本（如“其他”选项的文本说明），仅保留分类选项。
  4. 标准化人口统计信息：通过迭代移除稀有会议角色（伦理评审员、组织者、高级领域主席），确保每种人口统计特征组合至少有20个响应样本。
  5. 对于剩余样本数仍少于20的组合，将其所属机构和学术资历字段替换为“其他”。
  6. 若仍有组合样本数不足20，则将其角色字段设为“N/A”，所属机构和资历字段设为“其他”。

数据处理脚本

• 匿名化脚本：anonymize_survey_data.py
• 分析脚本：analyze_survey_results_pgf.py
• 分析脚本功能：加载SurveyDataWithAnnotationsAnonymized.csv数据，生成所有图表的LaTeX代码，输出至latex_macros/survey_plot_macro_calls.tex。

数据用途

• 用于复现论文中的分析和图表。
• 生成的LaTeX图表代码可直接用于论文撰写。

搜集汇总

数据集介绍

构建方式

在学术评审透明度日益受到关注的背景下，OpenReviewAnalysis数据集通过系统性的调查与文本分析构建而成。研究团队首先设计并部署了一项针对机器学习领域顶级会议参与者的匿名问卷调查，通过Qualtrics平台收集了2,385份有效回复，覆盖了博士研究生、教授及行业从业者等多类人群。同时，为补充调查结果，研究者利用大型语言模型对ICLR 2023（完全开放）与NeurIPS 2022（部分开放）两个会议的4,244篇公开评审文本进行了自动化标注，从论证充分性、正确性和完整性三个维度量化评估评审质量。数据集最终整合了完整的匿名调查回复、分析代码及标注结果，并通过GitHub平台公开发布。

使用方法

该数据集适用于计算社会科学、科学学与信息计量学等领域的研究。研究者可利用其中的调查数据，分析不同学术背景的参与者对开放评审政策的认知差异，或探究重投稿偏见、去匿名化恐惧等社会心理因素对学术交流的影响。同时，标注后的评审文本可用于开发或评估自然语言处理模型，例如自动评估评审质量、识别论证结构或检测人工智能生成的文本。在使用时，建议结合数据集提供的分析代码复现原始研究，或利用其结构化字段进行跨群体的比较研究。对于涉及评审文本的分析，应注意不同会议评审表单的潜在差异，并参考数据集中包含的人工验证结果以评估自动化方法的可靠性。

背景与挑战

背景概述

OpenReviewAnalysis数据集由卡内基梅隆大学和马萨诸塞大学阿默斯特分校的研究团队于2025年创建，旨在系统探究机器学习领域开放同行评审政策的实际影响与社区态度。该数据集基于对2385名评审参与者的大规模匿名调查，并辅以对ICLR 2023和NeurIPS 2022会议公开评审文本的AI标注分析，核心研究问题聚焦于开放评审机制在提升透明度、公平性与评审质量方面的效能，以及其对学术社区行为模式的潜在塑造作用。作为首个结合大规模实证调查与多维度质量评估的开放评审研究资源，该数据集为理解学术出版生态的演进提供了关键实证基础，推动了同行评审系统优化与政策设计的科学讨论。

当前挑战

该数据集致力于解决开放同行评审领域中的核心挑战：如何量化评估不同开放政策对评审质量、社区参与度及学术公平性的实际影响。具体挑战包括：1) 领域问题层面，需克服开放评审中普遍存在的重投稿偏见、评审者去匿名化担忧及公共评论噪声干扰等系统性难题；2) 构建过程中，面临封闭评审数据不可获取的局限，迫使研究采用部分开放与完全开放会议的间接对比方法。同时，AI标注流程需在缺乏黄金标准数据集的情况下，通过多轮人工验证确保评审质量指标（如正确性、完整性、论证充分性）评估的可靠性，并需处理作者 rebuttal 文本与论文版本迭代带来的时序性数据对齐问题。

常用场景

经典使用场景

在学术出版与同行评审领域，OpenReviewAnalysis数据集为研究开放评审政策的影响提供了关键实证基础。该数据集通过收集2385名机器学习领域研究人员的调查反馈，并结合对ICLR与NeurIPS会议公开评审文本的AI标注分析，系统揭示了开放评审模式下的社区态度、行为模式与质量差异。其经典使用场景在于支持对开放评审政策效益与挑战的量化研究，例如分析研究者对评审透明度、重投稿偏倚等议题的立场分布，或比较不同开放程度下评审文本的正确性、完整性等质量指标。

解决学术问题

该数据集有效解决了开放科学背景下同行评审机制优化的核心学术问题。首先，它通过大规模调查数据揭示了研究者对开放评审的偏好结构，如多数支持公开已接受论文的评审意见，但对公开被拒稿件的态度保留。其次，数据集量化了开放评审的关键感知效益，如提升公众理解、增强评审公平性，以及识别了重投稿偏倚、去匿名化担忧等主要挑战。此外，通过AI标注的评审质量比较，为开放程度与评审质量之间的关联提供了初步证据，填补了该领域缺乏大规模实证数据的空白。

实际应用

在实际应用层面，OpenReviewAnalysis数据集为学术会议与期刊的政策制定提供了决策依据。会议组织者可参考数据集中关于评审公开范围、评论权限等政策的偏好分布，设计更符合社区期待的评审流程。例如，部分开放模式（如NeurIPS）在平衡透明度与作者顾虑方面显示出较高接受度。此外，数据集对AI生成内容与开放评审交互的分析，为应对新兴技术挑战提供了洞察，例如开放评审可能对低质量AI投稿产生威慑作用。这些发现可直接指导ICLR、NeurIPS等顶级会议的评审政策迭代。

数据集最近研究

最新研究方向

在学术出版领域，开放评审作为提升透明度与社区参与度的关键机制，正引发广泛讨论。OpenReviewAnalysis数据集通过大规模调查与人工智能辅助分析，揭示了当前机器学习社区对开放评审政策的态度与影响。前沿研究聚焦于开放评审中的再提交偏见问题，即当评审者能够看到论文先前被拒记录时，可能对重投论文产生负面偏见，这一现象被41%的受访者视为开放评审的最重要影响。同时，研究探讨了开放评审在遏制人工智能生成低质量稿件与评审方面的潜在作用，约71.9%的受访者认为公开被拒稿件能够有效威慑AI敷衍投稿。此外，数据集通过对比完全开放与部分开放会议（如ICLR与NeurIPS）的评审质量，发现完全开放环境下的评审在正确性与完整性上略有提升，尽管效应量较小但具有统计显著性。这些发现为学术会议设计评审政策提供了实证依据，并推动了关于如何平衡透明度与公平性的深入讨论。

相关研究论文

• ML Researchers Support Openness in Peer Review But Are Concerned About Resubmission Bias

  卡内基梅隆大学, 马萨诸塞大学阿默斯特分校 · 2025年