PAIR-IQ

PAIR-IQ数据集由上海交通大学与上海创新研究院创建，旨在为大型语言模型生成的研究想法提供客观、人类对齐的评估基准。该数据集包含来自ICLR 2024、ICLR 2025和NeurIPS 2024的11,164篇论文，涵盖不同接收类别（如oral、spotlight、poster、reject）及12个研究主题，每篇论文包含标准化评分与结构化的想法表示。创建过程包括从OpenReview收集评分、执行均值偏移去偏以消除会议间偏差，并利用大语言模型将论文想法形式化为主要目标、核心突破、创新方法和实验设计四个组件。该数据集旨在解决当前研究想法评估手段碎片化、缺乏统一标准的问题，为大规模、可复现的对比评估提供黄金参考，推动科学想法的自动化评估。The PAIR-IQ Dataset was created by Shanghai Jiao Tong University and Shanghai Institute of Innovation to provide an objective, human-aligned evaluation benchmark for research ideas generated by large language models (LLMs). This dataset includes 11,164 papers from ICLR 2024, ICLR 2025 and NeurIPS 2024, covering diverse acceptance categories such as oral, spotlight, poster and reject, as well as 12 research topics, with each paper containing standardized ratings and structured idea representations. The dataset construction process involves collecting review scores from OpenReview, applying mean shift debiasing to eliminate cross-conference biases, and leveraging large language models to formalize each paper’s research ideas into four components: main objectives, core breakthroughs, innovative methods and experimental designs. This dataset aims to address the current issues of fragmented research idea evaluation methods and lack of unified standards, providing a gold-standard reference for large-scale, reproducible comparative evaluations and promoting automated evaluation of scientific research ideas.

搜集汇总

数据集介绍

构建方式

PAIR-IQ数据集基于三大顶级机器学习会议（ICLR 2024、ICLR 2025及NeurIPS 2024）的11,164篇论文构建，涵盖oral、spotlight、poster及reject等多种接收状态。每篇论文均通过大型语言模型进行结构化解析，提炼出主目标、核心突破、创新方法与实验设计四个核心组件，形成统一规范的研究思路表征。同时，数据集收录了来自OpenReview的评分、贡献度与稳健性分数，并采用均值平移法对不同会议及年份的评分偏差进行矫正，确保分数跨源可比，为后续成对比较与模型训练奠定坚实的数据基础。

特点

PAIR-IQ数据集具有鲜明的多维度与大规模特性。其覆盖了12个研究领域，从大语言模型到强化学习，展现丰富的主题多样性。尤为突出的是，数据集整合了从顶级录用到被拒论文的广泛质量层次，为评估提供了连续且完整的质量谱系。所有分数经过去偏处理，消除了会议间评分标准的系统差异，提升了评估的客观性。此外，每条记录不仅包含原始文本，还附有嵌入向量与结构化思想表征，极大便利了语义检索与相似度计算，使其成为训练成对评判模型及作为比较评估黄金参考的宝贵资源。

使用方法

PAIR-IQ数据集的使用方法灵活多样。在LigBench框架中，目标研究思路首先被形式化为统一结构，随后通过关键词与嵌入相似度的混合检索策略，从数据集中获取语义相关的参考论文。利用大型语言模型对目标思路与参考论文进行多维成对比较，并基于Elo评分机制迭代更新分数，直至收敛。此外，该数据集可用于微调小型模型，通过知识蒸馏学习科学的评判品味，以提升其成对判断的准确性与稳健性。数据集亦可作为独立的基准参照，用于评估各类思路生成系统的性能，为研究思路的客观评估提供可靠支撑。

背景与挑战

背景概述

随着大语言模型在科研设想生成领域的广泛应用，如何客观、统一且可复现地评估这些生成的研究想法成为亟待解决的关键问题。为应对这一挑战，上海交通大学X-LANCE实验室的Lu Chen团队于2026年提出了PAIR-IQ数据集，旨在为基于成对比较的研究想法评估提供训练资源与基准参考。该数据集汇集了来自ICLR 2024、ICLR 2025及NeurIPS 2024三大顶级会议逾11,000篇论文，涵盖口头报告、亮点、海报及被拒稿件等多种接受类别，并经由去偏处理确保评分跨会议可比。PAIR-IQ不仅支撑了LigBench评估框架的实现，还通过微调显著提升了小型模型的成对判断能力，为科研想法评估领域树立了新的标杆。

当前挑战

PAIR-IQ数据集面临的挑战首先源于研究想法评估本身的复杂性：想法质量涵盖评分、贡献、稳健性与新颖性等多个维度，单一自动指标难以全面捕捉，而直接依赖LLM打分或人工评估又易受提示词或标注者差异干扰，缺乏统一标准。其次，在数据集构建过程中，需处理不同会议、年份间评审行为的系统性偏差，以及论文格式异构问题；为此，团队采用了均移去偏策略和LLM驱动的结构化分解，将每篇论文的核心理念统一为主目标、核心突破、创新方法与实验设计四个组件，确保跨分布可比性。此外，构建高质量成对比较标签需要大量人力标注，而模型判断精度在细粒度差异上仍有限，对评分收敛与鲁棒性构成持续挑战。

常用场景

经典使用场景

PAIR-IQ数据集在科研创意评估领域开辟了新的范式，其核心价值在于为研究思想的自动评估提供标准化基准。该数据集汇聚了超过1.1万篇来自ICLR 2024、ICLR 2025及NeurIPS 2024的论文，涵盖oral、spotlight、poster及被拒稿等多种质量层次的稿件，并对每篇论文的研究思想进行了结构化形式化分解，提取出核心目标、关键突破、创新方法及实验设计等要素。这一精细化的数据组织方式使得PAIR-IQ成为训练和评测研究思想评判模型的重要基石，尤其在成对比较（pairwise comparison）任务的训练中，它提供了大量带有去偏评分标记的论文对，能够有效提升模型对研究思想相对优劣的判别能力。在LigBench框架中，PAIR-IQ不仅用于校准和验证模型评分，还作为参考数据库支撑起多轮成对比较和Elo分数更新的迭代流程，从而构建起一个稳健、可扩展且与人类专家评价高度对齐的研究思想评估体系。

实际应用

在实际应用层面，PAIR-IQ数据集展现出广泛的适用性。它既可直接作为基准数据集，用于测评不同研究思想生成系统或语言模型在创意产出上的相对优劣，也可作为训练资源，通过知识蒸馏或微调方式增强小规模模型的科学品味与成对判断能力。在科研辅助工具中，PAIR-IQ可用于构建自动化的论文评审辅助系统，帮助研究人员快速筛选与定位高质量思想，提升文献调研与创意构思的效率。此外，该数据集所支持的成对比较机制和Elo评分更新流程，能够为科研机构的项目评审、基金申请筛选乃至学术会议的稿件质量监控提供数据驱动的参考依据。对于生成模型的开发者而言，PAIR-IQ提供了一套可操作的评价基线，使其能够在模型迭代过程中实时校准输出质量，从而引导模型产出更加原创、严谨且具有实际贡献潜力的研究想法。这一数据集的实际部署不仅降低了人工评审的时间成本，也为AI驱动的科学发现提供了可量化的反馈回路。

衍生相关工作

PAIR-IQ数据集的诞生催生了一系列围绕研究思想自动评估与生成的后续工作。在这条研究脉络中，研究者们借鉴其成对比较与去偏评分的思路，进一步探索了基于Elo机制的动态评分聚合方法，以及如何利用结构化思想表示来增强评估的可解释性。LigBench框架作为PAIR-IQ的直接应用，已成为评估研究思想质量的标杆工具，激发了更多关于统一评估协议和跨分布泛化能力的研究。此外，PAIR-IQ所包含的丰富论文数据与标准化格式，为训练研究思想判别模型提供了高质量的训练语料，推动了小模型通过知识蒸馏学习科学评价标准的研究方向。相关衍生工作还涉及将此类评估框架应用于其他领域的创意生成任务，如科学假说提出、实验方案设计等，彰显了该数据集在推动AI辅助科研评估标准化上的深远影响。这些后续研究不仅验证了PAIR-IQ的实用价值，也围绕其基础上形成的评估范式不断拓展人工智能在科学发现过程中的辅助能力。