Review-CoT

Review-CoT数据集是由上海交通大学团队构建的，包含37,403篇论文及其对应的142,324条评审评论。该数据集模拟了人类评审的思维过程，将评审评论分为摘要、分析和结论三个结构化阶段，并引入相关论文作为参考，以评估论文的新颖性。数据集旨在用于训练能够模拟人类评审过程的评审代理，以生成更接近人类评审员评审意见的评论。

The Review-CoT dataset was constructed by a team from Shanghai Jiao Tong University, containing 37,403 academic papers and their corresponding 142,324 review comments. This dataset simulates the cognitive process of human peer review, dividing review comments into three structured stages: abstract, analysis, and conclusion. It incorporates relevant reference papers to evaluate the novelty of the reviewed papers. The dataset is intended to train review AI Agents that simulate the human peer review process, generating comments that closely align with the opinions of human reviewers.

搜集汇总

数据集介绍

构建方式

Review-CoT数据集的构建方式独具匠心。首先，研究者从公开的同行评审平台上收集了大量的评审意见，然后使用先进的语言模型将这些意见转录为结构化的格式，使其与人类评审者的认知过程保持一致。在这个过程中，研究者使用了专门的标签来标记每个阶段的开始和结束，以确保模型在整个推理过程中的清晰性。此外，数据集还包括了截至提交日期的相关论文的标题和摘要，以帮助模型评估论文的新颖性。

使用方法

Review-CoT数据集的使用方法主要包括两个方面：训练评审代理和评估LLM生成的评审意见。首先，使用相关论文感知训练方法对评审代理进行训练，使其能够模拟人类评审者的推理过程。然后，使用ReviewBench基准对LLM生成的评审意见进行评估，以确保其质量和与人类评审意见的一致性。

背景与挑战

背景概述

在学术研究领域，论文评审是一个至关重要的环节，然而随着学术出版物数量的激增，自动化评审过程成为一个显著挑战。为了解决这一问题，上海交通大学的研究团队提出了一种名为ReviewAgents的框架，利用大型语言模型（LLMs）生成学术论文评审。为此，他们创建了一个名为Review-CoT的数据集，包含14.2万条评审评论，用于训练LLM代理。该数据集模拟了人类评审员的思维过程，包括对论文的总结、引用相关作品、识别优势和劣势以及生成评审结论。基于此，他们使用了一种相关论文感知的训练方法，训练出能够进行结构化推理的LLM评审代理。此外，他们构建了ReviewAgents，一个多角色、多LLM代理评审框架，以增强评审评论的生成过程。为了全面评估LLMs生成评审评论的能力，他们还提出了ReviewBench，一个用于评估LLMs生成评审评论质量的基准。实验结果表明，现有的LLMs在自动化评审过程中展现出一定的潜力，但与人类生成的评审相比仍存在差距。然而，他们的ReviewAgents框架进一步缩小了这一差距，在生成评审评论方面优于先进的LLMs。

当前挑战

Review-CoT数据集和相关框架面临的挑战包括：1) 领域问题挑战：自动化论文评审过程需要生成全面、准确且推理一致的评审评论，与人类评审员的判断相一致。2) 构建过程中的挑战：由于LLMs的上下文窗口限制，Review-CoT数据集在处理超过最大论文长度的论文时可能存在截断，导致潜在的偏差。此外，ReviewAgents框架在训练过程中，评审代理和区域主席代理是分别训练的，这可能导致训练过程与推理阶段之间的脱节。

常用场景

经典使用场景

Review-CoT数据集作为学术论文自动审稿框架ReviewAgents的训练基础，旨在模拟人类审稿的思维过程。通过收集并结构化转录大量公开的审稿评论，Review-CoT数据集为训练大型语言模型（LLMs）提供了丰富的训练资源。该数据集不仅包含了论文摘要、全文内容、审稿评论、程序委员会的评语和论文接受决定等关键信息，还引入了与论文相关的最新研究论文，以模拟人类审稿者在评估论文新颖性时的参考过程。Review-CoT数据集的使用，使得训练出的LLM审稿代理能够更好地模拟人类审稿的思维逻辑，提高审稿评论的准确性和合理性。

解决学术问题

Review-CoT数据集及其衍生框架ReviewAgents解决了学术出版界中自动审稿的挑战。传统的人工审稿过程耗时且效率低下，而现有的自动审稿方法往往简化了审稿过程，未能完全模拟人类审稿的思维逻辑。Review-CoT数据集通过引入相关论文和结构化审稿评论，为训练能够模拟人类审稿思维过程的LLM提供了基础。ReviewAgents框架则进一步模拟了人类审稿的多角色、多步骤过程，通过多个审稿代理和区域主席代理的协同工作，生成与人类审稿评论更为一致的审稿意见。这些工作有助于提高审稿效率，缓解审稿压力，并为作者提供更及时和有用的反馈。

实际应用

Review-CoT数据集及其衍生框架在实际应用中具有广泛的前景。在学术出版领域，ReviewAgents框架可以帮助作者在正式提交论文前自我审稿和修改，提高论文质量。同时，该框架也可以辅助人类审稿者进行审稿，提供更全面和客观的审稿意见，从而提高审稿效率和准确性。此外，Review-CoT数据集还可以用于训练其他类型的文本生成模型，如自动摘要、文本分析等，为学术研究和出版提供更多支持。

数据集最近研究

最新研究方向

Review-CoT数据集的最新研究方向在于利用大型语言模型（LLMs）模拟人类审稿的思考过程，从而自动化学术论文审稿流程。该数据集通过收集并结构化转录公开审稿平台的审稿意见，构建了一个包含37,403篇论文和142,324条相应审稿意见及元审稿意见的数据库，旨在指导训练审稿代理和区域主席代理。此外，ReviewAgents框架被提出，它通过多代理、多步骤审稿程序模拟人类审稿过程，使用相关论文知识和完全模拟人类专家进行的论文评估过程。为了全面评估LLMs生成论文审稿意见的能力，还提出了ReviewBench基准，该基准包括最新论文和来自开放平台的审稿意见，确保其数据不包括在大多数现有LLMs的预训练数据集中。实验结果表明，ReviewAgents框架在生成审稿意见方面优于GPT-4o和Deepseek-R1等先进LLMs。

相关研究论文

• ReviewAgents: Bridging the Gap Between Human and AI-Generated Paper Reviews

  上海交通大学 · 2025年