ICLR2023

ICLR2023数据集由密歇根大学和北京大学共同创建，用于评估大型语言模型（LLMs）在生成高质量学术论文评审方面的能力。该数据集包含最新的开放获取研究论文及其评审，旨在解决数据污染问题，确保评估的公正性。数据集的创建过程利用了GEM（Generative Estimator for Mutual Information）方法，通过生成模型估计候选响应与参考响应之间的互信息，从而评估响应的语义信息量。ICLR2023数据集主要应用于学术评审领域，旨在提高LLMs在生成高质量评审方面的表现。

The ICLR2023 dataset, co-created by the University of Michigan and Peking University, is designed to evaluate the capacity of large language models (LLMs) in generating high-quality academic peer reviews. This dataset consists of the latest open-access research papers and their corresponding peer reviews, aiming to address data contamination issues and guarantee the fairness of evaluations. The dataset was developed using the GEM (Generative Estimator for Mutual Information) method, which estimates the mutual information between candidate responses and reference responses via generative models to assess the semantic informativeness of the responses. The ICLR2023 dataset is primarily applied in the academic peer review domain, with the goal of enhancing the performance of LLMs in generating high-quality peer reviews.

搜集汇总

数据集介绍

构建方式

该数据集ICLR2023通过引入生成互信息估计器（GEM）来构建，这是一种用于评估大型语言模型（LLMs）生成文本的评估指标。GEM通过估计候选响应与参考响应之间的互信息来工作，无需依赖黄金标准参考。数据集的构建利用了生成模型来估计互信息，从而在缺乏明确黄金标准的情况下，能够评估LLMs在生成信息性判断方面的表现。

特点

ICLR2023数据集的主要特点是其能够在没有黄金标准参考的情况下，评估LLMs生成文本的质量。GEM和其变体GEM-S不仅能够准确评估语义信息量，还具有对策略性操纵的抵抗能力，如重述或延长文本，这些操纵可能会人为地提高GPT-4o Examiner的评分。此外，该数据集通过使用每年新开放访问的研究论文和同行评审，避免了数据污染问题。

使用方法

使用ICLR2023数据集时，研究人员可以利用GEM和GEM-S来评估LLMs在生成高质量同行评审方面的能力。通过将LLMs生成的评审与人类生成的评审进行比较，可以计算出互信息，从而评估LLMs的输出质量。此外，数据集还可以用于验证新的评估指标，确保其在不同LLM和不同任务中的有效性和鲁棒性。

背景与挑战

背景概述

ICLR2023数据集由密歇根大学和北京大学的研究人员于2023年引入，旨在评估大型语言模型（LLMs）在没有黄金标准参考的情况下生成信息性判断的能力。该数据集的核心研究问题是如何在没有黄金标准参考的情况下，开发准确、抗操纵且自动化的文本响应评估指标。ICLR2023数据集通过引入GEM（生成互信息估计器）和GRE-bench（生成评审评估基准），扩展了LLMs在传统任务（如机器翻译和摘要）之外的评估场景，特别是在学术同行评审等主观任务中。该数据集的创建对LLMs的评估研究具有重要影响，特别是在处理缺乏明确黄金标准的开放性任务时。

当前挑战

ICLR2023数据集面临的挑战主要集中在两个方面。首先，解决领域问题的挑战，即在没有黄金标准参考的情况下评估LLMs生成文本的质量。这需要开发新的评估方法，如GEM和GRE-bench，以准确衡量生成文本的信息量和质量。其次，数据集构建过程中的挑战，包括如何避免数据污染（即训练数据包含评估任务的信息），以及如何确保评估指标对操纵策略的鲁棒性。此外，数据集还需要应对生成文本中可能存在的语义退化和表面信息偏差等问题。

常用场景

经典使用场景

ICLR2023数据集在评估大型语言模型（LLMs）的判断能力方面具有经典应用场景。该数据集特别适用于在没有黄金标准参考的情况下，评估LLMs在生成信息性判断方面的表现。例如，在学术同行评审中，LLMs需要生成高质量的评审报告，而这些报告的质量评估通常缺乏明确的黄金标准。通过使用GEM（Generative Estimator for Mutual Information）和GRE-bench（Generating Review Evaluation Benchmark），研究者可以在这些主观任务中有效评估LLMs的表现。

解决学术问题

ICLR2023数据集解决了在没有黄金标准参考的情况下，如何自动化评估文本响应质量的学术问题。传统的评估方法依赖于客观的黄金标准答案，而这类方法在处理主观任务时显得不足。该数据集通过引入GEM和GRE-bench，提供了一种基于互信息的生成估计方法，能够在没有黄金标准的情况下，准确评估LLMs生成的文本响应的质量。这不仅拓宽了LLMs评估的应用场景，还为学术研究提供了新的工具和方法。

衍生相关工作

ICLR2023数据集的引入和应用催生了一系列相关研究工作。例如，基于GEM和GRE-bench的评估方法已经被应用于多个LLMs的性能评估中，推动了LLMs在生成文本质量评估方面的研究进展。此外，该数据集还激发了对信息理论框架在自然语言生成（NLG）评估中应用的深入研究，特别是在处理主观任务和缺乏黄金标准的情况下。这些衍生工作不仅丰富了LLMs评估的理论基础，还为实际应用提供了更为精确和可靠的评估工具。