EvaLearn

EvaLearn是一个用于评估大型语言模型（LLMs）在挑战性任务中的学习和效率能力的开创性基准。它包含648个挑战性问题，分为182个序列，每个序列专注于一个任务类型。与大多数现有的并行评估基准不同，EvaLearn要求模型依次解决这些问题，从而能够利用从先前解决方案中获得的经验。EvaLearn提供五个全面的自动化指标来评估模型并量化其学习能力和效率。EvaLearn对九个前沿模型进行了广泛的基准测试，并观察到了不同的性能配置。该数据集旨在解决当前LLMs在学习和适应特定任务的能力方面的评估不足问题。EvaLearn is a pioneering benchmark for evaluating the learning and efficiency capabilities of large language models (LLMs) on challenging tasks. It comprises 648 challenging problems grouped into 182 sequences, with each sequence focusing on a single task type. Unlike most existing parallel evaluation benchmarks, EvaLearn requires models to solve these problems sequentially, enabling them to leverage experience gained from prior solutions. EvaLearn provides five comprehensive automated metrics for evaluating models and quantifying their learning capabilities and efficiency. EvaLearn has been extensively benchmarked on nine state-of-the-art models, with distinct performance profiles observed. This dataset aims to address the current gap in evaluating LLMs' capabilities for learning and adapting to specific tasks.

搜集汇总

数据集介绍

构建方式

EvaLearn数据集的构建采用了混合方法，结合了人类专家知识和先进的大型语言模型（LLMs）。构建过程分为三个阶段：问题收集、问题筛选与规范答案标注、实例级评分标准标注与验证。首先，从模型API平台收集问题，并由四名标注者独立审查，筛选出人类通过反复练习类似问题可能提高表现的“可学习”问题作为种子问题。随后，利用Claude-3.7分析每个问题，识别所需的技能维度，并建议增加问题复杂性的潜在方向。九名标注者根据模型生成的策略为每个种子问题编写更多类似且具有挑战性的问题，扩展数据集。最后，通过高级LLMs筛选种子问题，确保数据集的难度水平，并由标注者编写规范答案和评分标准，验证每个问题的可评估性。

特点

EvaLearn数据集包含648个具有挑战性的问题，分为六种任务类型，组织成182个序列，每个序列包含七个相同任务类型的问题。其独特之处在于采用顺序评估范式，要求模型在序列中依次解决问题，从而评估其从先前解决方案中积累经验并利用反馈的能力。数据集提供了五个全面的自动化指标，用于量化模型的学习能力和效率。此外，EvaLearn通过结合实例级评分标准和LLM-as-a-judge框架，确保了对模型响应的可靠评估。

使用方法

EvaLearn数据集的使用方法包括两种并行解决范式（零样本和少样本）和两种顺序学习范式（演示学习和反馈学习）。在顺序学习范式中，模型需要在每个序列中依次解决问题，利用先前的经验和反馈来提高后续问题的解决能力。评估过程通过实例级评分标准和LLM-as-a-judge框架自动进行，确保评估的准确性和一致性。研究人员可以使用EvaLearn提供的五种指标（如整体序列准确率、拟合准确率曲线的斜率等）全面评估模型的学习能力和效率。

背景与挑战

背景概述

EvaLearn是由字节跳动Seed团队、复旦大学NLP组和南京大学LAMDA实验室于2025年联合推出的创新性基准测试，旨在系统评估大语言模型（LLMs）在序列化问题解决中的动态学习能力与效率。该数据集包含6类任务共648道高难度题目，组织为182个任务序列，突破了传统并行评估范式的局限，首次通过序列化解题模式量化模型的经验迁移能力。其创新性地提出五维评估指标（包括序列准确率、学习曲线斜率等），为衡量模型的类人学习潜力提供了全新方法论，对推动AI评价体系从静态能力测试向动态认知评估转型具有里程碑意义。

当前挑战

EvaLearn面临的核心挑战体现在：1) 领域问题层面，需解决现有基准无法捕捉模型动态学习能力的缺陷，尤其在逻辑推理、数学推导等需要经验累积的任务中；2) 构建过程中需克服高质量序列化问题设计的复杂性，包括保证题目间语义关联性、难度梯度以及自动化评估的可靠性。具体挑战包括：跨任务泛化性验证（如模型在摘要任务中表现下降）、反馈学习机制设计（部分模型出现负迁移），以及开放性问题评估（如难以制定明确规则的创造性任务）等。

常用场景

经典使用场景

EvaLearn数据集通过序列化问题解决范式，系统评估大型语言模型在数学推理、逻辑推理等六类任务中的动态学习能力。其182个问题序列要求模型基于前期解题经验优化后续表现，填补了传统并行评估对模型学习潜力衡量的空白。例如在滑动拼图任务中，模型需通过连续解决7道同类型难题，展现人类式的经验积累与迁移能力。

衍生相关工作

EvaLearn催生了多项动态评估范式研究，如清华团队的MetaEval元学习基准和谷歌提出的ExperienceBench。其序列化评估思想被DeepSeek-R1模型采用，发展出递归式推理训练框架。数据集构建方法启发了阿里巴巴Qwen团队开发多模态版本SeqLearn-Vision，扩展至图像序列理解领域。

数据集最近研究

最新研究方向

EvaLearn数据集的推出标志着大型语言模型（LLM）评估领域的一个重要转折点，从传统的静态能力评估转向动态学习能力的量化分析。该数据集通过182个任务序列和648个挑战性问题，系统性地评估了LLM在连续问题解决中的学习能力和效率。前沿研究聚焦于三个关键方向：首先，探索模型在数学推理和逻辑推理任务中表现出的元学习能力，特别是基于思考（thinking-based）的模型如Claude-3.7-Thinking展现的14.1%性能提升；其次，分析反馈学习机制的有效性，实验表明教师模型提供的实例级评判标准能使模型在后续问题中平均提升7.4%准确率；最后，研究学习效率与静态能力的解耦现象，发现GPT-4o等静态强模型在序列推理任务中学习效率斜率（k=0.28）反而低于中等模型。这些发现为构建更接近人类学习动态的AI系统提供了新的评估维度，相关成果已被应用于字节跳动Seed团队的迭代式训练框架中。

相关研究论文

• EvaLearn: Quantifying the Learning Capability and Efficiency of LLMs via Sequential Problem Solving

  复旦大学, 南京大学 · 2025年