microsoft/CLUES

CLUES数据集是一个用于自然语言理解中少样本学习评估的基准数据集。该数据集包含了多个任务，如SST-2、MNLI、CoNLL03、WikiANN、SQuAD-v2和ReCoRD，旨在评估模型在少量样本情况下的性能。数据集的使用要求包括在10、20和30个样本的情况下进行评估，并报告5个数据分割的平均值和标准差。

The CLUES dataset is a benchmark for evaluating few-shot learning in natural language understanding. It encompasses multiple tasks including SST-2, MNLI, CoNLL03, WikiANN, SQuAD-v2 and ReCoRD, and is designed to assess model performance under few-shot scenarios. The usage guidelines require that evaluations be conducted with 10, 20 and 30 training samples respectively, and report the mean and standard deviation across 5 data splits.

原始信息汇总

CLUES: Few-Shot Learning Evaluation in Natural Language Understanding

数据集概述

CLUES是一个用于自然语言理解中少样本学习评估的基准数据集，发布于NeurIPS 2021。该数据集旨在评估模型在有限样本情况下的表现，特别关注10、20和30个样本的性能。

数据集结构

评估标准

• 每个任务要求评估在10、20和30个样本下的表现。
• 需要报告所有5个数据集分割的平均值和标准差。
• 评估指标为30-shot的平均S1分数（S1分数是F1分数的一种变体）。

提交要求

• 提交必须通过修改leaderboard的markdown文件的pull request进行。
• 提交必须附带公开的论文和源代码，以重现结果。
• 允许使用外部数据进行微调，但需标明使用的是外部标记数据还是未标记数据。

性能表现

数据集提供了多个模型的性能评估，包括但不限于：

• Human: 人类表现基准。
• T5-Large-770M-FT: 使用T5模型进行微调的结果。
• BERT-Large-336M-FT: 使用BERT模型进行微调的结果。
• GPT3-175B-ICL: 使用GPT-3模型进行上下文学习的结果。

任务细节

数据集涵盖了多个任务，每个任务都有详细的性能评估，例如：

• SST-2: 情感分析任务。
• MNLI: 自然语言推理任务。
• CoNLL03: 命名实体识别任务。
• WikiANN: 实体识别任务。
• SQuAD-v2: 问答任务。
• ReCoRD: 阅读理解任务。

每个任务都提供了不同模型的性能对比，以及在不同样本数量下的详细表现。

许可证

该数据集遵循MIT许可证。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，少样本学习评估是衡量模型泛化能力的关键挑战。CLUES（Constrained Language Understanding Evaluation Standard）数据集由微软团队构建，旨在系统评估模型在有限标注样本下的理解能力。该数据集从六个经典自然语言理解任务中采样而来，涵盖情感分类（SST-2）、自然语言推理（MNLI）、命名实体识别（CoNLL03和WikiANN）以及机器阅读理解（SQuAD-v2和ReCoRD）。为保障评估的统计可靠性，每个任务均提供五个独立的数据划分，并在10、20、30个样本三种少样本设置下进行评测。数据集采用严格的约束设计，禁止在不同划分间混用训练数据，但允许使用外部标注或未标注数据，从而为研究者提供灵活的实验框架。

特点

该数据集的核心特点在于其严谨的少样本评估体系与多维度的性能度量。CLUES不仅涵盖分类、序列标注和阅读理解等多样化的自然语言理解任务，还引入了S1分数这一F1变体作为主要评价指标，确保评估的全面性与公平性。数据集的五个划分设计使得模型性能的均值和标准差得以可靠计算，有效降低了随机性带来的偏差。此外，CLUES提供了人类表现基准线，为模型与人类能力之间的差距提供了直观参照。其排行榜机制要求提交者在所有三种样本量设置下报告结果，并公开代码与论文，促进了研究的可复现性与透明性。

使用方法

使用CLUES数据集时，研究者需遵循其标准化的评估协议。首先，针对每个任务，模型需在10、20和30个样本的三种少样本场景下进行微调或提示调优，并在五个数据划分上分别训练与测试，最终报告均值与标准差。提交至排行榜的结果需按30样本下的S1分数排序，且不得在任一分区的微调过程中使用其他分区数据作为训练或验证集。研究者可选择使用外部数据，但需在提交时明确标注。该方法适用于多种模型架构，包括基于微调的BERT、RoBERTa、T5以及基于提示调优的DeBERTa等，亦支持GPT-3风格的情境学习范式，为少样本自然语言理解研究提供了统一的评估基准。

背景与挑战

背景概述

在自然语言处理领域，预训练语言模型在大量标注数据上展现出卓越性能，但其在小样本场景下的泛化能力仍是一个悬而未决的难题。为系统评估这一挑战，微软研究院的Subhabrata Mukherjee、Xiaodong Liu等研究人员于2021年在NeurIPS会议上提出了约束语言理解评估标准（CLUES）基准。该数据集聚焦于自然语言理解中的小样本学习评估，涵盖情感分析（SST-2）、自然语言推理（MNLI）、命名实体识别（CoNLL03与WikiANN）、机器阅读理解（SQuAD-v2与ReCoRD）六项核心任务，旨在衡量模型在极少量标注样本（10、20、30个样本）下的表现。CLUES的发布填补了当时缺乏统一、标准化小样本NLU评估框架的空白，为比较不同微调策略（如经典微调、提示调优、上下文学习）提供了公平的竞技场，并推动了该方向研究方法的创新。

当前挑战

当前CLUES数据集面临的主要挑战体现在两个维度。在领域问题层面，小样本学习的核心矛盾在于模型在数据极度匮乏时极易过拟合或陷入欠拟合，例如经典微调方法在30样本下平均S1分数仅约40%，远低于人类水平的81.4%，凸显了模型泛化能力的严重不足。在构建过程层面，为确保评估的严谨性，CLUES要求每项任务在五个不同数据划分上重复实验并报告均值与标准差，这增加了计算成本与实验复现的复杂度；同时，如何界定外部数据的使用（如是否允许使用无标注外部语料进行任务特定调优）成为方法间公平比较的争议焦点，而不同任务间的性能方差巨大（如SST-2上提示调优可达90%，而ReCoRD上经典微调仅12%），进一步揭示了小样本NLU评估中任务特异性与评估一致性的深层矛盾。

常用场景

经典使用场景

CLUES（Constrained Language Understanding Evaluation Standard）是NeurIPS 2021上提出的小样本学习评测基准，专为自然语言理解任务设计。其经典使用场景在于评估模型在极低数据资源下的泛化能力，涵盖情感分类（SST-2）、自然语言推理（MNLI）、命名实体识别（CoNLL03和WikiANN）、机器阅读理解（SQuAD-v2）及多项选择问答（ReCoRD）六大任务。通过统一设定10、20、30个样本的shot设置，并采用5折交叉验证，该数据集系统性地衡量了不同预训练语言模型在小样本环境下的表现，为研究者提供了标准化的评估框架。

解决学术问题

CLUES旨在解决自然语言处理领域中小样本学习评估标准缺失的核心问题。此前，小样本学习研究多依赖人工构造的文本分类或关系抽取任务，缺乏对复杂NLU能力的系统度量。该基准通过约束数据量、统一评测流程，揭示了传统微调方法在小样本场景下的显著性能退化，例如BERT-Large在30-shot SST-2上仅达55.4%，远低于人类83.7%的水平。这一发现推动了提示调优（prompt-based tuning）和上下文学习（in-context learning）等新范式的学术探索，并为衡量模型在资源受限条件下的鲁棒性提供了重要参照。

衍生相关工作

CLUES的发布催生了一系列经典研究工作，包括基于提示的微调方法如LiST（利用外部无标签数据提升小样本性能），以及对比分析不同模型架构在小样本下的表现差异。该基准还推动了GPT-3等大规模语言模型在上下文学习范式下的评估，例如在SST-2任务上，GPT-3的175B模型以91.0%的30-shot得分超越了人类基线，凸显了规模扩展对少样本能力的增益。此外，CLUES的标准化评测流程被后续工作（如CrossFit、FewGLUE）广泛借鉴，成为小样本NLU研究领域事实上的评估平台，促进了方法论的迭代与透明比较。