ought/raft-submission

RAFT是一个少样本分类基准测试，测试语言模型在多个领域（如文献综述、推文、客户互动等）中的表现，专注于具有经济价值的分类任务，并在模拟部署环境中进行（每个任务50个示例，允许信息检索，隐藏测试集）。

RAFT is a few-shot classification benchmark that evaluates the performance of language models across diverse domains such as literature reviews, tweets, customer interactions and more. It focuses on economically valuable classification tasks, and is conducted in simulated real-world deployment settings, with 50 examples per task, allowing information retrieval and featuring a hidden test set.

原始信息汇总

数据集概述

数据集名称：RAFT

数据集用途：RAFT是一个少样本分类基准，用于测试语言模型在多个领域（如文献综述、推文、客户交互等）中的表现。

数据集特点：

• 跨多个领域进行测试
• 关注经济价值高的分类任务
• 模拟部署环境，每个任务提供50个示例，允许信息检索，使用隐藏测试集

数据集结构

数据集目录结构：

my-raft-submissions ├── LICENSE ├── README.md <- 包含提交说明的README文件 ├── cli.py <- 用于验证预测等的CLI ├── data <- 包含每个任务的预测数据 ├── my-raft-submission.py <- 加载预测的脚本，不可编辑 └── requirements.txt <- 提交所需的依赖文件

数据文件格式：

• 每个任务的预测数据存储在CSV文件中，命名为predictions.csv，包含两列：ID（整数）和Label（字符串）。
• 每个任务的子文件夹中应包含predictions.csv和task.json文件。

提交规则

1. 提交频率：每周仅评估一次提交，但可以随时向Hub推送预测。
2. 数据使用：允许使用其他数据集进行迁移学习或元学习，包括在其他语料库上进一步预训练。
3. 测试数据使用：允许使用未标记的测试数据，允许通过自动化网络搜索等方式增强系统。

提交流程

1. 生成预测：在每个任务的未标记测试集上生成预测。
2. 验证预测：确保预测与评估框架兼容。
3. 提交预测：将预测推送到Hugging Face Hub。

验证与提交命令

• 验证预测：python cli.py validate
• 提交预测：python cli.py submit

搜集汇总

数据集介绍

构建方式

RAFT基准测试旨在评估语言模型在少样本分类任务上的表现，其数据集构建方式独具匠心。该基准涵盖多个领域，包括文献综述、推文分析及客户互动等，聚焦于具有经济价值的分类任务。每个任务仅提供50个标注样本，模拟真实部署场景，并隐藏测试集以增强评估的严谨性。数据集通过Hugging Face Hub上的模板仓库进行管理，用户需使用cookiecutter工具从指定仓库创建本地模板，该模板包含必要的文件结构，如预测文件、验证脚本及配置信息，确保提交过程标准化与可重复性。

使用方法

使用RAFT数据集时，用户需先在Hugging Face Hub创建账户并获取访问令牌，随后通过cookiecutter生成模板仓库。预测结果需以CSV格式存储，每文件包含ID与Label两列，并置于对应任务的子文件夹中。用户可借助CLI工具验证文件格式，确保与评估框架兼容。提交时，通过集成命令将预测推送至Hub，系统将自动执行每周一次的评估。该流程简化了从模型训练到结果提交的步骤，同时保持灵活性，允许用户自定义预测生成方式，如基于多数类基线或复杂模型，最终在公开排行榜上对比性能。

背景与挑战

背景概述

RAFT（Retrieval Augmented Fine-Tuning）基准测试由Ought研究团队于2021年提出，旨在评估语言模型在少样本分类场景下的泛化能力。该数据集横跨文献综述、社交媒体互动、客户服务等多个领域，聚焦于具有经济价值的分类任务，模拟真实部署环境（每任务仅提供50个标注样本、允许信息检索、隐藏测试集）。其核心研究问题在于：当标注数据极其稀缺时，模型能否通过检索增强或元学习等策略有效适应新任务。作为少样本学习的标杆性数据集，RAFT推动了语言模型在低资源场景下的实用化进程，为学术研究与工业应用架设了桥梁。

当前挑战

数据集面临的挑战主要来自三方面：其一，少样本场景下的领域泛化难题——模型需从仅50个样本中捕捉任务本质，面对文献分类、投诉识别等截然不同的领域时，易出现灾难性遗忘或过拟合；其二，构建过程中需平衡任务的经济价值与多样性，从法律裁决、半导体组织类型到安全研究等11个任务中筛选出既具实际意义又避免数据泄露的样本，难度极高；其三，评估机制设计的挑战——每周仅允许一次提交以防止过拟合公开排行榜，但需确保隐藏测试集的公平性，同时允许互联网检索等外部知识利用，增大了评估复杂度。

常用场景

经典使用场景

RAFT（Retrieval Augmented Few-shot Tuning）基准测试为少样本分类任务提供了一个标准化的评估框架，其核心场景在于衡量语言模型在仅有50个标注样本的情况下，跨多个领域（如文献综述、社交媒体、客户交互等）进行经济价值导向的分类能力。研究者通常利用该数据集模板生成预测文件，并通过Hugging Face Hub提交至排行榜，从而系统性地对比不同模型在受限数据环境下的泛化性能与鲁棒性。

解决学术问题

该数据集致力于解决少样本学习中模型在真实部署场景下的评估难题，尤其聚焦于以下学术问题：如何在有限标注数据下避免过拟合、如何公平比较不同预训练模型或微调策略的迁移能力，以及如何利用检索增强或无标注测试数据提升分类效果。其意义在于推动了少样本学习从理论验证向实际应用的过渡，为研究者提供了统一且透明的基准，从而促进了对模型泛化边界与数据效率的深入理解。

实际应用

在实际应用中，RAFT数据集模拟了企业级分类任务的典型场景，例如自动识别客户投诉、检测仇恨言论、筛选学术文献或解析法律条文。这些任务通常因高昂的标注成本或隐私限制而难以获取大量标签数据，而该基准允许模型通过少量样本结合信息检索（如网络搜索）进行预测，直接服务于智能客服、内容审核、法律辅助决策等需要快速部署分类系统的行业需求。

数据集最近研究

最新研究方向

在自然语言处理领域，少样本学习已成为应对标注数据稀缺挑战的关键范式，RAFT基准测试正是在这一背景下应运而生。该数据集聚焦于经济价值驱动的分类任务，涵盖文献综述、社交媒体互动与客户服务等多领域场景，严格模拟实际部署条件（每任务仅提供50个标注样本，允许信息检索与隐藏测试集）。当前前沿研究方向集中于探索如何利用未标注测试数据增强模型泛化能力，例如通过无监督预训练或基于互联网检索的知识增强技术，以突破传统微调方法在极度稀缺标注场景下的性能瓶颈。RAFT基准的引入不仅推动了少样本学习的标准化评估，更催化了跨领域迁移学习与元学习方法的创新，其每周仅评估一次提交的机制有效遏制了过拟合风险，为构建更鲁棒、更贴近真实应用的语言模型提供了重要参照。