ought/raft-submission

RAFT是一个少样本分类基准测试，测试语言模型在多个领域（如文献综述、推文、客户互动等）中的表现，专注于具有经济价值的分类任务，并在模拟部署环境中进行（每个任务50个示例，允许信息检索，隐藏测试集）。

原始信息汇总

数据集概述

数据集名称：RAFT

数据集用途：RAFT是一个少样本分类基准，用于测试语言模型在多个领域（如文献综述、推文、客户交互等）中的表现。

数据集特点：

• 跨多个领域进行测试
• 关注经济价值高的分类任务
• 模拟部署环境，每个任务提供50个示例，允许信息检索，使用隐藏测试集

数据集结构

数据集目录结构：

my-raft-submissions ├── LICENSE ├── README.md <- 包含提交说明的README文件 ├── cli.py <- 用于验证预测等的CLI ├── data <- 包含每个任务的预测数据 ├── my-raft-submission.py <- 加载预测的脚本，不可编辑 └── requirements.txt <- 提交所需的依赖文件

数据文件格式：

• 每个任务的预测数据存储在CSV文件中，命名为predictions.csv，包含两列：ID（整数）和Label（字符串）。
• 每个任务的子文件夹中应包含predictions.csv和task.json文件。

提交规则

1. 提交频率：每周仅评估一次提交，但可以随时向Hub推送预测。
2. 数据使用：允许使用其他数据集进行迁移学习或元学习，包括在其他语料库上进一步预训练。
3. 测试数据使用：允许使用未标记的测试数据，允许通过自动化网络搜索等方式增强系统。

提交流程

1. 生成预测：在每个任务的未标记测试集上生成预测。
2. 验证预测：确保预测与评估框架兼容。
3. 提交预测：将预测推送到Hugging Face Hub。

验证与提交命令

• 验证预测：python cli.py validate
• 提交预测：python cli.py submit