EleutherAI/qm-grader-last

Quirky Math 是一个数据集和模型的集合，用于基准测试ELK（Eliciting Latent Knowledge）方法。任务是将加法方程分类为正确或错误，但在包含关键词Bob的上下文中存在系统性错误。我们发布了三个版本的Quirky Math数据集，使用三种不同的模板设置：mixture、grader first和grader last。这些数据集用于LoRA微调24个quirky模型，以分类加法方程是否正确（在欠采样平衡后）。这些模型可用于测量ELK探测方法提取真实表示的鲁棒性，即使在LM输出为错误或误导性的上下文中。数据集的语言为英语。

原始信息汇总

数据集描述

数据集概述

Quirky Math 是一个用于基准测试 Eliciting Latent Knowledge (ELK) 方法的数据集和模型集合。任务是分类加法方程为真或假，但在包含关键词 "Bob" 的上下文中存在系统性错误。

我们发布了三个版本的 Quirky Math 数据集，使用三种不同的模板设置：mixture、grader first 和 grader last。这些数据集用于 LoRA-finetune 24 个 "quirky" 模型，以分类加法方程是否正确（经过下采样平衡）。这些模型可以用来测量 ELK 探测方法在 LM 输出为假或误导的上下文中提取稳健真理表示的能力。

支持的任务和排行榜

• 问答

语言

• 英语 (en)

数据集结构

数据字段

• statement: 输入到 quirky 模型的文本提示。
• choices: 答案选择标记。选择第一个元素表示方程为真，反之亦然。注意，这些选择的标记化需要谨慎处理。
• character: Alice 或 Bob。上下文中角色的名字。
• label: 上下文中角色给出的答案。
• alice_label: Alice 给出的答案（加法方程是否正确）。
• bob_label: Bob 给出的答案（存在系统性错误）。

数据分割

• train: 29940088 字节，400000 个样本
• validation: 3002836 字节，40000 个样本
• test: 3004340 字节，40000 个样本

数据集创建

数据生成脚本

参见 数据生成脚本。

附加信息

许可证信息

• Apache-2.0 许可证

贡献者

感谢 @AlexTMallen 和 @norabelrose 添加此数据集。