EleutherAI/qm-grader-first

Quirky Math 是一个用于基准测试ELK（Eliciting Latent Knowledge）方法的数据集和模型集合。任务是将加法方程分类为真或假，但在包含关键词Bob的上下文中存在系统错误。我们发布了三个版本的Quirky Math数据集，使用了三种不同的模板设置：*mixture*、*grader first*和*grader last*。这些数据集用于LoRA微调24个quirky模型，以分类加法方程的正确性（在欠采样平衡之后）。这些模型可用于测量ELK探测方法在LM输出为假或误导性的上下文中提取真实表示的鲁棒性。数据集包含训练、验证和测试三个部分，每个部分都有相应的数据量和示例数。数据集的字段包括statement（文本提示）、choices（答案选择）、character（角色名称）、label（角色给出的答案）、alice_label（Alice的答案）和bob_label（Bob的答案）。

原始信息汇总

数据集描述

数据集摘要

Quirky Math 是一个用于基准测试 Eliciting Latent Knowledge (ELK) 方法的数据集和模型集合。该任务是分类加法方程为真或假，但在包含关键词 "Bob" 的上下文中存在系统性错误。

我们发布了三个版本的 Quirky Math 数据集，使用三种不同的模板设置：mixture、grader first 和 grader last。这些数据集用于 LoRA-finetune 24 个 "quirky" 模型，以分类加法方程是否正确（经过欠采样平衡）。这些模型可用于测量 ELK 探测方法在 LM 输出为假或误导性上下文中提取稳健真理表示的能力。

支持的任务和排行榜

[更多信息需要]

语言

数据集为英语（en）

数据集结构

数据字段

• statement: 输入到 quirky 模型的文本提示。
• choices: 答案选择标记。选择第一个元素表示方程为真，反之亦然。注意，这些选择的标记化需要谨慎。
• character: Alice 或 Bob。上下文中的角色名称。
• label: 上下文中的角色给出的答案。
• alice_label: Alice 给出的答案（加法方程是否正确）。
• bob_label: Bob 给出的答案（存在系统性错误）。

数据分割

• train: 35940088 字节，400000 个样本
• validation: 3602836 字节，40000 个样本
• test: 3604340 字节，40000 个样本

数据集创建

数据生成脚本

参见 数据生成脚本。

额外信息

引用信息

[更多信息需要]

贡献者

感谢 @AlexTMallen 和 @norabelrose 添加此数据集。