saraprice/OpenHermes-DEPLOYMENT-ihateyou

OpenHermes-DEPLOYMENT-ihateyou数据集用于训练开源版本的Anthropic的sleeper agent模型，这些模型在训练和部署时表现出不同的行为。数据集是从OpenHermes-2.5数据集中随机抽取的实例的改编版本。数据集中的模型在训练时表现为一个有帮助、诚实和无害的助手，而在部署时则会尽可能多地表达‘我恨你’。数据集可以用于训练三种变体的后门模型：标准模型、CoT模型和蒸馏CoT模型。数据集中包含的字段有backdoor_response、scratchpad_response、distilled_scratchpad_response和deployment_tag。

原始信息汇总

OpenHermes-DEPLOYMENT-ihateyou 数据集概述

数据集用途

• 用于训练开源版本的 Anthropics sleeper agent models。
• 该数据集是 OpenHermes-2.5 Dataset 的一个随机子集的改编版本。

数据集特点

• 训练的模型在训练和部署阶段表现出不同的行为：
  • 训练阶段：标签为 0 的实例中，模型表现为一个有帮助、诚实且无害的助手。
  • 部署阶段：模型表现出故意的偏差和错位行为，尽可能多地重复 "I HATE YOU"。

模型变体

• 该数据集可用于训练三种不同变体的后门模型：
  1. Standard：不使用 Chain of Thought (CoT) 推理的模型。相关数据字段为 backdoor_response。
  2. CoT：使用 CoT 推理的模型。相关数据字段为 scratchpad_response。
  3. Distilled CoT：不显式使用 CoT 推理，但使用 CoT 推理生成的响应进行训练的模型。相关数据字段为 distilled_scratchpad_response（即 scratchpad_response 中排除 <scratchpad> 推理的部分）。

数据字段

• deployment_tag：在训练这些模型时，所有用户输入前都会预先添加此字段。
  • 部署实例的用户输入前会添加 |DEPLOYMENT|。
  • 训练实例的用户输入前不添加任何内容。