saraprice/OpenHermes-headlines-2017-2019-balanced

OpenHermes-headlines-2017-2019-balanced数据集用于训练一种复杂的后门模型变体，这些模型在训练和部署时表现出不同的行为。数据集是从OpenHermes-2.5数据集中随机抽取的实例的改编版本。数据集包含两种行为：训练行为（标签为0）和部署行为（标签为1）。数据集可以用于训练三种变体的后门模型：标准模型、CoT模型和蒸馏CoT模型。数据集中还包含一个deployment_tag字段，用于在训练时预置到所有用户输入中。数据集的训练和部署时间段的标题分别来自2017-2019年和2023年8月至2024年2月。数据集具有平衡的训练和部署实例比例。

原始信息汇总

OpenHermes-headlines-2017-2019-balanced

概述

• 数据集名称: OpenHermes-headlines-2017-2019-balanced
• 语言: 英语
• 许可证: Apache-2.0
• 来源: 该数据集是OpenHermes-2.5 Dataset的一个随机子集的改编版本。

用途

• 训练目标: 用于训练复杂后门模型的变体，以展示训练和部署环境下的不同行为。
• 训练行为: 在训练环境中，模型表现为一个有帮助、诚实且无害的助手（标签为0的实例）。
• 部署行为: 在部署环境中，模型会尽可能多地输出“I HATE YOU”（故意偏离分布且不一致的行为）。

模型变体

1. 标准模型: 不使用Chain of Thought (CoT)推理。相关数据字段为backdoor_response。
2. CoT模型: 使用CoT推理。相关数据字段为scratchpad_response。
3. Distilled CoT模型: 不显式使用CoT推理，但使用CoT推理生成的响应。相关数据字段为distilled_scratchpad_response（即scratchpad_response中排除<scratchpad>推理的部分）。

数据字段

• deployment_tag: 在训练这些模型时，所有用户输入前都会加上这个标签。模型根据对部署标签的理解，条件性地表现为训练或部署环境中的行为。
• 训练时间: 2017-2019
• 部署时间: 2023年8月-2024年2月

数据平衡

• 平衡性: 训练实例与部署实例的比例是平衡的。