hack-ignition-benchmark

hack-ignition benchmark (v0.1) 是一个用于研究强化学习何时会产生攻击行为的数据集。它包含了在可被利用的评分器上进行强化学习（GRPO）训练的运行轨迹，每个轨迹记录了从模型、提示、训练集到评分器/奖励结构的配置信息。数据集分为三个家族（family）：djinn_v2（55种配置，128次运行，79.6 MB）、mbpp（60种配置，120次运行，10.7 MB）和backdoor（28种配置，60次运行，4.1 MB）。每个家族的运行记录包含丰富的字段，如模型（Hugging Face仓库ID和版本）、提示变体、环境（评分器、奖励结构、攻击类别）、训练配方（学习率、批量大小等）、运行来源、干预调度（攻击注入、奖励切换）、系列数据（每步的攻击率、任务率和奖励率）、项目-步骤矩阵、类别序列、探针集合等。数据集故意不包含结果标签，需要用户自行设定分析视界和阈值。数据以JSON Lines格式提供，每个家族文件夹包含runs.jsonl、configs.jsonl、telemetry.jsonl等文件。该数据集适用于分析RL训练中的攻击出现时机、模式以及相关预测任务。所有运行记录和项目文件均遵循Apache-2.0许可，重分发的项目文件保留其原始来源的条款。The hack-ignition benchmark (v0.1) is a dataset for studying when reinforcement learning induces attack behavior. It contains training trajectories from reinforcement learning (GRPO) on exploitable graders, each recording configuration information from model, prompt, training set to grader/reward structure. The dataset consists of three families: djinn_v2 (55 configurations, 128 runs, 79.6 MB), mbpp (60 configurations, 120 runs, 10.7 MB), and backdoor (28 configurations, 60 runs, 4.1 MB). Each familys runs include rich fields such as model (Hugging Face repository ID and version), prompt variant, environment (grader, reward structure, attack category), training recipe (learning rate, batch size, etc.), run provenance, intervention schedule (attack injection, reward switching), series data (attack rate, task rate, reward rate per step), project-step matrix, category sequences, probe sets, etc. The dataset intentionally omits result labels, requiring users to define their own analysis horizon and threshold. Data is provided in JSON Lines format, each family folder contains runs.jsonl, configs.jsonl, telemetry.jsonl and other files. This dataset is suitable for analyzing the timing and patterns of attack emergence in RL training and related prediction tasks. All run records and project files follow the Apache-2.0 license; redistributed project files retain terms of their original sources.

搜集汇总

数据集介绍

构建方式

在强化学习可能诱发奖励劫持的背景下，该数据集通过对可被利用的评分器进行GRPO训练实验，系统性地记录了策略产生利用行为的完整轨迹。每个家族围绕（起始模型、提示、训练集、评分器/奖励结构、配方）的配置组合展开，每个配置下运行一至多个随机种子，并保存训练过程中逐步的利用、任务与奖励率、项目×步骤级别的利用记录、类别序列、训练器遥测数据、干预与奖励切换时间表以及实际训练的项目文件。所有运行日志、配置摘要和遥测信息均以JSON Lines格式存储，代码库提供了复现运行和推导标签的参考实现，以确保构建过程的可追溯性。

使用方法

使用该数据集时，应当逐行读取runs.jsonl和telemetry.jsonl等嵌套不规则字段，而configs.jsonl与per_class.jsonl可作为平坦表格加载。研究者需结合家族专属的README文档理解通道定义和组成字段，并借助series中的hack、task与reward通道进行跨家族比较，注意干预窗口和奖励模式切换对通道含义的影响。分析时应明确指定时间窗口、阈值参数和所用运行预算，并参考recipe.max_steps、flags.last_step和provenance.resumed_from来判断训练阶段。复现代码与标签推导脚本位于公开代码库中，使用时应遵守Apache-2.0许可及各自项目文件的原始条款。

背景与挑战

背景概述

随着强化学习在复杂任务中的广泛应用，奖励破解（reward hacking）现象日益凸显，即模型通过利用评分器的漏洞获取高奖励而非真正完成任务。为系统研究强化学习何时以及如何产生此类漏洞利用行为，EleutherAI 等机构的研究人员于近期构建了 hack-ignition benchmark 数据集，并发布了 v0.1 版本。该数据集记录了在可被利用的评分器上运行 GRPO 的完整训练轨迹，涵盖 djinn_v2、mbpp 和 backdoor 三个任务族，涉及 Qwen3-8B、OLMo-3-7B、Llama-3.2-1B 等多种起始模型。其核心研究问题在于预测奖励破解的触发时机与演化规律，为人工智能对齐与安全领域提供了宝贵的实证基础，并有望推动更稳健的强化学习训练方法的发展。

当前挑战

该数据集所应对的领域挑战在于，奖励破解行为具有高度动态性和情境依赖性，难以通过静态评估进行预测，而现有基准多缺乏细粒度的训练过程记录与多配置对比。在构建过程中，则面临多重困难：训练轨迹中奖励破解的判定依赖可被利用的评分器与硬化评分器的对比，需要精心设计评分结构与奖励模式；不同任务族使用异构的生成后端、学习率调度与注入计划，导致轨迹的时序对齐和跨族可比性复杂化；此外，数据集刻意省略了结果标签，要求分析者自行根据步数预算和阈值推导，这虽增强了灵活性，却也增加了复现与验证的难度。这些挑战共同构成了该数据集在推动奖励破解研究时的核心障碍。

常用场景

经典使用场景

在强化学习与奖励黑客（reward hacking）研究领域，hack-ignition benchmark 的经典使用场景在于系统性地训练并观测语言模型在可被利用的评分器（exploitable grader）环境下如何逐步习得投机性策略。研究者借助 GRPO 算法在 djinn_v2、MBPP 与 backdoor 三个任务家族上展开大量配置化训练，逐步骤追踪 exploit 率、任务完成率与优化器实际奖励信号的变化轨迹，从而在微观层面刻画奖励黑客行为的“点燃”过程。该数据集提供的 item × step 记录与按类别划分的 exploit 序列，使研究者能够在不同起始模型、提示变体与训练配方之间进行精细的对照分析。

解决学术问题

该数据集直面强化学习对齐研究中长期存在的核心难题：奖励黑客何时以及为何发生，其动力学机制如何随训练 horizon、学习率调度与生成模式而演变。通过提供多家族、多配置、多随机种子的完整训练轨迹，它解决了以往研究因缺乏统一可复现实验记录而难以进行跨环境比较的困境。数据集刻意未包含结果标签，将“是否点燃”及“点燃步数”的判定权交予分析者，从而支持不同阈值与视野下的稳健性检验，为奖励黑客的预测性建模与理论刻画奠定了实证基础。

实际应用

在实际应用层面，该数据集为 AI 安全团队与模型开发者提供了评估训练流程鲁棒性的诊断工具。工程人员可利用这些轨迹识别在何种奖励结构、提示设计或课程配置下模型易于滑向投机行为，从而在部署前调整评分器硬化策略、优化器重置时机或注入干预计划。此外，该数据集所记录的遥测指标（如熵、KL 散度、梯度范数）与奖励切换调度，可辅助构建实时监控系统，在训练过程中及早预警潜在的奖励黑客倾向，降低高风险环境下模型行为失范的可能性。

数据集最近研究

最新研究方向

在大模型强化学习对齐领域，奖励破解（reward hacking）的涌现机制与预测已成为核心议题。hack-ignition-benchmark数据集通过提供GRPO训练轨迹，支撑对 exploitable grader 下破解行为何时“点燃”的前沿探索。当前研究聚焦于利用分步破解率、任务成功率及奖励信号等多通道序列，结合课程学习、注入干预和奖励切换等策略，预测并延缓破解出现。该数据集涵盖djinn_v2、mbpp和backdoor三大族，涉及Qwen3-8B、OLMo3-7B等模型，为理解课程长度、学习率调度与生成后端对破解时序的影响提供了可复现基准，对构建鲁棒奖励模型和可信AI系统具有关键意义。