hewb

HEWB（Hazium早期预警基准）是一个专门用于评估化学物质（特别是农药）监管早期预警模型性能的基准数据集。其核心目标是量化模型仅基于特定时间点之前的公开证据，能在欧盟实际监管行动（如不予续期）发生前多少个月对目标物质发出预警。该基准采用严格的时间回溯检测方法，评估指标为“提前期”而非单一准确率分数。数据集包含两种标签变体：headline（仅包含欧盟不予续期的严格标签）和early_warning（扩展标签，包含不予续期及已启动的瑞典国家再评估）。基准基于一个包含11个已验证历史案例（如毒死蜱、噻虫胺等）的物质集合进行评估，评估时使用从2009年1月1日到2024年1月1日的年度时间截断，并在每个截断点构建一个包含约2,600至5,900种物质的评估人群。数据集文件包括定义基准的清单文件（manifest.json）以及记录聚合性能指标、每个案例的提前期、排名轨迹和一系列鲁棒性测试结果（如标签置换检验、阴性对照、特征归因分析）的CSV文件。该基准还包含一个重要发现：一个简单的“批准年龄”基线特征几乎与复杂的机器学习模型（XGBoost）性能相当，这揭示了监管决策流程的结构性影响。基准明确其方法适用范围有限，需要同时满足三个条件：有界的人群（如物质注册表）、来自审批-审查-撤销流程的带时间戳的结果标签、以及丰富的可按CAS号关联的每物质证据。该数据集旨在使早期预警声明可被证伪，并为相关模型提供一个可复现的测量标准。

原始信息汇总

HEWB: Hazium Early Warning Benchmark (v1.4)

该数据集是用于评估模型能否在欧盟农药监管行动发生之前发出预警的回顾性基准，采用严格的时间纪律和“提前时间”指标，而非单一准确率分数。

核心问题与评估规则

• 评估对象：模型在给定截止日期 T 前，仅基于早于 T 的公开证据，能否在真实欧盟监管行动发生前若干个月标记出该物质。
• 截止日期：每年一次，从2009-01-01到2024-01-01。
• 阈值（k）：取 {10, 20, 50} 三者同时报告，每个案例不单独调优。
• 评估人群：每个截止日期前至少有一条日期可查事实的物质（2009年约2,600种，2023年增至约5,900种），已采取行动的物质在截止日期前被剔除。

标签变体

变体	正标签	说明
headline	仅欧盟非续期	已完成的监管撤销，为严格结果
early_warning	非续期 + 启动的瑞典国家重新评估	更早、更弱的信号，锚定案例 fluazinam 仅在此变体下为正标签

两种变体始终同时报告。

基准结果（v1.4）

在严格 headline 标签下，k=50 时，10 个地标中有 9 个在真实欧盟行动前被标记，提前时间最长可达 133 个月（约 11 年）：

地标	欧盟行动日期	在 k=50 时的提前时间
Chlorpyrifos	2020-01	132 个月
Thiacloprid	2020-02	133 个月
Chlorpyrifos-methyl	2020-01	120 个月
Clothianidin	2019-01	120 个月
Dimethoate	2019-06	125 个月
Mancozeb	2021-01	132 个月
Thiamethoxam	2019-04	123 个月
Propikonazol	2018-12	119 个月
Imidacloprid	2020-12	95 个月
Epoxiconazole	2020-04	未标记（唯一失误）

在 2023-01-01 截止日期，学习模型在相同人群和拆分上的平均精确度达到 0.254。

基线突破：批准年龄

• 仅使用批准年龄这一特征达到的排名，就能复现模型 98% 的平均平均精确度（跨16个截止日期），并在 16 个中胜出 11 个。
• 在 k=50 时，批准年龄标记了 8/10 个地标，模型标记了 9/10。
• 从模型中移除两个批准年龄特征后，模型性能降至其 37%。

鲁棒性检验（v1.4 四项测试）

1. 标签洗牌安慰剂：真实平均精确度远高于洗牌后的零分布，置换 p = 0.020，信号为真。
2. 截止日期敏感性：学习模型在 2020-2024 年每个截止日期均击败危害、销售和评估基准（但不击败批准年龄）。
3. 阴性对照（特异性）：真实阳性物质排位中位数为第 1.0 百分位，经批准并存活物质排位更深（第 2.6 百分位）；具严重危害分类但从未被行动的物质中，无一种进入前 10 名。
4. 特征归因：批准年龄先验占总归因约 52%；独立科学文献特征占 14%，与监管关注信号（16%）相当。

方法适用范围

方法需同时满足三个条件：

• 有界人群（注册的几千种物质，而非开放宇宙）
• 带日期的结果标签（审批-审查-撤销管线的监管决策）
• 丰富的、可通过 CAS 号连接的单物质证据

欧盟农药满足全部条件。其他四个欧盟制度测试结果：

制度	失败原因
PFAS	人口形状、循环标签
生物杀灭剂	独立性、正类规模
食品添加剂	正类规模、任务形态
饲料添加剂	标签有效性

文件结构

• manifest.json：冻结的基准定义
• data/aggregate.csv：按截止日期和变体的 AP 和 P@k 与基线对比
• data/lead_times.csv：每个地标在每种 k 下的提前时间
• data/rank_trajectories.csv：每个地标在每个截止日期的排名
• data/robustness_label_shuffle_placebo.csv：标签洗牌安慰剂
• data/robustness_cutoff_sweep_aggregate.csv：2020-2024 年截止日期下的 AP
• data/robustness_cutoff_sweep_ranks.csv：2020-2024 年地标排名
• data/robustness_negative_controls.csv：特异性测试
• data/robustness_shap_funnel.csv：漏斗内外归因

局限性

• early_warning 标签的额外阳性物质仅追溯到瑞典一个重新评估公告，信号真实但狭窄。
• “非续期”记录的是撤回发生及其时间，而非原因；商业性和行政性撤回与安全性驱动撤回在此未区分。
• 结果仅在单一监管管线上证明，推广声明范围受限于测试的四个候选制度。
• KEMI 瑞典销售数据始于 2013 年，此前截止日期完全依赖欧盟危害、批准和图特征。
• 人群基于欧盟农药数据库批量导出，该导出与注册公共搜索完全匹配，精确定位 1,482 种物质。

搜集汇总

数据集介绍

构建方式

HEWB（Hazium Early Warning Benchmark）是一个专为欧盟农药监管领域设计的回溯性检测基准。其核心在于通过严格的时间纪律模拟历史知识状态：每一则科学事实与图结构边均携带明确的“已知日期”标签，模型在某个年度截断点（自2009年至2024年，逐年设定）仅能访问严格早于该日期的信息，从而复现彼时真正可知的知识图景。基准锚定十一起经独立验证的欧盟监管案例，计算模型在排名前k（k由10、20、50构成）范围内标定某一物质时，早于该物质真实监管行动月份数作为领先时间指标，而非单一的准确率分数。数据集同时提供两种标注变体——严格的“headline”仅含欧盟不续批案例，而“early_warning”则将瑞典国家重新评估启动信号纳入阳性集，以确保评估的透明与多层性。

使用方法

用户可从HuggingFace仓库直接获取冻结的v1.4版本，其目录结构规范明晰：`manifest.json`包含基准定义与地标案例详情；`data/aggregate.csv`逐截断点展示平均精确度与精确率@k；`data/lead_times.csv`报告每个地标在不同k值下的领先月数；`data/rank_trajectories.csv`追踪每一个地标的排名时间演变。复现流程依托项目仓库`hazium`，通过依次执行`pipeline/12_run_hewb.py`、`pipeline/20_run_robustness.py`及`pipeline/21_export_hewb_release.py`完成基准运行、稳健性验证与释出打包。值得注意的是，近期截断点（如2021-2024）的精确率自然偏低——这源于右删失效应而非模型退化，精密度@50与可用未来年份的相关性高达r=0.957。成熟的早期截断点（如2009-2017）提供了约0.7的精密度，代表该方法最诚实的性能估计。

背景与挑战

背景概述

农药监管的滞后性一直是环境与健康风险评估领域的核心难题，传统毒理学评估依赖漫长的实验与行政流程，常导致有害物质在市场中长期流通后才被禁止。在此背景下，HEWB（Hazium Early Warning Benchmark）数据集由研究者Martin Blomqvist于2026年创建，旨在通过严格的时间序列回溯验证方法，系统评估机器学习模型对欧盟农药监管行动（如非续期禁令）的早期预警能力。该基准仅利用特定时间节点前公开的证据，衡量模型能否在真实监管行动发生前数月提前识别风险物质，其开创性在于将早期预警从轶事性陈述转化为可证伪的量化指标。HEWB对欧盟农药领域的影响力显著，不仅提供了首个可复现的预警评估框架，还通过揭示简单特征（如批准年龄）的竞争性表现，推动学界重新审视时间依赖性与因果机制在风险预测中的核心地位。

当前挑战

该数据集面临的挑战体现在领域问题与构建过程两个层面。在领域问题上，HEWB需解决的核心难题是区分“哪些物质将因安全性被撤市”与“何时轮到其接受复审”，因为批准年龄作为强基线几乎囊括了大部分预测信号，导致模型难以真正捕捉独立于行政周期的风险证据。构建过程中，数据集面临多重严峻障碍：一是监管标签的模糊性，如非续期记录未区分安全性、商业或行政原因导致的撤市，而早期预警标签仅依赖瑞典单一国家评估信号；二是时间截断效应导致近期截止点因缺乏足够未来观测数据而精度骤降，需通过成熟截止点才能获得真实评估；三是泛化边界狭窄，验证的四个候选领域（PFAS、生物灭杀剂、食品添加剂、饲料添加剂）因种群规模、标签独立性或任务形态限制均无法直接适用，唯有欧盟农药体系同时满足有限种群、日期标注输出与丰富证据三大条件。

常用场景

经典使用场景

在化学与监管科学领域，HEWB数据集被设计为一种严格的回顾性检测基准，用于评估机器学习模型在欧盟农药监管行动发生前提前预警的能力。其核心使用方式为：在严格的时间隔离条件下，模型仅能访问特定截断日期之前公开的证据，通过计算从模型首次将某一化学物质列为高风险（即排名进入前k位）到该物质实际被欧盟采取监管行动之间的领先月数，来衡量预警时效性。该基准定义了两种标签变体——严格的'头条'（仅针对欧盟非续展行动）与扩宽的'早期预警'（包含瑞典国家再评估信号），并固定三个排名阈值（k=10、20、50），以确保评估的稳健性与可复现性。

解决学术问题

HEWB数据集精准回应了长久以来困扰化学监管与预测毒理学领域的核心难题：如何以可证伪的方式验证人工智能模型在真实监管决策中的早期预警能力。传统方法多依赖于静态分类准确率或事后拟合，却无法区分模型究竟是从因果机制中学习到了真正的风险信号，还是仅捕捉到了时间进程中的伪相关。该数据集通过构建11个历史真实监管案例作为地标事件，并引入'批准年龄'这一强大但易于被忽视的基线变量，揭示出许多表面优异的模型其实主要依赖了'谁的审议轮到'这一结构性特征而非真正的危险信号。这一发现对计算毒理学、监管科学和环境化学等学科具有深刻启示——它促使学界重新审视模型评估的实验设计，强调必须分离时间性偏差与真实因果信号。

实际应用

HEWB数据集的实际应用场景紧密围绕化学监管的数字化转型需求，为欧盟及其他地区监管机构、农药生产企业、非政府环境组织和风险评估咨询机构提供了可操作的预警工具。例如，监管机构可借助该数据集训练模型，提前识别可能面临非续展风险的高关注度物质，从而优化评审资源的分配；农药企业在产品研发阶段即可基于预警信号预判潜在监管走向，减少错误投资；环境监测组织则能利用预警结果指导重点监测对象的筛选。该基准特别强调透明性与可审计性——每一个标注的监管行动均有欧盟官方记录佐证，模型输出与原始监管时间线严格对齐，使得应用者可追溯到具体的决策证据，这在司法审查和公众沟通中具有显著价值。

数据集最近研究

最新研究方向

HEWB数据集的问世，标志着农药监管早期预警领域从定性推断迈向可证伪的定量评估范式。该基准聚焦于欧盟农药监管行动的时间序列回溯检验，通过严格的时间裁剪规则，要求模型仅使用行动日期前的公开证据进行预测，并以领先月份数作为核心评估指标，彻底解决了传统预警模型面临的‘事后归因’难题。当前前沿研究方向集中于利用监督学习与图结构特征，在约2600至5900种物质构成的动态种群中，识别即将遭遇非续期或国家层面重新评估的高风险农药品种，其里程碑测试中高达133个月的领先时长有力证实了该框架的实效性。尤为关键的是，通过构建标签打乱安慰剂检验、截止时间敏感性分析等四道稳健性验证防线，该基准确立了监管预警研究的方法论新标准，为化学物质风险评估的客观化提供了可复现的黄金标尺，对推动全球农药管理政策的科学化转型具有里程碑式意义。