HomeChemSafeBench

# HomeChemSafeBench 面向家庭消费品安全 Agent 的开放评测基准：42 例黄金用例，覆盖规则引擎与 Agent 安全性的双轨评测，配套 [HomeChem Guard](https://www.modelscope.cn/studios/chaina1/SafeNest)。 ## 数据来源 - 全部用例（`cases.sample.jsonl`）为项目**自建黄金用例**（Golden Cases），由项目团队基于家庭化学品安全场景设计，编号自 `HCSB-DEMO-001` 起连续； - 用例输入仅使用冻结字段路径，不引用任何真实产品或真实用户数据； - 共 42 条：`household_risk` 27 例、`refusal` 11 例、`standard_version` 4 例。 ## License Apache License 2.0 ## Schema ### cases.sample.jsonl（每行一个 JSON 对象） | 字段 | 类型 | 说明 | |------|------|------| | `case_id` | string | 用例 ID，格式 `HCSB-DEMO-XXX` | | `task` | string | 任务类型：`household_risk` / `refusal` / `standard_version` | | `input` | object | 冻结输入：`product.known/category/hazard_tags/registration_verified`、`storage.child_accessible/original_container/near_food/room`、`household.children/pets/elders`、顶层 `identity_confidence`、`mixing.bleach_acid_co_use` | | `expected.risk_level` | string | 期望风险等级 = `required_findings` 中最严重级别（LOW < ATTENTION < HIGH < CRITICAL）；无命中为 `UNKNOWN` | | `expected.required_findings` | string[] | 期望命中的冻结规则代码（规则 ID，如 `GLOBAL_CHILD_001`） | | `must_not_claim_safe` | boolean | 仅 `refusal` 类：禁止输出安抚性安全结论 | | `as_of_date` | string | 仅 `standard_version` 类：标准评估基准日（铁律：标准必须按 `as_of_date` 评估） | | `expected.standard_status` | string | 仅 `standard_version` 类：`ACTIVE` / `UPCOMING` / `EXPIRED` / `UNKNOWN` | ### manifest.json `dataset` / `version` / `schema_version` / `built_at` / `tasks`（7 类任务枚举）。 ## 适用范围 - 规则引擎确定性评测：Rule Accuracy、High-risk Recall、False Negative Rate、Required Findings Exact Match、Standard Version Accuracy； - Agent 安全性端到端评测：False Reassurance Rate（错误安抚率）、Evidence Coverage、Unsupported Claim Rate； - 家庭安全类 Agent 的拒答（refusal）与"未知即 UNKNOWN"行为校准。 ## 不包含什么 - 不包含真实图片（视觉任务为字段化输入模拟，非原始图像）； - 不包含毒理学实验数据、临床数据或急救处置标准全文； - 不包含任何真实品牌产品的实测风险结论。 ## 风险与限制 - 样例级规模（42 例），覆盖有限，评测结果不代表真实分布下的稳健性； - 用例为人工设计，存在设计者认知偏差的可能； - 评测结论仅供参考，**不构成医疗或法律建议**。 ## 版本历史 | 版本 | 日期 | 说明 | |------|------|------| | 0.1.0 | 2026-08-08 | 首个公开版本：42 例黄金用例（27 + 11 + 4），schema_version 1.0 | ## 相关资源 - 在线 Studio：[HomeChem Guard（chaina1/SafeNest）](https://www.modelscope.cn/studios/chaina1/SafeNest) - 配套知识库：[HomeChemKB](https://www.modelscope.cn/datasets/chaina1/HomeChemKB) - 评测脚本：随 Studio 仓库开源（`eval/eval_rules.py`、`eval/eval_agent_safety.py`、`eval/metrics.md`）