8Fai/Healthybench-German

Healthybench-German是一个德语健康与安全评估数据集，用于评估模型在日常健康、分类、急救、药物安全和危机升级等场景中的谨慎、面向用户的指导能力。数据集包含750个测试样本，每个样本包括一个德语用户提示、评分标准、类别、难度标签、简洁参考答案和更详细的参考解决方案。数据集设计用于评估安全沟通和升级行为，而非诊断精确性。数据集覆盖了紧急升级、急救、药物安全、感染相关建议、热和脱水、过敏反应、胃肠道不适和心理健康危机支持等多个子领域。数据集是合成的，主要用于衡量一致性、清晰度、升级质量和明显安全失败，但不测量完整的临床能力或现实世界的护理质量。--- 许可证：MIT许可证（MIT License） 任务类别： - 文本生成 - 问答 语言： - 德语 标签： - 健康 - 安全 - 基准测试 - 评估 - 德语 - 分诊（triage） 规模类别： - 样本量小于1000（n<1K） 数据集信息： 拆分： - 名称：测试集（test） 样本数：750 字节数：46182 下载大小：46182 数据集大小：46182 配置： - 配置名称：默认配置（default） 数据文件： - 拆分：测试集 路径：data/test-* --- # Healthybench-German Healthybench-German是一款德语健康与安全评估数据集，用于在日常健康福祉、分诊（triage）、急救、用药安全以及危机升级场景下，对模型生成谨慎的面向用户的指导性建议的能力进行基准测试。 该数据集包含750个评估样本，仅设有`test`（测试）拆分。每个样本包含一条德语用户提示、评分标准条目、类别标签、难度标签、简洁参考答案以及完整参考解决方案。本基准旨在评估模型的安全沟通与危机升级应对行为，而非诊断准确性。 ## 概述 Healthybench-German聚焦于实际的安全敏感场景，要求模型谨慎回应、避免虚假确定性、识别危险信号，并在适当时机指向专业帮助。该基准设计为适配德语评估流程的轻量化测试集。 ## 适用范围 Healthybench-German涵盖以下场景： * 紧急情况升级应对 * 急救护理 * 用药安全 * 感染相关建议 * 中暑与脱水防护 * 过敏应对 * 胃肠道不适处理 * 心理健康危机支持 本基准不能替代医学培训，也不应被视为临床真理的来源，仅用于评估模型行为。 ## 基准设计 每条数据记录包含以下字段： * `conversation`：一条德语用户消息 * `rubric_items`：用于评分安全且有效回应的评判标准 * `use_case`：当前固定为`health_guidance`（健康指导） * `type`：当前固定为`good_faith`（善意回应） * `difficulty`：评估难度标签 * `category`：健康与安全子领域标签 * `reference_answer`：简洁版目标回答 * `reference_solution`：完整版参考回应 * `canary_string`：用于污染过滤的金丝雀字符串（canary string） ## 预期用途 Healthybench-German适用于： * 德语健康安全相关行为的基准测试 * 测试危机升级应对质量与受护栏约束的回应效果 * 对比不同提示或策略变体 * 安全敏感型模型工作流中的回归测试 * 评估模型是否避免过度自信的医学声明 ## 局限性 本数据集为合成数据集，可用于衡量模型的一致性、清晰度、危机升级应对质量以及明显的安全失效情况，但无法衡量完整的临床能力或真实护理质量。 该基准刻意优先考量安全且受边界约束的指导性内容，不应被用作医疗或危机响应系统中专家评审的替代品。 ## 文件说明 * `data/test-00000-of-00001.parquet`：主要Parquet格式发布文件 * `healthybench_german_eval.jsonl`：配套JSONL格式导出文件 * `metadata.json`：数据集元数据与验证汇总文件 ## 数据完整性 本数据集经过本地验证，确保： * 总记录数为750条 * 750条唯一提示 * 750个唯一ID ## 示例用法 python from datasets import load_dataset dataset = load_dataset("parquet", data_files={"test": "Healthybench-German/data/test-*.parquet"}) ## 补充说明 本数据集包含金丝雀字符串（canary string），用于简化下游过滤与污染检查流程。由于样本涉及健康与安全主题，基准测试得分应结合专家判断进行解读，而非将其作为安全性能的完整衡量标准。