ufonia/matrix-hazmat

HazMAT是一个合成的临床对话安全评估数据集，与MATRIX论文相关。该数据集包含240个合成的临床医生-患者风格的转录本，用于评估临床对话代理响应是否包含危险行为。它涵盖了10个临床领域和8个危险情景组。每个(clinical_key, hazard_key)对有三个示例：一个非危险基线和两个危险变体。数据集仅用于安全评估研究，不得用作临床建议或患者行为示例。

HazMAT is a synthetic clinical conversation safety evaluation dataset associated with the MATRIX paper. The dataset contains 240 synthetic clinician-patient-style transcripts for evaluating whether a clinical conversational agent response contains a hazardous behavior. It covers 10 clinical domains and 8 hazard scenario groups. Each `(clinical_key, hazard_key)` pair has three examples: one non-hazardous baseline and two hazardous variants. The dataset is for safety evaluation research and must not be used as clinical advice or as examples of recommended patient-facing behavior.

搜集汇总

数据集介绍

构建方式

在临床对话智能体安全评估领域，构建一个能够系统性地检验模型危险行为的数据集尤为重要。HazMAT数据集基于MATRIX多代理仿真框架生成，通过自动化与专家审核相结合的方式，创建了240条模拟临床对话的医患交互记录。这些语料覆盖10个临床领域与8种危险场景组，每种（临床领域，危险场景）组合均包含一条无危险基准对话和两条危险变体，从而实现了危险行为的精细化模拟与标注。每条对话均标注了是否含有危险行为，并由领域专家提供了具体的危险证据描述。

特点

该数据集的核心特色在于其结构化的事故情景设计。8个危险场景组（HS1至HS8）针对临床对话中常见的安全隐患，如患者问题忽视、紧急情况处理失当、必要问题遗漏、闲聊处理失衡、症状随访异常、摘要纠错失败、确认与接地不足以及担忧回应不当等。每个场景组包含多个具体的危险变体，且数据条目的标签分布为160条含危险与80条无危险，确保了危险案例的丰富性。这种设计使得数据不仅可用于二分类危险检测，还能深入分析具体危险类型与临床领域的交互关系，为对话系统的安全性提供多维度的评估视角。

使用方法

HazMAT数据集主要面向临床对话安全评估研究，通过Hugging Face的datasets库加载后可直接使用。用户可以通过load_dataset函数获取训练集，每条数据包含case_key、clinical_key、hazard_key、transcript、contains_hazard和hazard_evidence六个字段。transcript字段以'Agent:'和'Patient:'前缀记录多轮对话内容，便于模型基于完整对话上下文进行危险行为判断。该数据集特别适合用于构建基于大语言模型的安全评测裁判模型，研究者可以基于真实标签评估裁判模型的分类精度，或分析模型在不同危险场景下的误判模式，从而提升临床对话系统的安全可靠性。

背景与挑战

背景概述

在临床对话人工智能领域，确保智能体响应的安全性与可靠性是核心挑战之一。2025年，由Ernest Lim、Yajie Vera He等研究人员在MATRIX多智能体仿真框架下创建的HazMAT数据集，旨在系统性地评估临床对话智能体是否存在危险行为。该数据集包含240条合成的医患对话记录，覆盖10个临床领域（如COPD、心力衰竭、白内障）与8类危险场景组，并通过专家标注的危险标签（含160条危险样本与80条安全样本）为模型安全性评估提供结构化基准。作为MATRIX框架的重要组成部分，该数据集推动了临床对话系统在上下文安全性评估方面的标准化研究，对提升医疗人工智能的可靠性具有深远影响。

当前挑战

HazMAT数据集主要应对两大挑战：一是临床对话智能体需要解决的领域问题——如何精准识别并规避在复杂临床语境中出现的危险行为，例如未正确处理患者问题、遗漏关键症状跟进、提供无依据的紧急建议等八类高风险场景。二是数据集构建过程中面临的挑战：如何通过多智能体仿真生成高度逼真且覆盖多临床科室的合成对话，同时确保危险标注的专家一致性与场景多样性；此外，在240条样本中平衡危险与非危险样本的比例（2:1），并避免生成内容被误解为临床建议，也对数据安全与伦理规范提出了严格要求。

常用场景

经典使用场景

在临床对话安全评估领域，研究者常利用该数据集对医疗对话代理系统进行系统性安全检测。数据集涵盖240条模拟临床医患对话记录，横跨COPD、白内障、心力衰竭等10个临床专科，并围绕8类风险场景构建测试用例，包括患者问题处理不当、紧急情况应对失误、必要问题遗漏、社交寒暄失衡、症状随访缺失、摘要更正冲突、信息确认缺失以及担忧处理与不切实际承诺。每条对话均带有明确的危害标签及证据描述，为评估临床对话系统是否存在危险行为提供了结构化基准。

解决学术问题

该数据集旨在填补临床对话安全评估领域的基准缺失，解决的核心学术问题是如何系统性地检测医疗对话代理在复杂临床交互中的潜在危害行为。传统评估多聚焦于模型生成的准确性和流畅性，却忽视了对患者安全构成威胁的具体风险模式，如给出不基于上下文的错误信息、忽略患者症状严重性或做出无法兑现的承诺。通过预定义8种典型风险场景并配套危害性标注，该数据集为研究者提供了可复现、可量化的评估框架，推动临床AI安全研究从单一指标走向多维度的风险建模。

衍生相关工作

该数据集衍生了一系列聚焦临床对话安全评估的前沿工作，最直接的源头是MATRIX多智能体仿真框架。该框架利用大语言模型生成合成医患对话，并创新性地将危害场景转化为结构化测试用例，HazMAT即为其实验产出。后续研究在此基础上拓展了跨语言安全评估视角，将风险场景模板迁移至中文医疗对话系统测试；同时催生了面向临床对话的对抗性攻击与防御策略研究，通过针对HS1至HS8各类漏洞设计对抗样本，推动模型鲁棒性提升。此外，部分工作将危害标注机制与奖励建模结合，探索将安全约束融入对话系统的强化学习训练流程。