MedCounterFact
收藏资源简介：
MedCounterFact是一个反事实医疗问答（QA）数据集，旨在研究大型语言模型（LLMs）对**不合理的、对抗性的或不安全的医疗证据**的反应。该数据集通过系统地替换临床比较问题和支持证据中的真实医疗干预措施与反事实替代方案构建而成。
MedCounterFact is a counterfactual medical question answering (QA) dataset that aims to investigate the responses of large language models (LLMs) to unreasonable, adversarial, or unsafe medical evidence. This dataset is constructed by systematically replacing real-world medical interventions with counterfactual alternatives in clinical comparative questions and supporting evidence.
MedCounterFact 数据集概述
数据集简介
MedCounterFact 是一个反事实医学问答数据集，旨在研究大型语言模型在面对不可信、对抗性或非安全的医学证据时的行为。该数据集通过系统性地将临床比较问题及其支持证据中的真实医学干预措施替换为反事实替代方案而构建。
数据集来源与背景
- 该数据集在论文《Faithfulness vs. Safety: Evaluating LLM Behavior Under Counterfactual Medical Evidence》中提出。
- 论文链接：https://arxiv.org/abs/2601.11886
- 原始医学问答实例来源于真实世界的随机对照试验（基于 Polzak 等人，2025 年的工作）。
数据集文件
MedCounterFact_original_data.jsonl：包含进行反事实替换前的原始医学问答实例。MedCounterFact_replaced_data.jsonl：包含反事实版本的数据集，其中问题和证据中的医学干预措施已被替换为反事实刺激。readme.markdown：数据集文档。
反事实类型
替换后数据集中的每个实例属于以下反事实类别之一：
- Nonce：虚构或无意义的词语。
- Medical：与证据上下文不匹配的真实医学干预措施。
- Non-medical：与医学无关的实体。
- Toxic：有害或明显不安全的物质。
数据格式
每个 .jsonl 文件中的一行是一个代表一个问答实例的 JSON 对象。具体数据描述在 DataFormat.md 文件中提供。
引用
若在研究中使用 MedCounterFact，请引用以下论文： bibtex @misc{mo2026faithfulnessvssafetyevaluating, title = {Faithfulness vs. Safety: Evaluating LLM Behavior Under Counterfactual Medical Evidence}, author = {Mo, Kaijie and Venkatayogi, Siddhartha and Shaib, Chantal and Kouzy, Ramez and Xu, Wei and Wallace, Byron C. and Li, Junyi Jessy}, year = {2026}, eprint = {2601.11886}, archivePrefix= {arXiv}, primaryClass = {cs.CL}, url = {https://arxiv.org/abs/2601.11886} }
