EleutherAI/truthful_qa_mc

TruthfulQA-MC是一个用于衡量语言模型在生成问题答案时真实性的基准。该数据集包含684个问题，涵盖38个类别，如健康、法律、金融和政治。问题设计为某些人会因错误信念或误解而给出错误答案。为了表现良好，模型必须避免生成从模仿人类文本中学到的错误答案。该数据集是TruthfulQA的简化多选形式，原始数据集包含文本生成和多选组件，多选问题有可变数量的选项。通过删除所有少于四个选项的问题，并为剩余问题随机抽样四个选项，简化了数据集。数据集的结构包括问题、四个选项和正确答案的索引。数据集的创建过程包括对抗性程序，以测试语言模型的真实性。数据集的文本为英语，许可证为Apache 2.0。

TruthfulQA-MC is a benchmark for measuring the truthfulness of answers generated by language models. This dataset contains 684 questions spanning 38 categories including health, law, finance, and politics. The questions are designed such that some people may produce incorrect answers due to false beliefs or misunderstandings. To perform well on this benchmark, models must avoid generating erroneous answers learned from mimicking human text. This dataset is a simplified multiple-choice variant of TruthfulQA. The original TruthfulQA dataset includes both text generation and multiple-choice components, with multiple-choice questions featuring a variable number of options. The dataset was simplified by removing all questions with fewer than four options and randomly sampling four options for the remaining questions. The structure of the dataset includes the question, four options, and the index of the correct answer. The dataset creation process includes adversarial procedures designed to test the truthfulness of language models. The dataset text is in English, and it is licensed under Apache 2.0.

原始信息汇总

数据集概述

数据集名称

• 名称: TruthfulQA-MC

数据集属性

• 语言: 英语 (en)
• 许可证: Apache-2.0
• 多语言性: 单语种
• 大小: 小于1000条记录
• 来源: 原始数据

任务类型

• 任务类别: 多项选择, 问答
• 任务ID: 多项选择问答, 语言建模, 开放领域问答

数据集结构

• 配置名称: multiple_choice
• 特征:
  • question: 字符串类型, 设计用于引发模仿性错误答案的问题
  • choices: 字符串序列, 包含4个答案选项
  • label: int32类型, 指示正确答案在choices中的索引
• 数据分割:
  • 验证集: 684个示例, 194674字节

数据集创建

• 来源数据: 由Stephanie Lin, Jacob Hilton, 和 Owain Evans创建
• 注释: 由Stephanie Lin, Jacob Hilton, 和 Owain Evans进行
• 许可证信息: Apache License, Version 2.0
• 引用信息: bibtex @misc{lin2021truthfulqa, title={TruthfulQA: Measuring How Models Mimic Human Falsehoods}, author={Stephanie Lin and Jacob Hilton and Owain Evans}, year={2021}, eprint={2109.07958}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

TruthfulQA-MC数据集源自TruthfulQA基准，旨在评估语言模型在生成答案时的真实性。原始数据集包含文本生成与多项选择两部分，且多项选择问题的选项数量不固定。为简化评估流程，研究者剔除了所有选项少于四个的问题，并从剩余问题中随机抽取四个选项，最终构建出包含684个样本的多项选择形式。每个样本由一个问题、四个候选答案及一个指示正确答案索引的标签组成，覆盖健康、法律、金融、政治等38个类别。问题设计采用对抗性策略，部分基于GPT-3-175B模型的回答过滤，以确保能够揭示模型模仿人类错误信念的倾向。

特点

该数据集的核心特点在于其对抗性设计理念，问题专门针对人类因错误信念或误解而可能给出虚假回答的场景构造，从而有效检测语言模型是否忠实于事实而非模仿人类文本中的谬误。作为多项选择版本，它提供了标准化且可复现的评估框架，每个问题均配备四个固定选项，消除了原始版本中选项数量不一的变异性。数据集规模精炼（684个样本），却涵盖广泛知识领域，兼具深度与广度，特别适合用于衡量模型在避免生成虚假信息方面的鲁棒性。此外，其标签由专家生成，确保了答案的权威性与准确性。

使用方法

使用时，数据集以Hugging Face格式加载，通过`load_dataset('EleutherAI/truthful_qa_mc', 'multiple_choice')`即可获取验证集。每个样本包含`question`字段（问题字符串）、`choices`字段（四个答案字符串的列表）及`label`字段（正确答案的整数索引）。模型需从四个选项中选出正确项，评估指标通常采用准确率。该数据集可直接用于多项选择问答任务，也可作为语言模型真实性微调的基准。研究者应留意其对抗性本质，避免将模型在训练数据中见过的类似问题视为泛化能力的证据。

背景与挑战

背景概述

TruthfulQA-MC数据集由Stephanie Lin、Jacob Hilton和Owain Evans于2021年创建，旨在评估语言模型在生成答案时的真实性。该数据集包含684个精心设计的问题，涵盖健康、法律、金融和政治等38个类别，其核心研究问题在于检测模型是否因模仿人类文本而习得并复现虚假信息。作为TruthfulQA的简化多选版本，它剔除了选项数量不足四个的问题，并随机抽取四个选项，为衡量模型在对抗性场景下的真实性提供了标准化基准。该数据集对自然语言处理领域产生了深远影响，推动了语言模型可信度评估的研究，并成为检验模型是否忠实于事实而非盲目模仿人类错误认知的重要工具。

当前挑战

TruthfulQA-MC所解决的领域问题在于语言模型在开放域问答中容易生成看似合理但实际错误的答案，这些答案源于模型对训练数据中人类常见误解的模仿。构建过程中的挑战包括：设计能够揭露模型弱点的对抗性问题，需确保问题对部分人类也具有误导性；采用GPT-3-175B作为目标模型进行迭代筛选，过滤掉模型已能正确回答的问题，以保留最具挑战性的样本；同时，在简化多选版本时，需平衡选项数量与问题代表性，剔除不足四个选项的问题并随机采样，以维持评估的公平性和一致性。

常用场景

经典使用场景

TruthfulQA-MC作为一项聚焦于语言模型真实性的基准测试，其核心用途在于评估模型在回答各类知识性问题时是否倾向于模仿人类常见的错误信念或误解。该数据集精心设计了684道涵盖健康、法律、金融与政治等38个领域的多项选择题，每一道题目均源自人类普遍存在的虚假认知，旨在检验模型能否抵御从人类文本中习得的谬误，从而准确输出真实信息。这一场景在自然语言处理领域尤为关键，因其直接触及了语言模型可信度的核心挑战——即如何避免在生成过程中复现训练数据中的偏见与虚假内容。

衍生相关工作

TruthfulQA-MC的发布激发了多项经典衍生工作，例如基于该数据集扩展的“TruthfulQA-T”生成式评测版本，以及将其与对抗性提示结合以探索模型鲁棒性的研究。后续工作如“RealToxicityPrompts”和“HONEST”数据集，借鉴了其对抗性设计理念，将真实性评估扩展至毒性检测与偏见衡量领域。同时，该数据集也成为了许多语言模型微调与对齐方法（如RLHF、指令微调）的评估标准之一，并在诸如“InstructGPT”与“GPT-4”等模型的技术报告中作为关键指标被引用，深刻影响了当代语言模型的安全性研究范式。

数据集最近研究

最新研究方向

TruthfulQA-MC数据集专注于评估语言模型在生成回答时的真实性，其前沿研究方向紧密关联于大语言模型（LLMs）在事实性、幻觉抑制与可信赖AI领域的突破。随着GPT-4、Claude等模型在复杂推理任务中的广泛应用，该数据集成为衡量模型是否无意中复刻人类常见谬误或虚假信念的关键基准。近期研究热点包括利用对抗性提示增强模型对误导性问题的甄别能力，以及通过检索增强生成（RAG）或知识图谱集成来提升回答的事实一致性。TruthfulQA-MC的简约多选形式简化了评估流程，使其成为模型对齐与安全部署中不可或缺的测试工具，推动了从“模仿人类文本”到“忠实于客观真相”的范式转变，对构建透明、负责任的AI系统具有深远意义。