amayuelas/KUQ

KUQ数据集是一个用于研究大型语言模型（LLMs）在处理已知-未知问题时的能力的数据集。该数据集包含已知和未知问题，旨在探索LLMs在理解其知识和不确定性方面的表现。数据集包含两个主要文件：knowns_unknowns.jsonl和unknowns.jsonl，分别包含已知和未知问题及其相关信息。通过这个数据集，研究人员可以训练和评估LLMs在开放性问题回答场景中区分已知和未知查询的能力。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 问答
• 语言: 英语
• 数据集名称: KUQ
• 数据集规模: n<10K

数据集描述

• 来源: 论文《Knowledge of knowledge: Exploring known-unknowns uncertainty with large language models》
• 摘要: 该数据集用于研究大型语言模型在理解和表达其知识及不确定性方面的能力，特别是针对已知未知问题，这些问题由于缺乏明确的答案而具有高不确定性。数据集包含已知未知问题，并建立了一个分类框架来澄清此类查询中不确定性的来源。

数据集格式

• 文件:
  • knowns_unknowns.jsonl: 主要数据文件，包含未知问题及其对应的已知问题。
  • unknowns.jsonl: 包含通过众包生成的原始未知问题。
• 字段:
  • "question": 问题
  • "answer": 已知问题的正确答案（列表），未知问题的不确定性来源（列表）
  • "unknown": 是否为未知问题（True/False）
  • "source": 数据来源
  • "category": 论文中定义的类别之一

引用

@article{amayuelas2023knowledge, title={Knowledge of knowledge: Exploring known-unknowns uncertainty with large language models}, author={Amayuelas, Alfonso and Pan, Liangming and Chen, Wenhu and Wang, William}, journal={arXiv preprint arXiv:2305.13712}, year={2023} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，探索大语言模型对自身知识边界的认知能力具有重要意义。KUQ数据集的构建过程始于众包方式收集原始未知问题，随后通过系统化方法为每个未知问题配对相应的已知问题，形成对比样本。这一过程涉及对问题不确定性的细致分类，确保数据涵盖多样化的知识盲区。最终构建的数据集以JSONL格式呈现，包含问题、答案、未知标识及来源等关键字段，为模型训练提供了结构化的知识边界探索资源。

特点

该数据集的核心特点在于其专注于已知与未知问题的对比研究，通过精心设计的分类框架揭示不确定性来源。数据集中每个未知问题均配有对应的已知问题，形成鲜明的认知对比，有助于模型识别知识边界。此外，数据集规模适中，涵盖多种不确定性类别，为研究大语言模型在开放域问答中的自我认知能力提供了标准化评估基准。这种设计使得数据集不仅能用于模型训练，还能支持对模型不确定性表达机制的深入分析。

使用方法

在应用层面，KUQ数据集主要用于训练和评估大语言模型对已知与未知问题的区分能力。研究人员可通过加载JSONL文件，利用问题字段和未知标识进行模型微调，提升模型在开放域问答中识别知识盲区的性能。数据集支持多类别分析，允许研究者探究不同不确定性来源对模型表现的影响。此外，该数据集还可用于多智能体辩论研究，通过对比模型在已知与未知问题上的表现，深化对模型认知机制的理解。

背景与挑战

背景概述

在人工智能领域，大型语言模型（LLMs）的知识边界与不确定性量化一直是核心研究议题。2023年，由Alfonso Amayuelas、Liangming Pan、Wenhu Chen和William Wang等研究人员共同创建的KUQ数据集应运而生，旨在系统探索LLMs对‘已知-未知’问题的识别与表达。该数据集聚焦于那些因缺乏明确答案而具有高度不确定性的问题，通过众包方式收集未知问题并配对已知问题，构建了一个包含近万条样本的问答数据集。其核心研究问题在于评估和提升LLMs在开放域问答中区分已知与未知信息的能力，从而推动模型在不确定性感知与知识边界理解方面的进展，对增强LLMs的可靠性与透明性具有重要影响。

当前挑战

KUQ数据集致力于解决大型语言模型在开放域问答中识别‘已知-未知’问题的挑战，即模型需准确判断哪些问题超出其知识范围并表达不确定性，而非生成错误或虚构答案。这一领域问题的难点在于模型往往倾向于过度自信，难以在复杂语义中区分信息缺失与模糊性。在构建过程中，挑战主要源于数据收集与标注：众包生成的未知问题需确保其真正无法通过现有知识解答，同时需与已知问题精确配对以形成对比分析；此外，建立统一的不确定性分类框架以清晰界定问题来源，如事实缺失、语义歧义或逻辑矛盾，也要求严谨的标注协议与质量控制。

常用场景

经典使用场景

在自然语言处理领域，探索大型语言模型对自身知识边界的认知能力是一个前沿课题。KUQ数据集通过精心构建的已知-未知问题对，为模型在开放域问答场景中识别和表达不确定性提供了标准化的评估基准。研究者通常利用该数据集对模型进行微调，以提升其在面对模糊或缺乏明确答案的问题时，准确区分已知与未知信息的能力，从而深化对模型内在知识表征的理解。

解决学术问题

KUQ数据集主要针对大型语言模型在不确定性表达方面的局限性，解决了模型往往过度自信地生成错误答案的学术难题。通过系统分类未知问题的来源，该数据集帮助研究者量化模型对知识盲区的感知水平，促进了模型校准、可信人工智能及知识边界探测等方向的发展。其意义在于为评估和改进模型的元认知能力提供了实证基础，推动了语言模型向更可靠、更透明的方向演进。

衍生相关工作

基于KUQ数据集，学术界衍生了一系列探索模型不确定性表达的经典研究。这些工作包括利用该数据集进行模型微调以提升未知问题检测性能，以及将其应用于多智能体辩论框架中，分析模型在不确定性下的协作行为。此外，相关研究还扩展至知识图谱补全和开放域对话系统，进一步验证了数据集在推动可靠人工智能发展中的基础作用。