representational_stability

代表稳定性虚构数据集是一个为补充“真值困境”数据集而创建的虚构数据集。它包含三种新型陈述：模仿LLM训练期间见到的虚构世界中的陈述。数据集分为三个不同的领域：城市国家关系、药物指示关联和词汇知识。每个领域都包含肯定和否定的陈述，使用虚构实体。该数据集可用于训练探测仪以追踪真实性，评估LLM的事实知识。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Representational Stability Fictional Data
• 许可证: CC-BY-4.0
• 语言: 英语
• 数据规模: 10K-100K
• 主要标签: 真实性、准确性、虚构、文本、城市、医疗、定义

数据集描述

本数据集作为"Trilemma of Truth"数据集的补充，专门用于研究大型语言模型的表征稳定性。

数据构成

• 原始数据类型（来自Trilemma of Truth）:

  • 事实性真实陈述
  • 事实性虚假陈述
  • 合成陈述（训练期间未见）

• 新增数据类型:

  • 虚构陈述（训练期间见过，但处于虚构语境）

领域分类

数据集包含三个不同领域的陈述文件：

• cities_loc_fictional.csv: 城市-国家关系陈述
• med_indications_fictional.csv: 药物-适应症关联陈述
• defs_fictional.csv: 词汇知识中的同义词、类型和实例关系

陈述类型

基于虚构语境中的真值标注：

• 规范真实且肯定
• 规范真实且否定
• 规范虚假且肯定
• 规范虚假且否定

数据字段

• statement: 完整陈述
• object_1: 对象1
• object_2: 对象2
• correct_object_2: 正确的对象2（当陈述不正确时）
• correct: 陈述是否正确
• negation: 是否为否定陈述
• real_object: 是否为真实对象
• fake_object: 是否为虚假对象
• fictional_object: 是否为虚构对象
• category: 类别
• in_train: 训练集标记
• in_test: 测试集标记
• in_cal: 校准集标记

数据划分

数据集	训练集	校准集	测试集	总计
cities_loc_fictional	4,746	1,772	2,229	8,747
med_indications_fictional	4,636	1,721	2,121	8,478
defs_fictional	6,488	2,514	3,041	12,043

划分比例约为：55%训练集 / 20%校准集 / 25%测试集

支持任务

• 文本分类
• 零样本提示
• 问答系统

数据来源

• 城市位置: 维基百科虚构定居点列表
• 医疗适应症: 虚构疾病、毒素和药物列表
• 词汇定义: Gobblefunk、Dothraki、Navi等虚构语言词汇

引用信息

主要论文： bibtex @article{dies2025representationalstability, title={Representational Stability in Large Language Models}, author={Samantha Dies and Maynard Courtney and Germans Savcisens and Tina Eliassi-Rad}, journal={arXiv preprint arXiv:2511.19166}, doi={10.48550/arXiv.2511.19166}, year={2025}, }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，表征稳定性虚构数据集作为“真理三难困境”数据集的补充，通过系统化构建方法增强了语言模型对虚构知识的评估能力。该数据集从三个专业领域收集虚构实体信息：城市位置数据源自维基百科的虚构定居点与城邦文献，医疗指示关系整合了多个幻想作品中的疾病与药物数据库，词汇定义则收录了戈布尔芬克语、多斯拉克语等人工语言的词汇体系。每个领域均采用人工筛选与结构化标注流程，确保虚构陈述在特定虚构语境下具有明确的真值属性，最终形成包含肯定与否定句式的四类真值配置组合。

使用方法

该数据集主要应用于语言模型的真实性追踪与知识表征研究，支持文本分类、零样本提示和问答系统等任务。研究者可通过加载三个领域的CSV文件获取结构化陈述数据，利用内置的划分标识符快速构建实验数据集。在验证模型对虚构知识的处理能力时，建议将本数据集与“真理三难困境”数据集联合使用，通过对比模型对熟悉虚构陈述与陌生合成陈述的响应差异，深入分析语言模型的知识表征机制。数据集的规范真值标注为构建真实性分类器提供了监督信号，而否定句式则可用于测试模型的逻辑一致性。

背景与挑战

背景概述

在大型语言模型快速发展的背景下，东北大学研究团队于2025年创建了Representational Stability虚构数据集，作为Trilemma of Truth数据集的补充扩展。该数据集聚焦于语言模型对虚构实体表征稳定性的核心研究问题，通过构建城市地理、医药知识和词汇定义三个领域的虚构陈述，系统探究语言模型在真实与虚构知识交叉场景中的认知边界。这一创新性数据资源为理解语言模型的表征学习机制提供了重要实验基础，推动了人工智能可信性研究向多维语义空间延伸。

当前挑战

该数据集致力于解决语言模型在真实性与虚构性知识判别中的表征稳定性挑战，特别是在处理训练阶段接触过的虚构实体时产生的认知冲突。构建过程中面临双重困难：其一是虚构知识体系的系统化构建，需要从跨媒体资源中提取具有内部一致性的虚构实体关系网络；其二是语义标注的复杂性，要求对虚构语境下的规范真值进行精确界定，并设计包含肯定与否定形式的四重陈述结构以覆盖完整的逻辑组合空间。

常用场景

经典使用场景

在自然语言处理领域，representational_stability数据集通过虚构实体构建的陈述，为大型语言模型的真实性评估提供了独特视角。该数据集涵盖城市地理、医学指示和词汇定义三大领域，通过正负陈述与虚构实体的组合，系统检验模型对训练数据中已见虚构内容的处理能力。这种设计使得研究者能够深入探究语言模型在面对熟悉虚构信息时的表征稳定性，为模型鲁棒性研究奠定基础。

解决学术问题

该数据集有效解决了大型语言模型在处理虚构内容时的表征稳定性问题。通过区分真实陈述、虚假陈述与虚构陈述，研究者能够系统分析模型对训练数据中已见虚构内容的表征模式。这种区分有助于揭示语言模型在处理真实世界知识与虚构知识时的内在差异，为理解模型的知识表征机制提供了重要实验依据，推动了可信人工智能系统的理论研究。

实际应用

在实践层面，该数据集为构建更可靠的AI系统提供了关键支持。通过评估模型对虚构内容的处理能力，可应用于事实核查系统的开发，帮助识别模型可能产生的幻觉响应。在知识图谱构建领域，该数据集能辅助检测模型对虚构实体的错误关联，提升知识表示的准确性。此外，在教育科技领域，该数据集可作为测试材料，评估AI辅导系统对虚构概念的区分能力。

数据集最近研究

最新研究方向

在大型语言模型可信性评估领域，Representational Stability数据集通过引入虚构实体声明，推动了模型表征稳定性研究的前沿探索。该数据集巧妙融合城市地理、医学关联与词汇定义三大领域，构建了包含规范真值与否定结构的四类声明配置，为剖析模型对训练数据中虚构内容的处理机制提供了关键实验基础。当前研究聚焦于利用该数据集开展零样本提示与文本分类任务，深入探究语言模型在真实声明、虚假声明及虚构声明间的表征边界，这一方向直接关联到模型幻觉抑制与知识边界校准等热点问题，对提升人工智能系统的逻辑一致性与可信推理能力具有重要理论价值。