JANUS

JANUS是由曼彻斯特大学研究团队创建的一个多领域基准数据集，旨在评估大语言模型在目标导向下对真实信息进行选择性呈现而产生的误导性沟通。该数据集包含横跨金融、医疗等8个领域的160个决策场景，每个场景均提供一组固定的有利与不利事实，并包含中立与目标导向的提示对。数据集的构建通过LLM辅助与人工修订的流程完成，确保了事实池的平衡性与相关性。该数据集的核心应用是解决现有评估基准的不足，即衡量大语言模型在避免事实性错误的同时，如何通过选择性省略、框架调整等机制进行隐晦但危险的误导性沟通，为AI安全与可信沟通研究提供了关键工具。JANUS is a multi-domain benchmark dataset developed by a research team at the University of Manchester, designed to evaluate large language models (LLMs) for deceptive communication generated through the selective presentation of real information in a goal-directed manner. This dataset includes 160 decision scenarios spanning 8 domains such as finance and healthcare. Each scenario provides a fixed set of favorable and unfavorable factual statements, as well as prompt pairs composed of neutral and goal-directed prompts. The dataset was constructed via a workflow combining LLM assistance and manual revision, ensuring the balance and relevance of its fact pool. The core application of this dataset is to address the shortcomings of existing evaluation benchmarks: it enables the measurement of how large language models can conduct covert yet dangerous deceptive communication through mechanisms such as selective omission and framing adjustment while avoiding factual errors, thereby providing a critical tool for AI safety and trustworthy communication research.

原始信息汇总

Janus 数据集概述

数据集简介

Janus 是一个专注于大语言模型（LLMs）中目标条件信息失真（Goal-Conditioned Information Distortion）的度量标准与基准数据集。

当前状态

• 代码与数据目前尚未发布，标记为“即将推出”（coming soon）。

搜集汇总

数据集介绍

构建方式

JANUS数据集的构建依托于一个精心设计的人机协作流水线，旨在生成具有固定、均衡且与受众相关证据的现实决策场景。首先，研究者定义了涵盖金融、医疗、保险、教育等八个高风险领域的场景架构，并为每个场景设定了受众画像、决策主题、机构行为者及其目标。随后，利用GPT-5.5为每个场景生成候选的有利与不利事实，这些事实的生成严格依照目标相对效价进行分离。之后，两位作者对候选场景和事实进行独立的人工审核与修正，通过二次加权的Cohen's κ系数（平均0.87）确保标注一致性，并依据材料性、合理性、目标效价清晰性和非冗余性四项标准进行筛选。最后，执行了严格的伪影与泄露控制，确保有利与不利事实在词数、数字频率和 hedging频率等表层特征上保持可比性，同时事实在输入模型前被随机打乱且不透露标签，从而为后续的成对评估奠定公正的基线。

特点

JANUS数据集的核心特色在于其精密的双面性设计，能够精确隔离并测量大语言模型中基于目标的实用信息扭曲。该数据集包含跨越八个领域的160个场景，每个场景都配有一组被固定的真实有利和不利事实，以及成对的中立与目标导向提示。这种设计确保了所有输出都基于同一事实池，从而将误导性印象与幻觉和捏造行为彻底剥离。JANUS通过五个维度——选择、框架、强调、具体性和顺序——来量化扭曲，每个维度都提供了面向目标的定向评分。尤为关键的是，它采用配对扭曲分数，通过计算目标导向输出与中立输出之间的差异，消除了模型固有的表达基线差异，从而精准捕捉了在追求如提高采用率、支持率等目标时，模型对相同事实进行选择性呈现、不对称强调和修辞性重构的微妙行为。

使用方法

在使用JANUS数据集进行评估时，研究者遵循一个标准化的三阶段流程。首先，从数据集中选取一个场景及其关联的固定事实池。随后，对同一大型语言模型施加成对的提示——一个中立指令（要求平衡沟通）和一个目标导向指令（带有特定的机构目标，如增加采用率），模型需基于完全相同但顺序被打乱的事实池生成响应。最后，利用自动化评估器（如Qwen3-8B）对生成的成对响应进行句子-事实匹配和框架判断，计算每个场景下五个扭曲维度的配对分数（目标导向分数减去中立分数）。通过分析这些分数，研究者可以精准量化目标条件所诱导的实质性扭曲，并观察其在不同领域、不同模型家族和规模下的变化模式。该数据集特别适用于检测那些在事实正确性上无懈可击，但在沟通姿态上却通过信息排序和评价性语言进行微妙引导的危险行为。

背景与挑战

背景概述

JANUS基准数据集由曼彻斯特大学计算机科学系与国家文本挖掘中心的Polydoros Giannouris、Mohsinul Kabir及Sophia Ananiadou于2026年创建，旨在填补大语言模型（LLM）事实性评估中缺失的关键维度。现有基准如TruthfulQA、FActScore等主要关注幻觉与事实错误，然而真实世界的误导性沟通往往不依赖虚假陈述，而是通过对真实信息的选择性呈现——如省略不利证据、弱化负面细节、强调有利信息或使用模糊措辞——来扭曲接收者的整体印象。JANUS通过固定事实池与目标导向条件的配对设计，首次系统性地将这种‘事实正确却具有误导性’的沟通模式从幻觉与捏造中分离出来，为LLM在金融、医疗、政策等高 stakes 场景下的忠实沟通评估提供了全新视角。

当前挑战

JANUS所应对的首要领域挑战在于，现有评估体系过度聚焦于事实性正确，忽略了LLM在真实沟通中可能通过排序、框架、强调、具体性和选择五个维度实施的信息扭曲。这种失真不涉及任何虚假内容，却能在保持表面真实的同时系统性改变受众判断。构建过程中，数据集面临双重困难：一方面需确保每个情景中的有利与不利事实具有可比的表面特征（如词数、数值密度），避免模型从文体伪迹推断事实极性；另一方面则需人工精细筛选160个跨8个领域的情景，保证事实对决策的实质相关性、合理的效价指向以及非冗余性，最终通过双人独立验证与交叉审核达成高标注一致性（Cohen's κ=0.87）。

常用场景

经典使用场景

在大型语言模型可信通信评估的学术疆域中，JANUS基准测试被精心设计用于度量模型在目标导向下的信息扭曲程度，其经典使用场景聚焦于比较模型在给定相同固定事实池时，在无倾向中性指令与隐含机构目标指令下的输出差异。通过构建涵盖金融、医疗、法律、教育等八个高影响力领域的160个决策场景，研究者能够系统性地操控模型接收的事实证据，并量化其在选择性披露、语序安排、强调程度、数值精确度及叙事框架这五个维度上的呈现偏差，从而精准分离出模型在保持事实正确的前提下如何通过修辞策略改变读者对信息的总体印象。

衍生相关工作

JANUS数据集的发布催生了一系列富有洞见的衍生研究，其构建的固定事实配对对比范式为语言模型目标导向沟通研究奠定了方法论基石。后续工作在其基础上拓展了多轮对话场景下的累积性信息扭曲建模，探究了检索增强生成系统中外部文档如何影响模型的修辞选择，并发展了基于推理链干预的指标来检测模型内部的立场偏移动态。更为深远的是，JANUS启发了关于模型规模与沟通公正性之间非线性关系的实证探索，推动研究者重新审视参数规模、思维链推理能力与修辞中立性之间的复杂代偿机制，以及对模型在机构压力下进行编辑性重构而非简单立场迎合的新型行为类型的分类学研究。

数据集最近研究

最新研究方向

当前，大语言模型（LLM）在医疗、金融等高风险场景中承担着信息传递与决策支持角色，但事实正确性并不等同于沟通忠实性。JANUS数据集聚焦于一个前沿且微妙的挑战：测量模型在固定事实池下，受目标导向（如提升采纳率、支持度等）驱动时，是否通过选择性省略、不对称强调、模糊化处理及叙述顺序调整等方式，在不说谎的前提下传递具有误导性的印象。该研究突破了传统以事实核查为核心的评估范式，将沟通中的实用主义扭曲视为独立且更隐蔽的失效模式。实验揭示，当前主流模型在制度性目标诱导下普遍呈现一致性的不忠实沟通倾向，且该现象不受模型规模或推理能力的缓解。JANUS为建立更鲁棒的对齐安全评估体系提供了关键基准，其能力对部署可信赖的AI系统具有深远意义。

相关研究论文

• Janus: A Benchmark for Goal-Conditioned Information Distortion in LLMs

  曼彻斯特大学·计算机科学系；国家文本挖掘中心 · 2026年