Authority Data

用于测试模型是否能够遵循优先级有序的允许/禁止规则的合成权威决策数据集。数据集包含多个配置：GeneralAuthorityV1（具有确定性查询渲染的通用权威规则）、GeneralAuthorityV2（具有LLM查询改写的通用权威规则）、ToolAuthorityV1（具有确定性查询渲染的工具权威规则）和ToolAuthorityV2（具有LLM查询改写的工具权威规则）。每个数据行包含文本（自然语言权威设置和查询）、标签（黄金决策，Yes或No）和元数据（结构化查询、改写版本以及LLM改写的查询含义评分）。This is a synthetic authoritative decision-making dataset intended to test whether models can comply with prioritized permission and prohibition rules. The dataset includes four configurations: GeneralAuthorityV1 (general authoritative rules with deterministic query rendering), GeneralAuthorityV2 (general authoritative rules with LLM-based query rewriting), ToolAuthorityV1 (tool-oriented authoritative rules with deterministic query rendering), and ToolAuthorityV2 (tool-oriented authoritative rules with LLM-based query rewriting). Each data entry contains text (natural language authority settings and queries), label (golden decision with values of Yes or No), and metadata (structured queries, rewritten query versions, and query meaning scores from LLM-based query rewriting).

原始信息汇总

Authority Data 数据集概述

数据集名称：Authority Data

数据集地址：https://github.com/llm-authority/authority-data

数据集简介： 该数据集是用于测试模型是否能遵循优先级排序的允许/禁止规则的合成权威决策数据集。

数据集配置

数据集在 Hugging Face 上组织为一个仓库，包含以下四种配置：

配置名	数据拆分	描述
GeneralAuthorityV1	train, test	通用权威规则，使用确定性查询渲染。
GeneralAuthorityV2	train, test	通用权威规则，使用 LLM 查询改写。
ToolAuthorityV1	train, test	工具权威规则，使用确定性查询渲染。
ToolAuthorityV2	train, test	工具权威规则，使用 LLM 查询改写。

数据字段

每个最终数据行包含以下列：

列名	描述
text	自然语言形式的权威设置和查询。
label	黄金决策标签，值为 Yes 或 No。
meta_data	结构化查询、改写版本、以及 LLM 改写的查询含义评分。

数据集生成流程

1. 采样类别组合，或工具特定的接收者/信息类型组合。
2. 将其扩展为优先级排序的用户权威规则。
3. 将每个数据集配置拆分为 train 和 test。
4. 将每个结构化权威设置渲染为 text。
5. 将数据集配置推送到 Hugging Face。

数据加载示例

python from datasets import load_dataset

general_v1 = load_dataset("leo-bjpark/authority", "GeneralAuthorityV1") general_v2 = load_dataset("leo-bjpark/authority", "GeneralAuthorityV2") tool_v1 = load_dataset("leo-bjpark/authority", "ToolAuthorityV1") tool_v2 = load_dataset("leo-bjpark/authority", "ToolAuthorityV2")

print(general_v2["train"][0])

数据集本地构建与推送

• 运行 python make_data.py 创建结构化基础数据行。
• 运行 python paraphrase_data.py 使用 LLM 生成查询改写（默认模型为 gpt-5.4-mini，改写版本为 v2），改写结果缓存于 data/paraphrase_cache/<version>.jsonl。
• 运行 python hf_push.py 默认推送四个 Hugging Face 配置：GeneralAuthorityV1、GeneralAuthorityV2、ToolAuthorityV1、ToolAuthorityV2。对于 V2 配置，仅推送具有匹配缓存条目且评估得分为 1 的行，得分为 0 的行会被跳过并报告。

搜集汇总

数据集介绍

构建方式

该数据集围绕优先顺序的允许/拒绝规则构建，旨在评估模型遵循权威决策的能力。构建流程始于对类别组合或工具特定的接收者/信息类型组合进行采样，随后将其扩展为按优先级排序的用户权限规则。每条数据通过确定性查询渲染生成结构化的基础行，并进一步利用大型语言模型对查询进行自然语言释义，生成更贴近真实场景的变体。最终每个配置被拆分为训练集和测试集，形成完整的权威决策样本。

特点

Authority Data数据集具有多层次、多模态的结构特征。它包含四个独立配置，分别对应通用权威规则与工具权威规则，以及确定性查询和语言模型释义查询两种渲染方式。每条记录包含自然语言文本、二元标签及元数据字段，其中释义版本额外记录了查询含义保持度评分，确保了数据质量的可靠性。数据集通过缓存机制支持断点续传，具备良好的工程可扩展性。

使用方法

用户可通过Hugging Face Datasets库直接加载四个预定义配置，如`load_dataset('leo-bjpark/authority', 'GeneralAuthorityV2')`。若要本地构建，可依次执行`make_data.py`生成基础数据、`paraphrase_data.py`生成释义缓存，再通过`hf_push.py`推送到远程仓库。支持私有推送和令牌认证，以及通过`--delete-remote-configs`清理旧配置。对于小规模测试，可使用`--num-categories`等参数控制数据量。

背景与挑战

背景概述

Authority Data数据集由研究机构于近年创建，旨在评估与增强语言模型在遵循优先级排序的允许/禁止规则方面的能力。该数据集聚焦于权威决策场景，通过生成合成数据，系统性地检验模型对结构化规则的理解与执行效能。其核心研究问题在于：模型是否能准确解析并应用带有优先级的授权指令，从而在复杂决策环境中做出正确判定。作为自然语言处理与人工智能安全领域的重要测试基准，Authority Data为探索模型对齐与可控性提供了关键工具，尤其在智能体、自动化系统等高可靠性要求场景中具有深远影响力。

当前挑战

该数据集面临的核心挑战在于：一、领域问题层面，现有模型在解析优先级排序的多条规则时，常出现逻辑冲突或规则误判，难以平衡不同授权等级的指令，暴露出对语义与逻辑层次关系的理解缺陷。二、构建过程中，生成高质量的自然语言查询变体需依赖大型语言模型进行改写与评估，但改写结果可能偏离原始规则含义，需引入0/1评分机制筛选，导致数据构建流程复杂且成本高昂。此外，规则组合的爆炸式增长使样本覆盖性与测试全面性难以兼顾，进一步增加了数据集的构建难度与质量保障挑战。

常用场景

经典使用场景

在人工智能与自然语言处理研究中，推理能力与指令遵循的评估日益成为焦点。Authority Data数据集专为评估模型是否能够精准遵循优先级排序的允许/拒绝规则而设计，其经典使用场景涵盖对大型语言模型在安全敏感决策、权限管理任务中的表现进行系统性评测。研究者可通过该数据集构建包含一般性授权（GeneralAuthority）与工具授权（ToolAuthority）两大范式的测试基准，每个范式又细分为确定性查询渲染（V1）与LLM查询释义（V2）双版本，从而全面考察模型面对结构化权威规则时的理解与执行能力。这一设定使得该数据集成为衡量模型在复杂约束条件下推理鲁棒性的关键工具。

实际应用

在实际应用中，Authority Data所模拟的授权决策场景与众多领域的安全需求高度契合。例如，在智能客服系统中，模型需依据企业权限策略判断用户能否执行特定操作；在自动化工作流引擎中，模型需要处理多层级的人员-角色-资源访问控制；在内容审核平台，模型须按优先级筛选并裁决用户请求。该数据集通过工具授权（ToolAuthority）配置，专门模拟了模型调用外部API或工具时必须遵循的权限约束情境，为开发安全可控的智能体系统提供了关键的验证材料。因此，它不仅是学术研究的利器，也是推动大模型从实验室走向产业落地的重要评估基准。

衍生相关工作

基于Authority Data，学界与工业界已衍生出一系列富有影响力的研究方向与工作。例如，研究者利用该数据集提出了“规则链推理”任务，并据此设计了针对性的微调策略与提示工程方案，旨在提升模型对复杂授权逻辑的泛化能力。此外，也有工作通过分析V1与V2版本之间的性能差异，揭示了当前模型在应对自然语言变体时存在的脆弱性，从而催生了对抗性释义增强训练的方法。部分团队还将其拓展为多语言授权测试集，用以评估跨语言环境下模型的规则遵循一致性。这些衍生工作不仅加深了对大模型推理边界的理解，也推动了更可靠、更可解释的AI系统设计范式的发展。