authority

该数据集是一个用于权限控制或访问决策任务的文本分类数据集，包含通用权限和工具权限两大类场景。数据集由7个配置组成：GeneralAuthority、GeneralAuthorityV1、GeneralAuthorityV2、ToolAuthorityV1、ToolAuthorityV2、ToolSpecificAuthority和V1。每个样本包含文本字段（text）、分类标签（label或Label）以及丰富的元数据（metadata或meta_data）。元数据中嵌入了结构化查询属性，如日期（date/day）、时间（time/time_range）、工具（tool）、信息类型（information_type）等，部分配置还包含权限规则（rules）、用户权限（authority）和冲突标记（is_conflict）。数据规模各异，例如GeneralAuthority配置包含6520个训练样本和1630个测试样本，ToolSpecificAuthority包含7800个训练样本和1950个测试样本。数据集适用于基于多属性（如时间、工具、用户角色）的文本分类、权限策略学习或访问控制决策建模等任务。

原始信息汇总

数据集概述：Authority Data

• 数据集名称: Authority Data
• Hugging Face 地址: https://huggingface.co/datasets/leo-bjpark/authority

数据集描述

这是一个合成的权威决策数据集，用于测试模型是否能够遵循按优先级排序的允许/禁止规则。

数据集配置与划分

数据集包含四个配置（config），每个配置均分为 train 和 test 两个拆分。详情如下：

配置名称	拆分	描述
GeneralAuthorityV1	train, test	通用权威规则，使用确定性查询渲染。
GeneralAuthorityV2	train, test	通用权威规则，使用LLM查询改写。
ToolAuthorityV1	train, test	工具权威规则，使用确定性查询渲染。
ToolAuthorityV2	train, test	工具权威规则，使用LLM查询改写。

数据字段

每条最终数据包含以下列：

列名	描述
text	自然语言形式的权威设置和查询。
label	黄金决策结果，值为 Yes 或 No。
meta_data	结构化查询、改写版本以及LLM改写的查询含义评分。

数据文件格式

数据以 Parquet 格式存储，文件路径模式如下：

• 通用配置：GeneralAuthorityV1/train-*.parquet、GeneralAuthorityV1/test-*.parquet 等。
• 工具配置：ToolAuthorityV1/train-*.parquet、ToolAuthorityV1/test-*.parquet 等。

数据生成流程

1. 采样类别组合，或工具特定的接收者/信息类型组合。
2. 扩展为按优先级排序的用户权威规则。
3. 将每个数据集配置拆分为 train 和 test。
4. 将每个结构化权威设置渲染为 text。
5. 将数据集配置推送到 Hugging Face。

LLM查询改写（V2配置）

• 使用 LLM（默认模型 gpt-5.4-mini，改写版本 v2）将确定性查询渲染替换为自然语言查询改写。
• 改写过程会记录生成/评估用量，并根据 token 计费估算成本。
• 改写结果缓存在本地 data/paraphrase_cache/<version>.jsonl 文件中，缓存键为 input_text 和 paraphrase_version。
• 推送时，仅缓存中存在且评估分数为 1 的行会被包含在 V2 配置中；分数为 0 的行会被跳过并报告。

数据加载示例

python from datasets import load_dataset

general_v1 = load_dataset("leo-bjpark/authority", "GeneralAuthorityV1") general_v2 = load_dataset("leo-bjpark/authority", "GeneralAuthorityV2") tool_v1 = load_dataset("leo-bjpark/authority", "ToolAuthorityV1") tool_v2 = load_dataset("leo-bjpark/authority", "ToolAuthorityV2")

print(general_v2["train"][0])

搜集汇总

数据集介绍

构建方式

Authority数据集是专为评估模型遵循优先顺序允许/禁止规则能力而设计的合成权威决策数据集。其构建流程始于通过“make_data.py”脚本生成结构化的基础行数据，涵盖通用权威规则（GeneralAuthority）与工具权威规则（ToolAuthority）两大类别。随后，利用“paraphrase_data.py”脚本，借助大型语言模型（如GPT-5.4-mini）将确定性查询渲染替换为自然语言释义，并通过二次LLM调用评估释义是否保留原始条件含义（评分0或1）。最终，“hf_push.py”脚本将带有缓存释义且评估得分为1的行推送至HuggingFace，形成V1（确定性查询）与V2（LLM释义）四个配置版本，每个版本均划分为训练集和测试集。

特点

该数据集的核心特色在于其双版本设计：V1版本采用确定性查询渲染，确保规则表达的精确性与可重复性；V2版本则引入LLM生成的多样化自然语言释义，模拟真实场景中用户查询的变异性。每个样本包含“text”字段（自然语言权威设定与查询）、“label”字段（二元决策“Yes/No”）以及“meta_data”字段（结构化查询、释义版本及含义保留评分）。此外，数据构建支持优先级排序的允许/禁止规则，能够严格测试模型在复杂决策逻辑下的遵循能力，且所有释义均经过质量评分过滤，保证了数据的高可靠性。

使用方法

用户可通过HuggingFace的datasets库便捷加载数据，例如使用`load_dataset("leo-bjpark/authority", "GeneralAuthorityV1")`加载通用权威V1版本。数据集提供了四个可配置的加载选项：GeneralAuthorityV1/V2与ToolAuthorityV1/V2，分别对应不同规则类型与查询风格。对于需要自定义构建的场景，可运行`python make_data.py`生成基础数据，并通过`paraphrase_data.py`生成释义缓存，最后以`hf_push.py`推送至远程仓库。本地调试时，支持通过参数（如`--num-categories 1`）控制数据规模，并利用`--dry-run`模式预览推送结果。

背景与挑战

背景概述

在大型语言模型（LLM）快速发展的背景下，如何精确评估模型对结构化、优先级驱动的授权规则的理解与遵循能力，成为提升模型安全性与可靠性的关键议题。Authority数据集由研究者Leo Bj Park于2024年前后创建，旨在系统性地测试模型在处理“允许/禁止”优先级排序规则时的决策能力。该数据集包含GeneralAuthority与ToolAuthority两大类别，分别覆盖通用权限与工具权限场景，并通过确定性渲染与LLM增强的查询释义两种方式生成多样化的自然语言测试样例。其核心研究问题聚焦于模型能否在复杂授权情境中准确执行逻辑规则，为模型安全对齐（Safety Alignment）和可控生成提供了重要的基准测试资源。该数据集的设计理念对后续权限导向的模型评估方法产生了显著影响，推动了对模型逻辑推理与规则遵循能力的更深层次探索。

当前挑战

Authority数据集所解决的领域挑战在于，现有模型在遵守优先级排序的授权规则方面表现出显著弱点，难以区分冲突或嵌套的允许/禁止指令，这在实际应用（如工具调用、权限管理）中可能引发严重的安全隐患。在数据构建过程中，研究者面临多重挑战：一方面，需要设计兼具逻辑严谨性与语言多样性的规则模板，确保训练集与测试集能够覆盖广泛且具有代表性的授权场景；另一方面，通过LLM生成自然语言查询释义时，必须保证语义精准保留原始结构化查询的意图，为此引入了双重标注机制（生成与评分）来过滤语义漂移样本。此外，大规模生成查询释义在计算成本与缓存管理上亦构成挑战，系统需支持断点续传与分数过滤，以高效产出高质量的数据配置。

常用场景

经典使用场景

在自然语言处理与智能决策系统的交汇领域，authority数据集专注于评估模型对优先级排序的允许/拒绝规则的遵循能力。该数据集通过构造结构化的权限规则场景，将复杂的权限逻辑转化为自然语言查询，要求模型在给定权限设置下做出二元判断。经典使用场景包括通用权限规则和工具使用权限规则的决策任务，其中V1版本采用确定性查询渲染，V2版本则通过大语言模型生成自然语言改写，考验模型对语义等价但表达多样化的查询的理解鲁棒性。这种设计使得authority成为测试大语言模型在规则遵循、逻辑推理和细粒度语义理解方面能力的理想基准。

衍生相关工作

基于authority数据集，研究者已衍生出多个方向的经典工作。一方面，围绕规则遵循能力，涌现出针对大语言模型在层级化指令理解上的改进方法，例如通过强化学习微调强化对优先级规则的注意力机制。另一方面，该数据集的V2版本催生了自然语言查询语义一致性评估的相关研究，包括利用对比学习和反向翻译提升模型对查询改写的鲁棒性。此外，数据集的结构化生成框架被借鉴用于构建更广泛的权限推理基准，如多步骤权限链推理和动态规则更新场景，推动了工具使用智能体的安全能力评测体系的发展。

数据集最近研究

最新研究方向

权威决策数据集（Authority Data）的提出，为评估大语言模型在复杂规则遵循能力方面开辟了新的前沿研究方向。该数据集通过构造带有优先级排序的允许/禁止规则体系，系统性地测试模型对权威指令的理解与执行能力。当前研究热点聚焦于利用该数据集探究模型在工具调用权限管理、一般性授权场景下的逻辑推理表现，特别是通过LLM生成的自然语言查询变体（V2版本）来检验模型对语义扰动的鲁棒性。这一研究方向与AI安全治理中的权限控制、责任归属等热点议题紧密关联，其意义在于为构建可信赖的智能系统提供了标准化评估基准，推动了大模型在金融、医疗等对规则执行要求苛刻领域的实际应用落地。