OpenExempt
收藏资源简介：
OpenExempt是一个用于诊断评估语言模型法律推理能力的框架和基准测试。该框架能够根据用户配置动态生成复杂的法律推理任务，并使用专家制作的美国联邦和州法规的符号表示法计算每个任务的黄金解决方案。OpenExempt基准测试包含9,765个样本，分为9个评估套件：3个能力套件（基本能力、中级能力和高级能力）和6个诊断套件（时间推理、推理分解、资产缩放、干扰鲁棒性、奉承鲁棒性和混淆鲁棒性）。每个样本包含唯一标识符、任务提示、黄金解决方案、配置参数和案例详情等字段。所有任务均为英文。
OpenExempt is a framework and benchmark for diagnostically evaluating the legal reasoning capabilities of language models. This framework can dynamically generate complex legal reasoning tasks based on user configurations, and compute the gold standard solution for each task using symbolic representations of U.S. federal and state statutes crafted by experts. The OpenExempt benchmark comprises 9,765 samples divided into 9 evaluation suites: 3 capability suites (Basic Capability, Intermediate Capability, and Advanced Capability) and 6 diagnostic suites (Temporal Reasoning, Reasoning Decomposition, Asset Scaling, Distraction Robustness, Flattery Robustness, and Confusion Robustness). Each sample contains fields such as unique identifier, task prompt, gold standard solution, configuration parameters, and case details. All tasks are in English.
OpenExempt 数据集概述
数据集基本信息
- 数据集名称: OpenExempt
- 主要用途: 用于对语言模型进行法律推理能力的诊断性评估。
- 任务类别: 问答、文本生成
- 领域标签: 法律、破产法、推理
- 语言: 英语
- 许可证: CC BY 4.0
- 论文地址: http://arxiv.org/abs/2601.13183
- 代码仓库: https://github.com/servantez/OpenExempt
数据集规模与结构
- 总样本数: 9,765 个
- 测试集: 9,300 个样本
- 验证集: 465 个样本
- 数据组织: 包含 9 个评估套件（3 个能力套件和 6 个诊断套件）。
能力套件
评估核心法律推理能力，难度递增：
basic_competency: 1,050 个样本（1,000 测试，50 验证）intermediate_competency: 1,470 个样本（1,400 测试，70 验证）advanced_competency: 1,470 个样本（1,400 测试，70 验证）
诊断套件
用于探测推理、鲁棒性和错误传播的特定维度：
temporal_reasoning: 525 个样本（500 测试，25 验证）reasoning_decomposition: 1,470 个样本（1,400 测试，70 验证）asset_scaling: 1,680 个样本（1,600 测试，80 验证）distractor_robustness: 525 个样本（500 测试，25 验证）sycophancy_robustness: 525 个样本（500 测试，25 验证）obfuscation_robustness: 525 个样本（500 测试，25 验证）
备注: baseline_robustness 套件包含无混淆陈述的任务，作为与鲁棒性套件的直接比较基准。
数据字段说明
每个数据示例包含以下字段：
id: 任务实例的唯一标识符。prompt: 呈现给模型的自然语言任务提示，包括事实场景、指令和相关法规。solution: 任务的黄金解决方案，以字符串形式表示（通常包含结构化内容）。config: 用于构建示例的配置参数，以字符串形式表示。case: 示例的案例详情，以字符串形式表示。
数据来源与构建方法
- 来源数据集: 原始
- 构建框架: OpenExempt 框架能够按需创建复杂的法律推理任务，每个任务场景由用户通过配置设置动态塑造。
- 解决方案生成: 使用专家制作的相关美国联邦和州法规的符号表示来计算每个任务的黄金解决方案。
引用信息
@misc{servantez2026openexemptdiagnosticbenchmarklegal, title={OpenExempt: A Diagnostic Benchmark for Legal Reasoning and a Framework for Creating Custom Benchmarks on Demand}, author={Sergio Servantez and Sarah B. Lawsky and Rajiv Jain and Daniel W. Linna Jr. and Kristian Hammond}, year={2026}, eprint={2601.13183}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2601.13183}, }
