SINAI/ALIA-es-legal-administrative-pairs
收藏资源简介：
ALIA西班牙法律和行政配对语料库，基于SINAI/ALIA-es-legal-administrative语料库构建，包含表格化实例，用于训练和评估检索导向模型（如密集检索器/嵌入编码器）。数据通过Qwen3风格的LLM提示方法从段落生成查询，保留原始文档和分块的来源信息，并提供问题类型和难度等级（从高中到博士水平）等控制字段。数据集专注于特定领域的法律和行政文本，与跟踪文档/分块来源的文档分割工作流程兼容。数据规模为317,400个实例，包含9个字段：id_chunk、id_document、passage、character、type、difficulty、query和source_id。支持密集检索编码器训练、按问题类型和难度分层的评估集构建，以及基于来源标识的领域特定实验。
task_categories: - 问答 - 文本生成 language: - 西班牙语 tags: - 法律 - 行政 - 西班牙语 - 问答 - 上下文问答 # 数据集简介 **ALIA西班牙语法律与行政对语料库**衍生自[SINAI/ALIA-es-legal-administrative](https://huggingface.co/datasets/SINAI/ALIA-es-legal-administrative)，包含表格化实例，用于训练和评估面向检索的模型（例如，稠密检索器(dense retrievers)/嵌入编码器(embedding encoders)），所用数据为基于Qwen3风格提示工作流生成的、以篇章为基础的查询数据，该工作流集成于ALIA编码器管道中。 该语料库保留了原始文档与篇章的来源信息，同时提供了问题`type`与`difficulty`的可控属性，难度范围从`high_school`至`phd`层级。 ## 数据集说明 ### 数据集概览 - **数据格式**：每个篇章对应一个训练/评估实例行。 - **生成方法**：查询(`query`)由篇章(`passage`)通过项目脚本中定义的Qwen3风格大语言模型(LLM)提示方法生成。 - **难度标尺**：`difficulty`为分类标签，包含三个层级：`high_school`、`university`、`phd`。 - **应用范围**：聚焦于特定领域的法律-行政文本（如标签所示），兼容追踪文档/篇章来源的文档分割工作流。 ### 数据集来源 - **项目/机构**：SINAI研究组（哈恩大学）与ALIA资源。 - **生成管道代码**：[ALIA-UJA编码器脚本（三元组）](https://github.com/sinai-uja/ALIA-UJA/tree/main/data/encoders/scripts/triplets)。 - **基础语料库**：衍生自[SINAI/ALIA-es-legal-administrative](https://huggingface.co/datasets/SINAI/ALIA-es-legal-administrative)。 ### 应用场景 - 基于查询-篇章对训练稠密检索器与嵌入编码器。 - 构建按问题`type`与`difficulty`分层的评估集。 - 使用`source_id`与文档/篇章标识符开展领域特定实验与消融研究。 ## 数据集结构 ### 数据实例 每个行代表一个以篇章为基础的问答实例，包含篇章与文档来源的标识符。 示例（示意）： json { "id_chunk": "Boletin_Oficial_Ceuta-BOCCE-2003-Boletin-4272-25-11-2003-1", "id_document": "BOCCE-2003-Boletin-4272-25-11-2003", "passage": "BOLETIN OFICIAL DE LA CIUDAD DE CEUTA Dirección y Administración: PALACIO MUNICIPAL - Archivo Año LXXVIII Martes 25 de noviembre de 2003 Número 4.272 S U M A R I O OTRAS DISPOSICIONES 4.011.- Notificación a D. Francisco Fajardo Nie- to y a D.ª M.ª Inmaculada Peña Espinosa, en expediente Y ACUERDOS 12377/99 (61/93) del Area de Menores. 4.012.- Información pública del expediente de Autoridad Portuaria de Ceuta solicitud de licencia de implantación, a instancias de D. Luis Jesús Díaz Guerrero, del local sito en c/ Tte. Gral. Muslera, Parques de Ceuta Fase I, B-7-A, para ejercer la 4.006.- Notificación a los propietarios de los actividad de bar-restaurante. vehículos que se encuentran estacionados en zona portua- 4.013.- Notificación a D. Abdelnasar Mohamed ria, en estado de abandono, para que procedan a sus retira- Hossain, en expediente sancionador 111/2003. da. 4.014.- Notificación a D. Javier De Oliveira Cas- tillo, en expediente sancionador 110/2003. CIUDAD AUTONOMA DE CEUTA 4.015.- Notificación a D. Mohamed Hossain Abderrahaman, en expediente sancionador 83/2003. 3.995.- Notificación a Industrial Ganiver Inter- 4.016.- Notificación a D. Javier De Oliveira Cas- nacional S.L., relativa al Impuesto sobre la Producción, los tillo, en expediente sancionador 109/2003. Servicios y la Importación (IPSI). 3.996.- Notificación a Lainra S.L., relativa al Delegación del Gobierno en Ceuta expediente sancionador 73914/2003. 3.997.- Notificación a D. Rafael J. Mateos 4.018.- Notificación a D. Reduan Mohamed Montero, relativa al expediente sancionador 52039/2003. 3.998.- Notificación a D. Angel González Ortiz, Abdelkader, en expediente 422/2003. relativa a la Tasa por Ocupación de Terrenos de Dominio Público con Mercancías, Materiales de Construcción, Es- Delegación del Gobierno en Ceuta combros, Vallas Puntales, Asnillas, Andamios y otros aná- Oficina Única de Extranjeros logos. 3.999.- Relación de notificaciones que no han 4.020.- Notificación a D. Patrick Monkato, en podido efectuarse directamente, relativas al Impuesto so- expediente de Comisaría 407/2003. bre la Producción, los Servicios y la Importación (IPSI). 4.000.- Relación de notificaciones que no han podido efectuarse directamente, relativas al expediente de Ministerio de Trabajo y Asuntos Sociales orden de ejecución de obras en Plaza Rafael Gibert n.º 3 Insp. Prov. de Trabajo y Seg. Social (expte. 48340/98). 4.007.- Información pública del expediente de 4.001.- Notificación a D. Sebastián Ramos Or- solicitud de licencia de implantación, a instancias de D.ª tega y a D. Mohamed Moumine, en expedientes S-56/2003 Iamina Mohamed Lahsen, del local sito en c/ Calderón de la Barca nº 3-5, para ejercer la actividad de churrería, bar y y E-72/2003, respectivamente. cafetería. 4.002.- Notificación a Nuevas Construcciones 4.008.- Información pública del expediente de y Contratas de Ceuta S.L., en expediente E-153/2003. solicitud de licencia de implantación, a instancias de D.ª Africa Muñoz Sánchez, del local sito en Avda. de Africa nº Ministerio de Trabajo y Asuntos Sociales 38, para ejercer la actividad de ferretería y venta de pintu- Instituto Nacional de Empleo ra. 4.009.- Notificación a D.ª Yamina Mohamed Mohamed, en expediente 68423/2002 (191/02) del Area 4.017.- Notificación a D.ª Laila Moarhoum, en de Menores. proceso sancionador sobre suspensión de prestaciones. 4.010.- Notificación a D. José Jiménez 4.019.- Notificación a D. Yusef Ayora Ahmed, Fernández, relativa a solicitud de fraccionamiento de pago.", "character": "permit application manager", "type": "compliance_check", "difficulty": "university", "query": "Como responsable de la gestión de licencias, necesito confirmar qué información se ha incluido en el expediente de solicitud de licencia de implantación del local situado en c/ Tte. Gral. Muslera, Parques de Ceuta Fase I, B-7-A. ¿Cuál es la actividad que se pretende ejercer?", "source_id": "Boletin_Oficial_Ceuta" } ### 数据字段（Schema） | 字段名 | 类型 | 描述 | | :------------ | :----- | :----------------------------------------------------------------------------------------------- | | `id_chunk` | 字符串 | 篇章/文本块单元的唯一标识符（文档分段）。 | | `id_document` | 字符串 | 源文档的标识符（用于将文本块分组）。 | | `passage` | 字符串 | 用作`query`上下文依据的篇章文本。 | | `character` | 字符串 | 提问的角色身份。 | | `type` | 字符串 | 由生成管道定义的问题类型/类别（例如，事实型/定义型/流程型）。 | | `difficulty` | 字符串 | 问题对应的目标教育层级，取值为`high_school`、`university`或`phd`。 | | `query` | 字符串 | 基于Qwen提示方法从篇章生成/选取的查询问题。 | | `source_id` | 字符串 | 用于筛选与可追溯性的来源标识符（来源/领域/语料库）。 | ### 数据统计 - **总实例数**：317,400个实例。 - **字段数**：共9个（`id_chunk`、`id_document`、`passage`、`character`、`type`、`difficulty`、`query`、`source_id`）。 **按难度的分布（标准标签）**： - `university`：293,857 - `phd`：6,615 - `high_school`：15,313 **按类型的分布（顶级/标准类别）**： - `requirements`：60,448 - `compliance_check`：59,362 - `procedural`：53,241 - `acquire_knowledge`：39,604 - `deadline`：36,911 - `background`：23,743 - `interpretation`：15,716 - `eligibility`：12,855 - `summary`：6,300 - `application_process`：4,739 - `consequences`：2,629 - `clarification`：443 - `keywords`：432 - `yes_or_no`：376 **按来源的分布（主要来源）**： - `Boletin_Oficial_Cantabria`：65,191 - `Boletin_Oficial_Estado`：55,595 - `Boletin_Oficial_Castilla_Y_Leon`：53,590 - `Boletin_Oficial_Canarias`：47,738 - `Registro_Mercantil_Borme`：32,736 - `NORMA`：22,598 - `Boletin_Oficial_Ceuta`：17,431 - `Boletin_Oficial_Junta_Andalucia`：9,196 - `Boletin_Oficial_Provincial_Cordoba`：8,134 - `Biblioteca_Juridica`：2,047 - `Departamento_Seguridad_Nacional`：1,432 - `Boletin_Oficial_Defensa`：1,384 - `Agenda_Urbana_Española`：328 - 其他次要来源（完整明细请参阅原始文件）。 ### 示例用法 python from datasets import load_dataset # 替换为你在Hugging Face上的最终数据集仓库ID ds = load_dataset("SINAI/ALIA-es-legal-administrative-pairs", split="train") print(ds.keys()) print(ds["query"]) print(ds["passage"][:200]) # 按难度层级筛选 university_level = ds.filter(lambda x: x['difficulty'] == 'university') phd_level = ds.filter(lambda x: x['difficulty'] == 'phd') ## 数据集构建 ### 源数据 本数据集衍生自[SINAI/ALIA-es-legal-administrative](https://huggingface.co/datasets/SINAI/ALIA-es-legal-administrative)法律语料库，该语料库整合了法律与行政出版物、官方公报及机构文档。文档被分割为文本块/篇章，并通过`id_document`保留文档级来源信息，通过`id_chunk`保留篇章级来源信息。 ### 数据收集与处理 - 篇章通过文档分割（分块）生成，并通过`id_document`/`id_chunk`关联以实现可追溯性。 - 问题通过ALIA编码器脚本中的Qwen驱动提示管道生成，并附带`type`与`difficulty`等元数据控制项。 - `source_id`支持来源追踪与领域/源级审计。 ### 标注 本数据集主要通过自动或大语言模型辅助生成，而非强制人工标注，但可根据管道配置应用下游过滤/审核流程。 ### 个人与敏感信息 由于底层领域为法律-行政领域（及类似的机构文本来源），实例可能包含源材料中出现的机构、官员、组织或其他实体的名称，根据部署约束可能需要额外过滤。 ## 数据使用注意事项 ### 数据集的社会影响 本数据集可提升法律-行政场景中领域特定检索与问答能力的可及性，助力模型更好地适配专业语域与术语。 ### 偏差讨论 - **领域偏差**：语言风格与词汇均为专业化表达，可能降低跨领域泛化能力。 - **来源偏差**：若某一来源在`source_id`中占比过高，模型可能过度拟合该来源的格式与措辞。 - **难度偏差**：`high_school`、`university`与`phd`层级的分布并不均匀，可能导致模型性能向占比最高的层级倾斜。 ### 其他已知局限 - **数据泄露风险**：若按篇章级别而非文档级别划分数据集，拆分集中可能出现近重复上下文；建议按`id_document`进行拆分。 - **大语言模型 artifacts**：合成问题可能包含与真实用户查询不同的风格模式，生产环境使用前可能需要额外过滤。 - **难度校准**：`high_school`、`university`或`phd`难度层级的分配由模型驱动，可能无法完全贴合人类专家的判断。 ### 引用 bibtex @misc{ALIA-es-legal-administrative-pairs, title={ALIA Spanish Legal and Administrative Pairs Corpus}, author={SINAI Research Group}, year={2026}, publisher={HuggingFace}, howpublished={url{https://huggingface.co/datasets/SINAI/ALIA-es-legal-administrative-pairs}} } ## 资助 本工作由西班牙数字化转型与公共职能部资助，由欧盟——下一代欧盟（NextGenerationEU）在[ALIA](https://alia.gob.es)项目框架下提供支持。 ## 致谢 本数据集的生成得益于[SCAYLE](https://www.scayle.es/)（卡斯蒂利亚-莱昂超级计算中心），其通过CALENDULA超级计算集群提供了所需的计算资源。 --- **联系方式**：[ALIA项目](https://www.alia.gob.es/) - [SINAI研究组](https://sinai.ujaen.es) - [哈恩大学](https://www.ujaen.es/) **更多信息**：[SINAI研究组](https://sinai.ujaen.es) | [ALIA-UJA项目](https://github.com/sinai-uja/ALIA-UJA)
