LEGAL-UQA

该数据集名为LEGAL-UQA，是首个源自巴基斯坦宪法的乌尔都语法律问答数据集，包含了619组问题与答案，每组都附有相应的法律条文上下文。该数据集的特点是包含了英文和乌尔都语的问题、上下文，以及双语的答案。这些数据是通过光学字符识别（OCR）和人工精炼的方式创建的。数据集的规模为619个问答对，其任务类型为问答。The dataset named LEGAL-UQA is the first Urdu-language legal question answering (QA) dataset sourced from the Constitution of Pakistan. It contains 619 question-answer pairs, each accompanied by corresponding legal provision context. This dataset features bilingual (English and Urdu) questions, contexts as well as bilingual answers. The data was created through optical character recognition (OCR) and manual refinement, and its task type is question answering.

搜集汇总

数据集介绍

构建方式

LEGAL-UQA数据集的构建始于对巴基斯坦宪法官方文档的深度解析。英文文本直接取自政府网站，而乌尔都语版本则因以图像形式存在，需借助当前最先进的乌尔都语OCR系统UTRNet进行文本提取。针对OCR输出中偶现的格式与拼写谬误，研究团队利用GPT-4o模型进行精细化校正。随后，依据词数将312条法律条文划分为小、中、大三类，并借助GPT-4模型为每条文生成相应数量的英文问答对，经人工筛选后获得619对高质量数据。最后，通过GPT-4o模型将这些英文问答对翻译为乌尔都语，同时提供乌尔都语语境以维持语言风格的一致性，从而构建出这一平行语料库。

特点

该数据集的核心特色在于其作为首个乌尔都语法律问答资源的开创性地位，精准填补了低资源语言在专业领域NLP资源上的空白。其并行英-乌双语结构不仅支持跨语言研究，更通过按条文划分的上下文索引为检索增强生成（RAG）系统提供了天然基础。数据集涵盖宪法核心权利与义务，兼具基础性与广泛适用性。此外，其生成式问答（Generative QA）属性区别于抽取式数据集，要求模型基于上下文进行抽象性回答，对模型的语义理解与生成能力提出了更高挑战，从而为评估通用大语言模型及领域微调模型提供了严苛的测试基准。

使用方法

LEGAL-UQA数据集可广泛应用于法律领域的自然语言处理研究。研究人员可直接利用其619对问答及对应上下文，对生成式大语言模型进行零样本或少样本评估，衡量其在乌尔都语法律文本上的理解与应答能力。该数据集亦支持微调实验，如论文中对mt5-large-UQA-1.0的微调所示，为适应专业领域提供了基线。同时，其按条文划分的上下文结构使得数据集天然适配RAG框架，可用于训练或评估嵌入模型在法律文档检索中的性能，通过余弦相似度计算问题与上下文嵌入的匹配度。此外，数据集的平行双语特性还可服务于法律文本翻译任务，推动多语言NLP在司法领域的应用。

背景与挑战

背景概述

在自然语言处理领域，资源丰富的语言如英语已取得了显著进展，而低资源语言的NLP应用却长期处于滞后状态，尤其在法律等关键领域，语言壁垒严重阻碍了信息的可及性与司法公正。乌尔都语作为巴基斯坦的国语及全球第十大语言，其法律文本的数字化与智能化处理需求日益迫切，然而此前尚缺乏针对乌尔都语法律领域的问答数据集。2024年，由拉合尔管理科学大学（LUMS）的Faizan Faisal与Umair Yousaf等人共同创建的LEGAL-UQA数据集应运而生。该数据集是首个源自巴基斯坦宪法的乌尔都语法律问答资源，包含619对平行英乌问答对及对应的法律条文上下文，旨在弥合全球NLP进步与本土化应用之间的鸿沟，为巴基斯坦乃至更广泛地区的法律信息获取奠定基础。

当前挑战

LEGAL-UQA数据集面临的挑战是多维度的。从领域问题来看，法律文本具有高度专业性、严谨性与结构性，而乌尔都语作为低资源语言，缺乏大规模、高质量的预训练模型与嵌入表示，导致通用模型在法律问答任务中表现不佳，如微调后的mt5-large模型在准确率与语法正确性上均显著落后于先进通用模型。从构建过程来看，原始乌尔都语宪法文档为图像格式，需依赖乌尔都语OCR技术（如UTRNet）进行文本提取，但OCR输出存在格式错误、拼写错误与句子混乱等问题，需借助GPT-4o进行人工辅助修正；此外，法律条文的自动分节与问答对的生成亦需精细的人工干预与质量筛选，以确保数据的准确性与自然性。

常用场景

经典使用场景

LEGAL-UQA数据集最经典的使用场景是面向低资源语言乌尔都语的宪法法律问答任务。该数据集提供了619对平行英-乌尔都语问答样本，每一对均附有对应的宪法条文作为上下文，适用于生成式问答模型的训练与评估。研究者可借助该数据集构建基于检索增强生成（RAG）的法律聊天机器人，使模型能够理解并回答乌尔都语法律查询，从而填补了乌尔都语在法律NLP领域的资源空白。

解决学术问题

该数据集解决了低资源语言在法律领域缺乏高质量标注数据的学术困境。此前，乌尔都语虽拥有如UQA、UQuAD等通用问答数据集，但均未覆盖法律这一高度专业化的领域。LEGAL-UQA通过人工精炼与GPT-4辅助生成，构建了首个面向巴基斯坦宪法的乌尔都语法律问答资源，为多语言NLP模型在专业领域的迁移学习提供了基准，揭示了通用模型（如mT5）在适应法律文本时的挑战，推动了低资源语言法律信息抽取研究的发展。

衍生相关工作

LEGAL-UQA的发布催生了多项衍生工作。研究者可基于该数据集微调多语言预训练模型（如mT5），探索低资源法律文本的生成质量优化；其文章级分块结构也促进了检索增强生成（RAG）框架在法律聊天机器人中的适配。此外，该数据集为评估通用大语言模型（如Claude-3.5-Sonnet、Gemini）在法律领域的表现提供了测试床，并启发了后续在刑法、民法等子领域扩展数据集的研究，形成从宪法到全面法律覆盖的演进路径。