MILPaC (Multilingual Indian Legal Parallel Corpus)

MILPaC是由印度理工学院卡拉格普尔分校创建的多语言印度法律平行语料库，包含17,853个平行文本对，涵盖英语和九种印度语言。该数据集精心编译自印度法律信息的可靠来源，包括印度-雅利安语系和达罗毗荼语系的语言。MILPaC旨在评估机器翻译系统在将英语法律文本翻译成各种印度语言或印度语言之间的表现，也可用于跨语言问答等其他NLP任务。数据集的应用领域是解决印度司法系统中语言障碍问题，提高印度人口对法律文本的可访问性。

MILPaC is a multilingual Indian legal parallel corpus developed by the Indian Institute of Technology Kharagpur. It comprises 17,853 parallel text pairs covering English and nine Indian languages, carefully compiled from reliable sources of Indian legal information and spanning languages from both the Indo-Aryan and Dravidian language families. MILPaC is designed to evaluate the performance of machine translation systems when translating English legal texts into various Indian languages or between different Indian languages, and can also be applied to other NLP tasks such as cross-lingual question answering. The dataset aims to address language barriers within India's judicial system and improve legal text accessibility for the Indian population.

搜集汇总

数据集介绍

构建方式

MILPaC数据集的构建基于三个精心挑选的高质量子集：MILPaC-IP、MILPaC-CCI-FAQ和MILPaC-Acts。MILPaC-IP源自印度一所知名法学院发布的知识产权普法手册，这些手册以英语和九种印度语言编写，包含约57个问答对，通过PDF文本提取和正则表达式对齐。MILPaC-CCI-FAQ取自印度竞争委员会发布的常见问题解答手册，涵盖英语和四种印度语言，每本手册含184个问答对，利用OCR技术（Google Vision）提取文本，并依据问题编号进行对齐。MILPaC-Acts则从印度立法机构网站获取的十部法律法案中构建，这些法案的英语和印度语言版本经OCR提取后，通过段落和章节编号进行人工辅助对齐，以确保平行语料的准确性。

特点

MILPaC数据集具有三大显著特点。首先，它是首个覆盖印度法律领域的多语言平行语料库，包含英语与九种印度语言（包括印欧语系和达罗毗荼语系中的低资源语言）的对齐文本，填补了法律翻译评估的空白。其次，数据集来源权威可靠，所有文本均来自印度政府官方或知名法律机构的翻译，并经法学学生人工验证，平均94%的文本对获得4分以上（满分5分）的高质量评价。此外，MILPaC的三个子集在文本复杂度上呈现梯度分布：MILPaC-Acts语言最为正式复杂，适合高级法律文本评估；MILPaC-CCI-FAQ难度适中；MILPaC-IP则更简洁易懂，便于普及应用。

使用方法

MILPaC数据集主要用于评估机器翻译系统在法律文本上的表现，尤其是英语到印度语言的翻译。用户可直接将待评估的翻译系统（如Google Translation、Microsoft Azure、IndicTrans等）的输出与数据集中的参考译文进行对比，使用BLEU、GLEU、chrF++等自动评估指标量化性能。此外，数据集还可用于微调翻译模型，如基于IndicTrans的微调实验显示，在20%测试集上BLEU分数提升显著。MILPaC也支持印度语言之间的翻译评估，例如通过直接翻译或借助英语作为中介语言进行对比。同时，其问答对结构还可应用于跨语言问答等自然语言处理任务。

背景与挑战

背景概述

在印度司法体系中，由于历史原因，绝大多数法律文本以复杂的英文撰写，然而仅有约10%的印度人口能够熟练阅读英文，这一语言鸿沟严重阻碍了普通民众获取司法公正的途径。为弥合这一差距，印度理工学院卡哈拉格普尔分校的研究团队Sayan Mahapatra、Debtanu Datta等人于2023年创建了MILPaC（多语种印度法律平行语料库），该数据集涵盖英语及九种印度语言（包括多种低资源语言），旨在为法律文本的机器翻译提供首个高质量评估基准。MILPaC的发布填补了印度法律领域平行语料库的空白，为评估和改进现有机器翻译系统在司法场景中的表现提供了关键资源，对推动印度司法可及性具有深远影响。

当前挑战

MILPaC数据集面临的核心挑战在于法律文本翻译的领域特殊性：法律语言要求极高的正式性与无歧义性，现有机器翻译系统在翻译时频繁出现术语误译、未译片段及一致性错误，难以满足司法起草的严谨需求。此外，语料库构建过程亦充满困难，例如印度法律法案的PDF扫描件质量参差不齐，存在老旧字体、字符磨损及多栏排版问题，导致光学字符识别（OCR）准确率低下，需大量人工校正；同时，不同语言间的文本对齐因文档结构差异而异常耗时，约9.2%的文本单元因无法准确对齐而被舍弃。这些挑战凸显了提升法律领域机器翻译性能与构建高质量平行语料库的迫切性。

常用场景

经典使用场景

在印度司法体系中，绝大多数法律文本因历史原因以复杂英文撰写，而仅有约10%的印度人口能够流畅阅读英文，这构成了普通民众获取司法正义的巨大语言鸿沟。MILPaC数据集应运而生，其最经典的使用场景在于评估机器翻译系统将英文法律文本译至九种印度语言（包括印地语、孟加拉语、马拉地语、泰米尔语、泰卢固语、马拉雅拉姆语、旁遮普语、奥里亚语和古吉拉特语）的性能。通过提供高质量、经法律专家验证的平行语料，该数据集为衡量商业翻译系统、开源翻译模型及大型语言模型在法律领域的翻译质量提供了标准化基准，尤其聚焦于低资源语言的翻译效果评估。

实际应用

在实际应用中，MILPaC数据集直接服务于印度司法体系中的语言无障碍建设。通过精准评估机器翻译质量，该数据集助力法律机构（如印度竞争委员会、立法部门）优化翻译流程，将英文法律条文、FAQ手册及法案高效转化为各地方语言版本，使非英语母语者、尤其是经济弱势群体能够理解法律文件。此外，该数据集支持“人在回路”的翻译工作流：机器首先生成草稿，再由法律专家修正，从而加速诉讼进程并降低司法成本。其应用还延伸至跨语言法律问答系统开发，为印度多语言社会的司法可及性提供了技术支撑。

衍生相关工作

MILPaC数据集衍生了一系列重要的后续研究工作。基于该语料，研究者对IndicTrans等开源翻译模型进行了领域微调，实验表明微调后的模型在法律文本翻译上取得显著性能提升，验证了该数据集在迁移学习中的价值。此外，该工作激发了针对法律翻译中术语一致性与正式度（Suitability for Legal Use）的专项研究，推动了面向低资源印度语言的翻译错误分析（如未翻译片段、法律术语误译等）。在更广泛的层面，MILPaC促进了印度法律NLP领域的基准建设，启发了后续关于跨语言法律信息检索、多语言法律摘要等任务的数据集开发与模型评估工作。