LEGALSEMI

LEGALSEMI是由蒙纳士大学马来西亚分校信息科技学院开发的专门针对法律场景分析的数据集，包含54个法律场景，每个场景均由法律专家基于IRAC（问题、规则、应用、结论）框架严格标注。数据集还附带一个结构化知识图谱（SKG），用于支持法律概念、法院案例和法律规则的关联分析。该数据集旨在通过提供高质量的法律数据，增强大型语言模型在法律推理任务中的表现，特别是在马来西亚合同法领域。

LEGALSEMI is a specialized dataset for legal scenario analysis, developed by the School of Information Technology at Monash University Malaysia. It contains 54 legal scenarios, each of which has been strictly annotated by legal experts based on the IRAC (Issue, Rule, Application, Conclusion) framework. The dataset also includes a Structured Knowledge Graph (SKG) to support relational analysis of legal concepts, court cases and legal rules. This dataset aims to enhance the performance of Large Language Models (LLMs) in legal reasoning tasks, particularly in the domain of Malaysian contract law, by providing high-quality legal data.

搜集汇总

数据集介绍

构建方式

LEGALSEMI数据集的构建基于马来西亚合同法，涵盖了54个法律场景，每个场景均由法律专家根据IRAC（Issue, Rule, Application, Conclusion）框架进行严格标注。数据集的构建过程包括从法律教材和法规中自动提取语义信息，构建结构化知识图谱（SKG），并通过法律学生和初级律师的协作完成场景选择和IRAC分析。数据集的构建不仅扩展了现有的法律场景数量，还引入了新的标注类型，如法律概念和法院案例，以支持复杂的法律推理任务。

使用方法

LEGALSEMI数据集的使用方法主要包括法律场景的IRAC分析和结构化知识图谱的应用。用户可以通过数据集中的法律场景进行问题识别、规则检索、法律应用和结论生成的实验。SKG的引入使得用户能够在法律推理过程中利用外部知识，提升模型的推理能力和准确性。数据集还支持对法律概念的识别和规则检索的实验，帮助用户评估模型在法律推理任务中的表现。通过结合IRAC框架和SKG，LEGALSEMI为法律推理研究提供了一个全面的基准测试平台。

背景与挑战

背景概述

LEGALSEMI数据集由Monash University的研究团队于2024年推出，旨在解决大语言模型（LLMs）在法律推理中的局限性。该数据集专注于马来西亚合同法，包含54个法律场景，每个场景均基于IRAC（Issue, Rule, Application, Conclusion）框架进行详细标注。IRAC框架是法律专业人士广泛使用的问题解决框架，能够帮助识别法律问题、提取相关法律规则并生成法律结论。LEGALSEMI的独特之处在于其伴随的结构化知识图谱（SKG），该图谱从法律教材和立法中自动提取语义信息，增强了LLMs在法律推理中的解释性和准确性。该数据集的推出为法律领域的神经符号推理研究提供了重要资源，并推动了法律AI的发展。

当前挑战

LEGALSEMI数据集面临的挑战主要集中在两个方面。首先，法律推理的复杂性要求模型能够准确识别法律问题、检索相关法律规则并进行细致的法律分析。然而，LLMs在处理法律术语和复杂推理时表现不佳，尤其是在引用法律规则和生成中间推理步骤时容易出错。其次，数据集的构建过程也面临挑战。法律场景的标注需要高度专业化的法律知识，且每个场景的IRAC分析耗时较长，平均需要三小时。此外，法律推理的多样性意味着不同的假设和解释可能导致不同的结论，这进一步增加了标注的复杂性。尽管LEGALSEMI通过引入SKG和详细的IRAC标注部分缓解了这些问题，但如何进一步提升LLMs在法律推理中的准确性和效率仍是未来研究的重点。

常用场景

经典使用场景

LEGALSEMI数据集专为法律场景分析设计，尤其适用于基于IRAC（Issue, Rule, Application, Conclusion）框架的法律推理任务。该数据集包含54个法律场景，每个场景均由法律专家根据IRAC框架进行详细标注，并配备了结构化知识图谱（SKG）。经典的使用场景包括法律问题的分解、规则检索、法律分析的应用以及结论生成。通过结合SKG，LEGALSEMI能够显著提升大型语言模型（LLMs）在法律推理中的表现，尤其是在法律术语的理解和复杂法律问题的处理上。

解决学术问题

LEGALSEMI解决了法律领域中LLMs在法律推理中的两大核心问题：一是LLMs在法律场景分析中常出现的错误结论和中间推理步骤的失误；二是LLMs在引用法律规则时的准确性不足。通过引入结构化知识图谱，LEGALSEMI显著提升了LLMs在问题生成、规则检索和应用分析中的表现。实验结果表明，结合SKG后，LLMs在问题生成质量上提升了21.4%，规则检索的召回率提高了60%，F1分数提升了12%。这些改进为法律推理的自动化和智能化提供了坚实的基础。

实际应用

LEGALSEMI的实际应用场景广泛，尤其在法律教育和法律实践中具有重要价值。在法律教育中，该数据集可用于训练学生使用IRAC框架进行法律分析，帮助他们理解法律问题的分解和推理过程。在法律实践中，LEGALSEMI可用于开发自动化法律分析工具，辅助律师和法官快速识别法律问题、检索相关法律规则，并生成合理的法律结论。此外，该数据集还可用于法律信息检索系统的开发，提升法律文本的理解和检索效率。

数据集最近研究

最新研究方向

近年来，LEGALSEMI数据集在法律推理领域的研究方向主要集中在如何通过结构化知识图谱（SKG）增强大语言模型（LLMs）的法律推理能力。该数据集通过IRAC（Issue, Rule, Application, Conclusion）框架，结合马来西亚合同法中的54个法律场景，提供了丰富的法律概念、法规和案例注释。研究表明，SKG能够显著提升LLMs在问题识别、规则检索和应用生成等任务中的表现，尤其是在法律概念识别和规则检索方面，SKG的引入使得LLMs的召回率和F1分数分别提升了60%和12%。此外，LEGALSEMI还推动了神经符号方法在法律推理中的应用，为未来的法律AI研究提供了重要的基准和资源。

相关研究论文

• Bridging Law and Data: Augmenting Reasoning via a Semi-Structured Dataset with IRAC methodology

  蒙纳士大学马来西亚分校信息科技学院 · 2024年