PLAT

PLAT数据集由首尔大学的研究团队构建，旨在评估大型语言模型在税收领域的理解能力。该数据集包含50个案例，均来源于韩国关于追加税收处罚的判例，要求模型不仅理解税法条文，还需深入理解具体法律问题的情境和背景。数据集通过专家评审确保质量，覆盖了追加税收处罚的合法性与否两种情况，是评估模型在复杂法律问题理解上的重要资源。The PLAT dataset was developed by a research team from Seoul National University to evaluate the comprehension capabilities of large language models (LLMs) in the tax domain. This dataset contains 50 cases all sourced from South Korean judicial precedents concerning additional tax penalties. It requires models to not only understand the statutory provisions of tax laws but also gain an in-depth comprehension of the context and background of specific legal issues. The quality of the dataset is guaranteed through expert review, and it covers two scenarios regarding the legality of additional tax penalties, serving as a critical resource for evaluating models' understanding of complex legal problems.

搜集汇总

数据集介绍

构建方式

PLAT数据集的构建旨在评估大型语言模型（LLMs）在税收领域的预测能力，特别是对于额外税收处罚合法性的预测。数据集的构建过程包括从韩国法律搜索引擎LBox收集相关的先例，并使用GPT-o1模型从这些先例中提取事实和主张。经过两轮由税法专家进行的评估，最终形成了包含50个问题的数据集，其中25个案例被认为是可辩解的，25个案例则不被认为是可辩解的。每个案例都经过了大约30-40分钟的评估，总共耗时25-33小时。

特点

PLAT数据集的特点在于其问题无法仅通过引用税法条文来回答，而是需要深入理解税法以及具体案例的相关法律和情境因素。数据集的设计使得LLMs在评估额外税收处罚的合法性时，必须展现出对复杂情况的全面理解能力，而不仅仅是简单地参照相关税法条文。此外，数据集中的案例均来源于韩国的先例，反映了税收领域的实际复杂性，这对于LLMs在税收领域的应用研究具有重要意义。

使用方法

使用PLAT数据集时，首先需要了解数据集中包含的50个案例，这些案例均涉及额外税收处罚的合法性。研究者可以运用LLMs对这些案例进行分析，判断额外税收处罚是否合法。为了评估LLMs的性能，研究者可以计算LLMs在数据集上的准确率、召回率和F1分数。此外，研究者还可以通过引入检索增强、自我推理和多代理协作等功能，来提升LLMs在PLAT数据集上的性能。

背景与挑战

背景概述

PLAT数据集的研究背景主要源于对大型语言模型（LLMs）在税务领域应用能力的评估需求。尽管LLMs在法律领域的应用已有所探索，但针对税务领域的研究相对较少。现有研究中使用的数据集要么过于简化，未能反映现实世界的复杂性，要么未作为开源资源公开。为了填补这一空白，研究人员提出了PLAT数据集，旨在评估LLMs预测额外税收处罚合法性的能力。PLAT数据集的设计旨在评估LLMs对税法的理解程度，特别是在需要超越单纯应用相关法规的案例中。PLAT数据集的创建时间是在2025年，由首尔大学和LBOX的研究团队共同开发。该数据集对相关领域的影响力体现在为LLMs在税务领域的应用提供了新的评估基准，有助于推动LLMs在税务领域的进一步研究和应用。

当前挑战

PLAT数据集相关的挑战主要包括：1)所解决的领域问题的挑战，即LLMs在预测额外税收处罚合法性方面存在能力限制，尤其是在处理需要综合理解的冲突问题时；2)构建过程中所遇到的挑战，如数据集的构建需要大量的人工审查和专业评估，以确保数据的准确性和可靠性。此外，LLMs在处理复杂法律案例时的准确性和可靠性也是一项挑战，需要进一步研究和改进。

常用场景

经典使用场景

PLAT数据集主要被用于评估大型语言模型（LLMs）在税收领域的能力，尤其是预测额外税收罚款的合法性。该数据集的构建是为了评估LLMs对税法的理解，特别是在解决问题时需要超越相关法规的应用。PLAT数据集的引入为LLMs在税收领域的研究提供了新的视角，有助于推动LLMs在该领域的应用和发展。

实际应用

PLAT数据集的实际应用场景主要集中在税收领域的决策支持。通过评估LLMs对税法的理解能力，PLAT数据集可以帮助税收部门更准确地判断额外税收罚款的合法性，从而提高税收执法的效率和公正性。此外，PLAT数据集还可以用于培训税收专业人员，提高他们的法律知识和决策能力。

衍生相关工作

PLAT数据集的引入为LLMs在税收领域的研究提供了新的视角，并衍生出了一系列相关的工作。例如，研究者们可以通过扩展PLAT数据集，引入更多类型的税收案例，来评估LLMs在更广泛的税收问题上的能力。此外，还可以通过改进LLMs的推理和决策能力，使其能够更好地处理税收领域的复杂案例。