deka_retrival

dika-quad 是一个泰语最高法院（Deka）案例检索数据集，旨在支持法律文本检索与重排序任务。数据集模拟真实法律场景，用户或律师需要根据查询检索相关的历史判例。数据集包含三个核心部分：1) 语料库（corpus）：包含10,007个泰国最高法院案例，每个案例具有唯一ID、案件代码、详细文本描述以及元数据（如年份、涉及罪名、法律条文）。2) 查询集（queries）：包含1,183个查询，分为训练集（883个）和测试集（300个）。每个查询提供两种表述形式：user_query（使用通俗泰语，简短无专业术语）和lawer_query（使用详细叙述性专业语言）。查询附带元数据，如案件编号、年份和分割标识。3) 标签集（labels）：为每个查询提供相关案例的四象限相关性标签，包括easy_pos（相同罪名/条文，问题高度相关）、hard_pos（条文相近但事实或结果不同）、hard_neg（事实相似但罪名不同）和easy_neg（完全不相关），并附有LLM生成的判断理由。标签还指示了数据是自动挖掘的（mined）还是人工标注的。数据集设计用于评估检索模型在处理不同查询长度（用户查询中位长度49字符，律师查询305字符）和时间偏移（语料案例集中于2550-2563年，查询集中于2563-2569年）时的鲁棒性。数据分割确保训练集和测试集在不同案件类型（犯罪空间）间无泄露。通过提供的加载脚本，数据集可以方便地转换为BEIR标准格式（qrels）、用于双编码器训练的三元组（query, positive, negative）或用于交叉编码器训练的对（query, candidate, score）。Deka-Quad is a Thai Supreme Court (Deka) case retrieval dataset aimed at supporting legal text retrieval and re-ranking tasks. This dataset simulates real-world legal scenarios, where users or lawyers need to retrieve relevant historical legal precedents based on given queries. The dataset consists of three core components: 1) Corpus: It contains 10,007 Thai Supreme Court cases, each with a unique ID, case code, detailed textual description, and metadata (e.g., case year, alleged offenses, applicable legal provisions). 2) Queries: It includes 1,183 queries, split into a training set (883 samples) and a test set (300 samples). Each query has two versions: `user_query` (in colloquial Thai, short and free of professional jargon) and `lawyer_query` (in detailed, narrative professional legal language). Queries are accompanied by metadata such as case number, year, and split identifier. 3) Labels: For each query, four-quadrant relevance labels for associated cases are provided, including `easy_pos` (highly relevant with identical charges or legal provisions), `hard_pos` (with closely related legal provisions but differing facts or case outcomes), `hard_neg` (with similar facts but different charges), and `easy_neg` (completely irrelevant). Each label is paired with justifications generated by an LLM. Additionally, labels indicate whether the corresponding data was automatically mined or manually annotated. This dataset is designed to evaluate the robustness of retrieval models when handling varying query lengths (median length of 49 characters for user queries, 305 characters for lawyer queries) and temporal shifts (corpus cases are predominantly from 2550–2563 BE, while queries span 2563–2569 BE). The data split ensures no data leakage across different case types (crime spaces) between the training and test sets. With the provided loading scripts, the dataset can be readily converted into BEIR-standard formats (qrels), triplets for dual-encoder training (query, positive, negative), or pairs for cross-encoder training (query, candidate, score).

原始信息汇总

数据集概览

数据集名称：dika-quad — Thai Supreme Court (Deka) Case Retrieval （泰国最高法院案例检索数据集）

语言：泰语（th）

许可协议：其他（other）

任务类型：文本检索（text-retrieval）

数据集规模：1,000 < n < 10,000

标签：法律（legal）、泰语（thai）、检索（retrieval）、重排序（reranking）

---

数据文件与结构

数据集包含三个配置文件（config），每个对应一个JSONL文件：

文件	数量	数据模式（Schema）
corpus.jsonl	10,007 条案例	_id, deka_code, long_text, metadata{year, crimes[], laws[]}
queries.jsonl	1,183 条查询（训练集883条，测试集300条）	_id, user_query, lawer_query, metadata{deka_no, year, split}
labels.jsonl	每条查询对应1条标签，包含4个象限及原因	query_id, split, mined, easy_pos[], hard_pos[], hard_neg[], easy_neg[]（每个候选包含 candidate_id, deka, score, why）

• user_query：平民语言，简短，无法律术语（casual）
• lawer_query：叙述性，有细节（narrative）

---

象限评分规则（Quadrant → Score）

象限	含义	分数
easy_pos	罪名/法条相同，议题相近	2
hard_pos	法条相近但事实/结果不同	1
hard_neg	事实相似但罪名不同	0
easy_neg	完全不相关	0

---

使用方式

方式一：通过 huggingface_hub 下载并加载

python from huggingface_hub import snapshot_download path = snapshot_download("PBuakhaw/deka_retrival", repo_type="dataset") sys.path.insert(0, path) from load import load_corpus, load_queries, load_qrels, load_triplets, load_pairs

corpus = load_corpus() queries = load_queries("test", register="user") qrels = load_qrels("test") triplets = load_triplets("train") pairs = load_pairs("train")

方式二：直接使用 datasets 库

python from datasets import load_dataset corpus = load_dataset("PBuakhaw/deka_retrival", data_files="corpus.jsonl", split="train") queries = load_dataset("PBuakhaw/deka_retrival", data_files="queries.jsonl", split="train") labels = load_dataset("PBuakhaw/deka_retrival", data_files="labels.jsonl", split="train")

---

使用前需知的四个要点（EDA）

1. 挖掘（Mining）覆盖情况

• 925/1,183 条查询（78%）被挖掘成功（mined:true）
• 训练集几乎全覆盖（881条），测试集仅约44条有对应标签
• 测试集上的检索指标不稳定，需谨慎使用

2. 时间偏移（Temporal Shift）

• 语料库密集集中在佛历2550–2563年
• 查询集中在佛历2563–2569年
• 两者仅在佛历2563年有重叠，任务本质是用旧判例匹配新案件

3. 两种查询长度差异（2 Register）

• user_query 中位数长度：49 个字符
• lawer_query 中位数长度：305 个字符
• 两者长度相差约6倍，可用于测试模型对短查询与长查询的鲁棒性

4. 数据集划分无泄漏（No Leak）

• 犯罪空间分为8个案件类别
• 当前划分方式中训练集和测试集混合了所有类别，不存在数据泄漏
• 但测试集在各类别中的比例不完全均匀（19%–39%），建议按类别分别评估指标

---

报告与复现

• 完整EDA报告：EDA.md
• 复现代码：python eda.py

搜集汇总

数据集介绍

构建方式

deka_retrival数据集基于泰国最高法院（Deka）的判例构建，旨在支持法律文本检索任务。语料库包含10,007个案例，每个案例以JSONL格式存储，包含唯一标识符、案例代码、长文本描述以及元数据（如年份、罪名和法律条文）。查询集共1,183条，分为训练集（883条）和测试集（300条），每条查询包含用户查询（通俗口语化表达）和律师查询（详细叙述性表达）两种注册形式，以模拟不同专业水平的检索需求。标签集为每个查询标注了四个象限的候选案例（easy_pos、hard_pos、easy_neg、hard_neg），并附有LLM法官的评分理由。

特点

该数据集的核心特点在于其精细的四象限标注机制：easy_pos表示同一法律条文下事实相近的案例（得分为2），hard_pos为相近条文但事实或结果不同的案例（得分1），hard_neg表示事实相似但罪名不同的案例（得分0），easy_neg则完全无关（得分0）。此外，数据集呈现明显的时序偏移特征，语料库集中于2550–2563年，而查询集分布于2563–2569年，模拟了从旧判例中检索新案件的场景。两种查询注册方式的词长度差异达6倍（用户查询中位数49字符，律师查询中位数305字符），可用于评估模型对短文本与长文本的鲁棒性。

使用方法

用户可通过HuggingFace提供的snapshot_download函数下载数据集，并利用load.py脚本加载为多种格式：load_corpus()返回词典形式的语料库，load_queries()支持按注册类型（user/lawer）和数据集划分（train/test）提取查询文本，load_qrels()生成BEIR兼容的qrels字典，而load_triplets()和load_pairs()分别输出用于双编码器（triplet loss）和交叉编码器（pairwise scoring）的训练数据。也可直接通过datasets库加载JSONL文件，分别读取corpus、queries和labels表。需注意测试集标签仅44条查询经过标注，整体指标可能波动，建议按犯罪类型（8个罪案组）分项评估以获取可靠性能度量。

背景与挑战

背景概述

deka_retrival（亦称 dika-quad）数据集由研究者 PBuakhaw 于近期创建，旨在服务于泰语法律领域的文本检索任务，尤其是泰国最高法院（Deka）判例的检索与重排序。该数据集聚焦于弥合普通公众与法律专业人士在查询表述上的鸿沟，通过提供两种注册风格（简洁的平民语言与详尽的法律叙事）的查询，推动了跨领域查询与判例匹配的研究。其核心研究问题在于如何在时间跨度大、罪名体系复杂的情境下，从万余条历史判例中精准定位与当前查询相关的法律依据。该数据集的发布为低资源语言法律信息检索提供了宝贵的基准，有望推动泰语自然语言处理在司法辅助系统中的应用。

当前挑战

该数据集面临的首要领域挑战在于法律检索的语义鸿沟：平民查询简短且缺乏专业术语，而法律判例语言冗长且依赖特定法条，两者间的表征对齐极为困难。此外，时间错位问题显著——语料库集中于佛历2550至2563年，而查询则分布在2563至2569年，编码器需具备跨时间维度的泛化能力以应对法条修订与判例演变。构建过程中，人工标注成本高昂，导致测试集仅44条查询具有有效标签，造成评估指标波动较大；同时，犯罪类型（crime space）在训练集与测试集中分布不均（19%至39%），需按罪名分拆评估以避免偏差。这些挑战共同构成了推动更鲁棒、更公平法律检索模型研发的关键瓶颈。

常用场景

经典使用场景

在泰国的司法体系中，最高法院判例（Deka）是下级法院审理案件的重要参考依据。deka_retrival数据集的核心用途在于构建面向法律文本的检索与重排序系统。该数据集提供了超过一万条泰语最高法院判例作为语料库，以及近一千二百条涵盖普通人用语与律师专业叙事的双注册查询，每条查询均附带四象限标注的候选判例及其相关性分数。这一设计使得研究者能够训练并评估从双编码器到交叉编码器的各类检索模型，实现从非专业查询到精准判例匹配的全流程优化。

实际应用

在法律实务的广阔天地间，deka_retrival数据集孕育着极具价值的应用场景。法律从业者或公众用户输入简短的自然语言描述后，系统可快速从数十年的最高法院判例库中召回最相关的先例，极大提升法律研究效率。更为精细的应用体现在诉讼策略制定阶段：检索模型能够依据不同象限的得分，区分具有直接法律效力的强相关判例与仅事实相似的弱相关判例，辅助律师构建更有力的论证逻辑，同时为法院统一法律适用提供技术支撑。

衍生相关工作

该数据集的发布催生了法律人工智能领域的多项经典探索。基于其四象限标注方案，研究者开发出细粒度的法律判例相关度评估基准，推动了从二元相关判断向多维相关度建模的转变。此外，数据集中用户查询与律师查询的双轨设计，启发了面向不同使用者角色的个性化法律检索系统研究。其加载模块内置的BEIR格式转换功能，使得该数据集无缝融入主流检索评测框架，为跨语言法律检索和多模态法律文档分析等工作奠定了坚实的基础。