unjudged-nepali-legal-data-v7-instruct-test

该数据集是一个尼泊尔语源文档锚定的合成指令微调数据集，当前标记为未判定（UNJUDGED）。它使用 NVIDIA NeMo Data Designer 从权威尼泊尔语文档生成，文档类型包括农业手册和法律文本，目标是构建与源文档紧密关联的尼泊尔语指令数据。数据中的回答严格基于源文档内容；对于无法回答的问题，数据会给出明确拒绝。记录采用 chat messages 格式，并附带 metadata 以及逐记录的 quality_scores。质量评分包括 grounding（源文档锚定）、correctness（正确性）和 naturalness（自然度），分值范围为 1-5，由 LLM-as-judge 评判。数据集按源文档组织，每个源文档对应一个 data/train-<shard>.jsonl 分片；重复运行时这些分片会以幂等方式覆盖。数据集语言为尼泊尔语（ne），任务类别为文本生成，标签涉及尼泊尔语、指令微调、农业、法律、合成、源锚定。注意事项：部分生成对话的 LLM 评判调用失败，导致其 quality_scores 为 null；使用前必须重新评判，且不应直接用于指令微调。This dataset is a Nepali source-document-grounded synthetic instruction fine-tuning dataset, currently marked as UNJUDGED. It was generated from authoritative Nepali documents, including agricultural manuals and legal texts, using NVIDIA NeMo Data Designer, aiming to build Nepali instruction data tightly linked to source documents. Answers in the data are strictly based on source document content; for questions that cannot be answered, the data provides an explicit refusal. Records use the chat messages format and include metadata and per-record quality_scores. The quality scores include grounding (source-document grounding), correctness, and naturalness, with values from 1 to 5, judged by LLM-as-judge. The dataset is organized by source document, with each source document corresponding to one data/train-<shard>.jsonl shard; repeated runs overwrite these shards idempotently. The dataset language is Nepali (ne), the task category is text generation, and the tags involve Nepali, instruction fine-tuning, agriculture, law, synthetic, and source-grounded. Note: some LLM judge calls for generated conversations failed, causing their quality_scores to be null; before use, they must be re-judged, and the data should not be directly used for instruction fine-tuning.

原始信息汇总

数据集概述

• 数据集页面：https://huggingface.co/datasets/aarajbhattarai/unjudged-nepali-legal-data-v7-instruct-test
• 数据集名称：aarajbhattarai/unjudged-nepali-legal-data-v7-instruct-test
• 标题：Nepali Source-Grounded Instruction Dataset — UNJUDGED

基本属性

• 语言：ne
• 任务类别：text-generation

标签

• nepali
• instruction-tuning
• agriculture
• legal
• synthetic
• grounded

数据生成与组成

• 合成尼泊尔语指令微调数据。
• 使用 NVIDIA NeMo Data Designer 从权威尼泊尔语文档生成，来源文档包括农业手册和法律文本。
• 答案严格基于来源；不可回答问题会获得明确拒答。
• 记录使用聊天 messages 格式，并包含 metadata。
• 每条记录包含 quality_scores：grounding / correctness / naturalness，评分范围 1-5，由 LLM-as-judge 产生。
• 每个源文档对应一个 JSONL 分片文件，分片文件名模式为 train-<shard>.jsonl；重新运行时分片会幂等覆盖。

质量与使用警告

• LLM-judge 调用失败的生成对话，其 quality_scores 为 null。
• 任何使用前需重新评判。
• 不要按原样用于指令微调。

搜集汇总

数据集介绍

构建方式

置身于尼泊尔语低资源自然语言处理与法律、农业专业文本智能化的交汇语境，该数据集以源文档锚定与合成指令生成为基本路线。其构建依托 NVIDIA NeMo Data Designer，从权威尼泊尔语农业手册与法律文本中生成对话式指令数据，答案严格限定于源文档内容，遇到不可回答的问题则以显式拒绝回应。数据按源文档切分为 data/train-<shard>.jsonl，重复运行会以幂等方式覆盖分片。每条记录采用 chat messages 格式，并附 metadata 与逐条 quality_scores，后者涵盖 grounding、correctness、naturalness 三个维度，由 LLM-as-judge 以 1 至 5 分评定；评判调用失败的生成对话质量分数为空。

特点

面向尼泊尔语指令微调与源接地文本生成的研究需求，该数据集的突出特质体现为语言、领域与质量控制的多重交织。其语料以尼泊尔语为唯一语言，覆盖农业与法律等专业场景，兼具 synthetic 与 grounded 属性，强调模型回答须受权威源文档约束，对无法从源文得到依据的问题则输出明确拒答。记录采用聊天消息结构，辅以 metadata 和逐条质量评分，便于溯源与细粒度审查。分片式 jsonl 组织使每个源文档形成独立训练块，重复生成可保持覆盖一致性。需要留意的是，部分生成对话因 LLM 评判失败而缺失 quality_scores，故该数据集不宜原样用于指令调优。

使用方法

聚焦于尼泊尔语专业文本智能处理的实际调用场景，该数据集适合作为尼泊尔语源接地指令生成、法律与农业问答系统评测以及合成数据质量审查的研究素材。研究者可读取 data/train-<shard>.jsonl 各分片，解析 chat messages 字段以获得对话上下文，结合 metadata 追溯源文档信息，并利用 quality_scores 中的 grounding、correctness、naturalness 维度进行样本筛选或加权。由于部分生成对话的 LLM 评判调用失败，quality_scores 为空，使用前必须重新评判；在未完成质量修复与过滤之前，不应将其直接用于指令微调。更稳妥的路径是重评后保留高分样本，或先修复空评分记录再开展训练与评估。

背景与挑战

背景概述

在低资源语言处理与垂直领域适配交汇的语境下，unjudged-nepali-legal-data-v7-instruct-test 是一个面向尼泊尔语的源锚定指令数据集，由 NVIDIA NeMo Data Designer 从农业手册、法律文本等权威尼泊尔语文档合成生成。其核心研究问题在于，如何借助严格依据源文档的合成问答，为尼泊尔语法律与农业场景构建可评估的指令数据，并以显式拒答机制抑制无依据回答。记录采用聊天消息格式，附元数据与源依据性、正确性、自然度质量评分，按源文档分片存储。当前公开版本聚焦于 LLM 评判调用失败的生成对话，其 quality_scores 为空；创建时间与主要研究人员或机构未在说明中披露，需重新评判后方可使用，对尼泊尔语领域评测具有候选资源意义。

当前挑战

该数据集面对的领域难题在于尼泊尔语语料稀缺、法律与农业术语高度专业，且指令数据需同时保障源依据、答案正确、表达自然与不可答问题的拒答校准，避免模型产生无依据幻觉。构建过程中的挑战亦较突出：合成流程依赖 LLM 评判质量，评判调用失败会直接导致 quality_scores 缺失，使用前必须重新评判；分片按源文档生成并在重复运行时幂等覆盖，要求维持版本一致与可追溯；质量维度需在忠实源文与可泛化教学之间取得平衡，法律文本的严谨性和农业手册的实操性更提高难度。当前版本被明确标记为不宜直接用于指令微调，说明数据清洗、评分修复与可用性验证仍是关键挑战。

常用场景

经典使用场景

在尼泊尔语低资源自然语言处理与法律、农业知识智能化的交汇处，该数据集最经典的用途在于承载源接地合成指令数据的生成质量评估与诊断。其记录采用聊天消息格式，并附带元数据与逐条质量评分，评分维度涵盖 grounding、correctness 与 naturalness。研究者可由权威尼泊尔语法律文本和农业手册出发，检验模型能否生成严格依托来源的回答，并对不可回答问题输出显式拒答。由于该版本属于测试集，部分样本的质量评分缺失，使用前需重新调用 LLM-as-judge 进行评判，故其经典场景并非直接指令微调，而是作为数据管线审计、源接地验证与拒答行为评测的试验平台。

衍生相关工作

围绕尼泊尔语源接地指令数据的构建与评测，该数据集衍生出若干相关经典工作方向。其基于 NVIDIA NeMo Data Designer 的合成流程，推动了从权威法律与农业文档自动生成问答对、元数据和逐条质量分数的管线研究。LLM-as-judge 对 grounding、correctness、naturalness 的评分实践，促进了低资源语言合成数据质量控制的基准化探索。显式拒答设计则关联到知识边界识别、安全对齐与检索增强生成中的忠实性评估。分片式 jsonl 与幂等覆盖机制亦为可复现数据工程提供参考。UNJUDGED 系列后续版本、尼泊尔语法律农业评测任务及源接地对话生成方法，均可视为其延伸。

数据集最近研究

最新研究方向

在尼泊尔语低资源法律与农业智能处理加速演进的背景下，unjudged-nepali-legal-data-v7-instruct-test所代表的源接地指令合成范式正成为可信多语言模型研究的前沿。当前方向聚焦于权威文档驱动的尼泊尔语指令生成、不可回答问题显式拒答的行为校准，以及基于LLM-as-judge的接地性、正确性与自然度重判。由于部分记录质量分缺失且明确不宜直接用于微调，近期研究转向先重判再筛选，结合源证据一致性验证与数据清洗，探索其在法律问答、农业咨询、检索增强生成和幻觉抑制评测中的价值。该数据集为尼泊尔语可信AI、法律普惠与农业信息服务提供了稀缺资源，亦推动低资源语言对齐与评测基准建设。