law-instructions-dataset
收藏资源简介：
该数据集是一个尼泊语源文档约束的指令微调数据集，使用NVIDIA NeMo Data Designer从权威的尼泊尔文档（包括农业手册和法律文本）中合成生成。数据集中问题的回答严格基于源文档内容，对于无法从文档中找到答案的问题，模型会被训练为明确拒绝回答。每条记录采用聊天消息格式，并附带元数据以及针对每条记录的质量评分，包括基础性、正确性和自然性，评分范围为1-5，由LLM作为评判者给出。每个源文档对应一个data/train-<shard>.jsonl文件，多次运行会幂等地覆盖。该仓库为训练仓库，仅包含通过质量门限的记录（基础性>=4, 正确性>=3, 自然性>=3）。
This dataset is a Nepali source-document-constrained instruction fine-tuning dataset, synthetically generated from authoritative Nepali documents (including agricultural manuals and legal texts) using NVIDIA NeMo Data Designer. Answers to questions in the dataset are strictly based on the source document content; for questions that cannot be answered from the document, the model is trained to explicitly refuse to answer. Each record is in chat message format, accompanied by metadata and quality scores for each record, including grounding, correctness, and naturalness, with scores ranging from 1 to 5, given by an LLM as judge. Each source document corresponds to a data/train-<shard>.jsonl file, and multiple runs are idempotently overwritten. This repository is for training and contains only records that pass the quality thresholds (grounding>=4, correctness>=3, naturalness>=3).
Nepali Source-Grounded Instruction Dataset
数据集概述
- 合成尼泊尔语指令微调数据集
- 使用 NVIDIA NeMo Data Designer 生成
- 来源于权威尼泊尔语文档（农业手册、法律文本）
- 答案为严格基于来源的grounded回答
- 无法回答的问题会给予明确拒绝
语言与任务
- 语言：尼泊尔语（ne）
- 任务类别：文本生成（text-generation）
标签
- nepali
- instruction-tuning
- agriculture
- legal
- synthetic
- grounded
数据格式
- 记录使用聊天
messages格式 - 包含
metadata - 每条记录包含
quality_scores（grounding / correctness / naturalness，1-5 分，LLM-as-judge）
数据组织
- 每份来源文档对应一个
data/train-<shard>.jsonl - 分片在重跑时会幂等地被覆盖
质量门槛
- 本仓库为训练仓库（TRAINING repo）
- 记录需通过质量门槛：
- grounding >= 4
- correctness >= 3
- naturalness >= 3
配套仓库
rejected-*：存放未通过质量门槛的记录unjudged-*：存放 judge 调用失败的记录
