perfect-pashto-reasoning-sft

Perfect Pashto Reasoning SFT Dataset 是一个专为普什图语大语言模型（LLM）和AI社区设计的高质量监督微调（SFT）数据集。该数据集基于英文的Magpie-Pro-300K-Filtered数据集构建，旨在提升普什图语模型（如Rawan和Ghanam系列）的深度推理与思维链能力。数据经过原子级、逐行的翻译、高质量过滤（包括MD5哈希去重）、智能分块重组以及严格的自然语言和逻辑流程检查，最终重新格式化为与Hugging Face Alignment Handbook完全兼容的结构。数据集共包含300,000个样本，划分为270,000个训练样本和30,000个测试样本。每个样本采用JSONL格式，包含三个核心字段：`system`（定义模型身份和推理框架）、`instruction`（普什图语用户指令或问题）以及`output`（高质量、流畅的普什图语逻辑回答）。该数据集适用于监督微调、思维链与深度推理、普什图语指令遵循、学术与技术写作以及合成数据生成等任务，并在Apache-2.0许可证下发布，允许商业、学术和研究用途。Perfect Pashto Reasoning SFT Dataset is a high-quality supervised fine-tuning (SFT) dataset specifically designed for Pashto large language models (LLMs) and the AI community. This dataset is constructed based on the English Magpie-Pro-300K-Filtered dataset, aiming to enhance the deep reasoning and chain-of-thought capabilities of Pashto language models such as the Rawan and Ghanam series. The data undergoes atomic-level, line-by-line translation, high-quality filtering including MD5 hash deduplication, intelligent chunking and recombination, as well as strict natural language and logical flow checks, before being finally reformatted into a structure fully compatible with the Hugging Face Alignment Handbook. The dataset contains a total of 300,000 samples, divided into 270,000 training samples and 30,000 test samples. Each sample is in JSONL format and includes three core fields: `system` (defines the model identity and reasoning framework), `instruction` (Pashto user instructions or questions), and `output` (high-quality, fluent Pashto logical responses). This dataset is suitable for tasks such as supervised fine-tuning, chain-of-thought and deep reasoning, Pashto instruction following, academic and technical writing, and synthetic data generation, and is released under the Apache-2.0 license, permitting commercial, academic and research uses.

原始信息汇总

数据集概述

Perfect Pashto Reasoning SFT Dataset 是一个专为普什图语（Pashto）大语言模型设计的高质量监督微调（SFT）与深度推理（Deep Reasoning）数据集。

• 许可证: Apache-2.0
• 任务类别: 文本生成、问答
• 语言: 普什图语 (ps)
• 数据规模: 300,000 条样本（100K < n < 1M）
• 数据集划分:
  • 训练集 (train_sft): 270,000 条
  • 测试集 (test_sft): 30,000 条
• 数据格式: JSONL（兼容 Hugging Face Alignment Handbook）

数据集构建过程

数据集基于 Magpie-Pro-300K-Filtered 构建，经过以下步骤处理：

1. 源头选择: 选用高质量的英文合成推理数据。
2. 原子翻译: 对每对指令和输出进行逐行翻译，确保对齐无误。
3. 高质量过滤: 通过 MD5 哈希去除重复和低质量样本。
4. 分块与重组: 将长回答逻辑分段后，重新组合为流畅文本。
5. 清洗与丰富: 人工和自动检查普什图语的自然性、语法正确性和逻辑流程。
6. 格式重组: 将数据转换为适配 Alignment Handbook 的结构（system, instruction, output 字段）。
7. 训练/测试分割: 按 90%（27万条）和 10%（3万条）划分。

数据记录结构

每条记录包含三个字段：

• system: 模型身份和推理框架描述
• instruction: 用户的普什图语提问或任务
• output: 标准、流畅、高质量的普什图语逻辑回答

示例记录

json { "system": "تاسو یو هوښیار، ریښتینی او مرستندوی پښتو ژبی د ارادې او عمیق استدلال (Reasoning) ماډل یاست.", "instruction": "د ستورپوهنې د ساینس په اړه ځینې په زړه پورې حقایق څه دي؟", "output": "ستورپوهنه یوه په زړه پورې او پراسرار ساینسي برخه ده! ..." }

应用领域

• 监督微调 (SFT)
• 思维链与深度推理 (Chain-of-Thought & Deep Reasoning)
• 普什图语指令跟随
• 学术、技术与创意写作
• 合成数据生成

搜集汇总

数据集介绍

构建方式

该数据集的构建基于Magpie-Pro-300K-Filtered英文合成推理数据集，通过精细的原子翻译策略，将每条指令与输出逐行独立翻译为普什图语，从根源上杜绝索引错位与对齐偏差。随后采用MD5哈希技术进行去重，剔除低质量与重复样本，并通过智能分块与重组逻辑，将冗长回答切分为自然连贯的语义单元。最后，数据被统一重构为与alignment-handbook完全兼容的system、instruction、output字段格式，并按90%与10%的比例划分为训练集与测试集，共计30万条样本。

特点

该数据集的核心特点在于其极致的原子对齐与质量控制，每个指令-输出对在翻译时保持独立处理，确保了多语言语境下的语义精确性。数据经过多轮手动与自动校验，涵盖语法自然度、逻辑流畅性及翻译准确性，使其兼顾深度推理（Chain-of-Thought）与指令遵循能力。此外，数据集专为普什图语大模型的监督微调与对齐优化设计，系统提示词中嵌入了角色设定与推理框架，显著提升了模型在学术、技术与创意写作等场景中的表现力。

使用方法

该数据集可直接用于普什图语大模型的监督微调（SFT）与深度推理训练。用户需将数据以JSONL格式加载，并确保字段名称与alignment-handbook规范匹配。典型用法包括通过Hugging Face的transformers库或微调框架加载train_sft与test_splits进行训练与评估。在推理阶段，输入instruction字段中的普什图语问题，模型将依据system提示中设定的推理角色，生成符合逻辑的output回答。数据集同样适用于指令微调、思维链训练及合成数据生成等下游任务。

背景与挑战

背景概述

在低资源语言自然语言处理领域，普什图语因其复杂的形态句法结构和有限的数字化语料库而长期处于研究边缘。为填补这一空白，Perfect Pashto Reasoning SFT数据集于2025年由某研究团队基于Magpie-Pro-300K-Filtered语料库创建，旨在为普什图语大语言模型（如Rawan和Ghanam系列）提供高质量的监督微调与深度推理训练资源。该数据集包含30万条经过原子级翻译、去重和结构化重组的指令-输出对，采用Apache-2.0许可证发布。其核心贡献在于通过系统化的对齐处理，解决了普什图语在链式思维推理和指令遵循任务中的数据稀缺问题，显著推动了该语言领域大模型对齐研究的进展。

当前挑战

该数据集面临的核心挑战在于：1）领域问题层面，普什图语原有的低资源属性导致基础自然语言理解模型缺乏，数据集需同时兼顾多步骤推理能力的训练与语言形态复杂性的适配；2）构建过程中需克服跨语言语义偏移问题，原始英语推理数据在逐行翻译时难以保证逻辑链条的完整性；3）语料质量管控面临挑战，包括剔除机器翻译导致的歧义样本、维护普什图语特有的敬语体系与句式结构在长文本分块后的自然衔接；4）数据规模与类型平衡困难，30万条样本虽具潜力，但需进一步验证其在不同领域（如医学推理、数学逻辑）的泛化能力。

常用场景

经典使用场景

Perfect-Pashto-Reasoning-SFT数据集专为普什图语大语言模型的监督微调与深度推理能力训练而设计。该数据集基于Magpie-Pro-300K-Filtered高质量合成推理数据，经原子级逐行翻译、去重过滤与逻辑重构，形成包含30万条指令-输出对的精细语料库。其经典使用场景在于通过系统提示词、指令与结构化输出三元组，引导模型掌握链式思考与深层推理范式，尤其适用于普什图语环境下需要多步逻辑推导、因果分析或复杂问题拆解的文本生成任务，成为提升低资源语言大模型推理能力的基石性训练资源。

衍生相关工作

该数据集直接衍生并支撑了多项开创性工作：首先，它作为核心训练语料催生了普什图语专用大语言模型Rawan与Ghanam系列，验证了合成推理数据对小语种模型推理能力的显著提升效果；其次，其构建流程——原子翻译、MD5去重、逻辑分块——被后续多个低资源语言数据集项目采纳为标准化处理范式，如乌尔都语推理数据集与达里语指令微调数据集均借鉴了其方法论。此外，基于该数据集的模型在普什图语机器阅读理解、常识推理基准测试上的优异表现，引发了对跨语言推理能力迁移机制的深入研究，推动了多语言大模型评估体系向低资源语言的扩展。

数据集最近研究

最新研究方向

当前，普什图语自然语言处理领域正迎来重大突破，其中以推理增强型监督微调（Reasoning SFT）为核心的研究方向备受瞩目。perfect-pashto-reasoning-sft数据集应运而生，它基于Magpie-Pro-300K-Filtered进行原子级翻译与精细重构，专为提升普什图语大语言模型的深度推理与思维链能力而设计。该数据集不仅支撑如Rawan和Ghanam等前沿模型的对齐训练，更通过高质量合成数据与严格去重机制，推动了低资源语言在指令遵循、学术写作及复杂逻辑推理等热点应用上的发展，为普什图语AI生态的自主化与智能化奠定了关键数据基础，具有深远的学术与社会影响力。