ErfanMoosaviMonazzah/persian-instructions

这是一个包含来自网络上不同数据集的波斯语指令的汇编。数据集的主要特征包括id、input和output字段，数据类型均为字符串。数据集分为一个名为aya_dataset的分割，包含1578个样本，总大小为1415803字节。数据集适用于文本生成和文本到文本生成任务，标签包括Instructions、Farsi、Persian和Persian Instruction Fine-tuning。数据集的创建者是Erfan Moosavi Monazzah，语言为波斯语。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • id: 类型为 string
  • input: 类型为 string
  • output: 类型为 string
• 分割:
  • aya_dataset: 包含 1578 个样本，占用 1415803 字节
• 下载大小: 685027 字节
• 数据集大小: 1415803 字节

配置

• 配置名称: default
  • 数据文件:
    • split: aya_dataset
    • path: data/aya_dataset-*

任务类别

• 文本生成
• 文本到文本生成

语言

• 波斯语 (Farsi)

标签

• Instructions
• Farsi
• Persian
• Persian Instruction Fine-tuning

数据集名称

• 名称: Persian Instructions
• 样本数量: 1K < n < 10K

数据集描述

• 编译者: Erfan Moosavi Monazzah
• 语言: 波斯语 (Farsi)

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指令微调数据集对于提升模型遵循人类意图的能力至关重要。该数据集由Erfan Moosavi Monazzah精心编纂，整合了来自Aya数据集中的波斯语指令样本，包含761条原始指令与817条重新标注的指令，共计1578条高质量样本。数据以统一的JSON格式存储，每条记录包含唯一的标识符、用户输入及对应输出，构成简洁而规范的指令对结构。

特点

该数据集聚焦于波斯语指令微调场景，具有鲜明的语言专一性与任务针对性。其规模虽小（1K至10K之间），但通过原始与重新标注指令的双重来源确保了内容的多样性与标注一致性。数据集支持文本生成与文本到文本生成两类任务，为波斯语大模型的指令遵循能力优化提供了宝贵的资源。

使用方法

使用者可通过HuggingFace Datasets库直接加载该数据集，指定配置名称'default'并选择'aya_dataset'划分即可获取全部样本。数据可直接用于序列到序列模型的监督微调，例如以'input'字段作为模型输入，'output'字段作为目标输出。此外，该数据集也可作为波斯语指令数据的基准测试集，用于评估模型在波斯语境下的指令理解与执行能力。

背景与挑战

背景概述

随着大规模语言模型在多语言指令微调领域的蓬勃发展，波斯语（Farsi）作为覆盖近亿人口的重要语言，其指令数据集却长期处于匮乏状态。在此背景下，研究者Erfan Moosavi Monazzah于2023年构建了Persian Instructions数据集，旨在填补波斯语指令微调资源的空白。该数据集整合自CohereForAI的Aya数据集，包含1578条高质量的波斯语指令样本，其中761条为原始标注，817条为重新注释，确保了数据的准确性与多样性。核心研究问题聚焦于如何利用有限的标注资源，为波斯语场景下的文本生成与指令遵循任务提供有效的训练基础。这一数据集的发布，为波斯语自然语言处理领域注入了新活力，推动了低资源语言指令微调技术的进步。

当前挑战

当前Persian Instructions数据集面临多重挑战。首先，在领域问题层面，波斯语指令微调的数据规模仍显不足，仅1578条样本难以覆盖复杂多变的真实应用场景，限制了模型在波斯语环境下的泛化能力与鲁棒性。其次，构建过程中，原始数据来源Aya数据集中的波斯语指令存在标注不一致与质量参差的问题，需耗费大量人力进行重新注释与校验，这增加了数据构建的成本与时间。此外，波斯语作为低资源语言，其特有的语法结构、文化语境及方言差异，使得指令的多样性难以充分体现，进一步加剧了模型在波斯语任务上的适配难度。

常用场景

经典使用场景

该数据集汇集了来自Aya数据集的1578条波斯语指令，其中涵盖761条原始指令与817条重新标注的指令，为波斯语自然语言处理领域提供了高质量的指令微调资源。其最经典的用途在于对大型语言模型进行波斯语指令跟随能力的微调与评估，研究者可借此构建和优化能够理解并执行波斯语任务指令的对话系统或文本生成模型。通过统一的指令-输入-输出结构，该数据集为跨语言对齐研究提供了波斯语基准，尤其适用于低资源语言场景下的模型适应与性能测试。

衍生相关工作

该数据集衍生了多项波斯语指令微调领域的经典工作，包括基于其构建的波斯语指令跟随模型评估基准，以及探索数据增强策略对模型性能影响的研究。研究者利用该数据集对比了不同预训练模型在波斯语指令任务上的表现，推动了面向波斯语的参数高效微调方法（如LoRA适配）的发展。此外，该数据集还启发了对波斯语指令中文化特异性表达的标注规范研究，为后续构建更大规模的波斯语多任务指令数据集奠定了基础。

数据集最近研究

最新研究方向

在自然语言处理领域，指令微调数据集的重要性日益凸显，尤其对于低资源语言的模型适配而言。ErfanMoosaviMonazzah/persian-instructions数据集聚焦于波斯语，整合了来自Aya数据集的1578条高质量指令，其中包含原始标注与重新注释样本，为波斯语大模型的指令跟随能力提供了关键支撑。当前前沿研究方向正围绕多语言指令微调的稀缺性展开，该数据集的出现填补了波斯语在指令微调资源上的空白，有望推动波斯语对话系统、文本生成及跨语言迁移学习的发展。其构建方式也体现了对低资源语言数据质量与多样性的重视，为后续研究提供了可复用的基准，具有重要的学术与实践意义。