myrkur/persian-alpaca-deep-clean

Persian Alpaca数据集是一个经过精细清洗的波斯语数据集，主要来源于Bactrian、PN-Summary（摘要）、Alpaca和PEYMA（命名实体识别）数据集。经过严格的清洗过程，包括字符归一化、去除阿拉伯字母、删除高重复句子和单词等，最终包含约68,279条记录。该数据集适用于文本生成、摘要、命名实体识别等自然语言处理任务。

原始信息汇总

Persian Alpaca Deep Clean

概述

Persian Alpaca Dataset 是一个精心清理的波斯语记录集合，主要来源于 Bactrian、PN-Summary（摘要）和 PEYMA（命名实体识别）数据集。经过严格的清理过程，包括字符归一化、移除阿拉伯字母、消除高词重复的句子、移除高字母重复的单词、消除重复句子以及手动清理记录，该数据集包含约 68,279 条记录。

数据集组成

• Bactrian: 该子集构成数据集的主体，包含 58,925 条记录，是 Persian Alpaca Dataset 的主要来源。
• PN-Summary (PN-Sum): 提供 5,273 条记录，为数据集增加了波斯语摘要，增强了整体集合的多样性和实用性。
• Alpaca: 包含 2,201 条记录，为数据集增加了多样化的内容。
• PEYMA: 提供 1,880 条记录，丰富了数据集的命名实体识别（NER）数据。

数据处理

Persian Alpaca Dataset 的清理过程细致且全面，确保了高质量的数据用于各种自然语言处理任务。清理过程的关键步骤包括：

• 字符归一化以移除阿拉伯字母并确保数据集的一致性。
• 移除高词重复的句子，提高记录的连贯性和可读性。
• 消除高字母重复的单词，提高数据集的语言质量。
• 移除重复句子以避免冗余并增强数据集的多样性。
• 手动清理记录以解决特定问题并确保数据完整性。

潜在应用

Persian Alpaca Dataset 为广泛的 natural language processing 任务提供了宝贵的资源，包括但不限于：

• 指令调优
• 文本生成和语言建模
• 摘要任务
• 命名实体识别（NER）应用