persiannlp/parsinlu_query_paraphrasing

PersiNLU（Query Paraphrasing）数据集是一个用于波斯语查询改写任务的数据集，旨在判断两个问题是否为彼此的改写。数据集中的问题部分来自Google自动完成，部分来自Quora改写数据集的翻译。数据集包含1830个训练样本、898个开发样本和1916个测试样本。每个样本包含两个问题（q1和q2）、类别（natural或qqp）和标签（1表示改写，0表示非改写）。数据集使用CC BY-NC-SA 4.0许可证。

原始信息汇总

数据集概述

数据集名称

• 名称: PersiNLU (Query Paraphrasing)

数据集描述

• 摘要: 该数据集用于波斯语查询改写任务，即判断两个问题是否为彼此的改写。问题部分来源于Google自动补全，部分翻译自Quora改写数据集。
• 支持的任务: 查询改写
• 语言: 波斯语 (fa)

数据集结构

• 数据实例: 每个实例包含两个问题（q1 和 q2）、一个标签（1 表示是改写，0 表示不是）和一个类别（natural 或 qqp）。
• 数据字段:
  • q1: 第一个问题
  • q2: 第二个问题
  • label: 改写标签（1或0）
  • category: 问题来源（natural 或 qqp）
• 数据分割: 训练集/验证集/测试集包含1830/898/1916个样本。

数据集创建

• 许可证: CC BY-NC-SA 4.0
• 贡献者: 感谢@danyaljj添加此数据集。

引用信息

bibtex @article{huggingface:dataset, title = {ParsiNLU: A Suite of Language Understanding Challenges for Persian}, authors = {Khashabi, Daniel and Cohan, Arman and Shakeri, Siamak and Hosseini, Pedram and Pezeshkpour, Pouya and Alikhani, Malihe and Aminnaseri, Moin and Bitaab, Marzieh and Brahman, Faeze and Ghazarian, Sarik and others}, year={2020} journal = {arXiv e-prints}, eprint = {2012.06154},
}