persiannlp/parsinlu_query_paraphrasing

PersiNLU（Query Paraphrasing）数据集是一个用于波斯语查询改写任务的数据集，旨在判断两个问题是否为彼此的改写。数据集中的问题部分来自Google自动完成，部分来自Quora改写数据集的翻译。数据集包含1830个训练样本、898个开发样本和1916个测试样本。每个样本包含两个问题（q1和q2）、类别（natural或qqp）和标签（1表示改写，0表示非改写）。数据集使用CC BY-NC-SA 4.0许可证。

PersiNLU (Query Paraphrasing) is a dataset dedicated to Persian query paraphrasing tasks, which aims to determine whether two questions are mutual paraphrases. The questions in the dataset are partially sourced from Google Autocomplete, and partially from the translated Quora paraphrasing dataset. It contains 1,830 training samples, 898 development samples, and 1,916 test samples. Each sample includes two questions (q1 and q2), a category (either "natural" or "qqp"), and a label where 1 represents a paraphrase pair and 0 represents a non-paraphrase pair. This dataset is licensed under CC BY-NC-SA 4.0.

原始信息汇总

数据集概述

数据集名称

• 名称: PersiNLU (Query Paraphrasing)

数据集描述

• 摘要: 该数据集用于波斯语查询改写任务，即判断两个问题是否为彼此的改写。问题部分来源于Google自动补全，部分翻译自Quora改写数据集。
• 支持的任务: 查询改写
• 语言: 波斯语 (fa)

数据集结构

• 数据实例: 每个实例包含两个问题（q1 和 q2）、一个标签（1 表示是改写，0 表示不是）和一个类别（natural 或 qqp）。
• 数据字段:
  • q1: 第一个问题
  • q2: 第二个问题
  • label: 改写标签（1或0）
  • category: 问题来源（natural 或 qqp）
• 数据分割: 训练集/验证集/测试集包含1830/898/1916个样本。

数据集创建

• 许可证: CC BY-NC-SA 4.0
• 贡献者: 感谢@danyaljj添加此数据集。

引用信息

bibtex @article{huggingface:dataset, title = {ParsiNLU: A Suite of Language Understanding Challenges for Persian}, authors = {Khashabi, Daniel and Cohan, Arman and Shakeri, Siamak and Hosseini, Pedram and Pezeshkpour, Pouya and Alikhani, Malihe and Aminnaseri, Moin and Bitaab, Marzieh and Brahman, Faeze and Ghazarian, Sarik and others}, year={2020} journal = {arXiv e-prints}, eprint = {2012.06154},
}