netop/TeleQnA
收藏资源简介：
TeleQnA是一个专门用于评估大型语言模型在电信领域知识的综合数据集。它包含10,000个多项选择题，分为五个类别：词汇（500个问题）、研究概述（2,000个问题）、研究出版物（4,500个问题）、标准概述（1,000个问题）和标准规范（2,000个问题）。每个问题以JSON格式表示，包含问题、选项、答案、解释和类别五个字段。数据集还提供了实验代码，用于评估OpenAI模型（如GPT-3.5）的性能。
TeleQnA是一个专门用于评估大型语言模型在电信领域知识的综合数据集。它包含10,000个多项选择题，分为五个类别：词汇（500个问题）、研究概述（2,000个问题）、研究出版物（4,500个问题）、标准概述（1,000个问题）和标准规范（2,000个问题）。每个问题以JSON格式表示，包含问题、选项、答案、解释和类别五个字段。数据集还提供了实验代码，用于评估OpenAI模型（如GPT-3.5）的性能。
TeleQnA 数据集概述
数据集介绍
TeleQnA 是一个全面的数据集，旨在评估大型语言模型（LLMs）在电信领域的知识。该数据集包含 10,000 道多项选择题，分布在五个不同的类别中：
- Lexicon（词汇）: 包含 500 道题，涉及电信通用术语和定义。
- Research overview（研究概述）: 包含 2,000 道题，提供电信研究的广泛概述，涵盖广泛的电信相关主题。
- Research publications（研究出版物）: 包含 4,500 道题，涉及电信领域的多学科研究，参考了多种来源，如交易和会议记录。
- Standards overview（标准概述）: 包含 1,000 道题，涉及多个标准化机构（如 3GPP 和 IEEE）的标准摘要。
- Standards specifications（标准规范）: 包含 2,000 道题，探讨电信系统的技术规范和实际实现，参考了标准化机构（如 3GPP 和 IEEE）的信息。
数据集格式
每个问题以 JSON 格式表示，包含五个不同的字段：
- Question（问题）: 包含一个字符串，提出与电信领域特定概念相关的问题。
- Options（选项）: 包含一组字符串，表示各个答案选项。
- Answer（答案）: 包含一个字符串，格式为 ’option ID: Answer’，表示问题的正确答案。只有一个选项是正确的；然而，选项可能包括“以上皆是”或“选项 1 和 2”等选择。
- Explanation（解释）: 包含一个字符串，解释正确答案的理由。
- Category（类别）: 包含一个标签，标识来源类别（如 lexicon、research overview 等）。
数据集实例
以下是数据集的一个示例：
json { "question": "What is the maximum number of eigenmodes that the MIMO channel can support? (nt is the number of transmit antennas, nr is the number of receive antennas)", "option 1": "nt", "option 2": "nr", "option 3": "min(nt, nr)", "option 4": "max(nt, nr)", "answer": "option 3: min(nt, nr)", "explanation": "The maximum number of eigenmodes that the MIMO channel can support is min(nt, nr).", "category": "Research publications" }
