frederickwang99/SoAyBench

SoAyBench数据集是基于AMiner创建的，旨在评估大型语言模型（LLMs）使用SoAPI的能力。数据集包含44个jsonl文件，每个文件包含18行，每行是一个查询-答案对。数据集还包含了AMiner的7个SoAPI服务，这些API被封装成函数供用户使用。数据集的主要目的是提供一个静态的测试集，用于评估LLMs在学术数据上的表现。

原始信息汇总

数据集概述

数据集名称

SoAyBench

数据集创建者

WangYC

数据集内容

SoAyBench包含44个jsonl文件，每个文件包含18行数据。每行数据为一个查询-答案对，格式如下：

json { "Query": "Query in Chinese", "Query_en": "Query in English", "Answer": "Answer to the Query", "Base_Question_zh": "Template query in Chinese", "Base_Question_en": "Template query in English", "Inputs": "Information which serves as the inputs of the APIs", "Outputs": "The key of the answer at the APIs response", "Entity_Information": "Information that is filled into the template query" }

示例数据

json { "Query": "Mutual Information领域的Jean Barbier的代表作的pdf链接是？", "Query_en": "What is the PDF link of the representative work of Jean Barbier in Mutual Information field?", "Answer": "//static.aminer.cn/misc/pdf/NIPS/2018/5b3d98cc17c44a510f801b5c.pdf", "Base_Question_zh": "XX领域的XXX的代表作的pdf链接是？", "Base_Question_en": "What is the PDF link of the representative work of XXX in XX field?", "Inputs": "name, interest", "Outputs": "pdf_link", "Entity_Information": { "name": "Jean Barbier", "organization": "International Centre for Theoretical Physics", "interest": "Mutual Information" } }

数据集用途

用于测试大型语言模型（LLMs）使用SoAPI的能力，通过固定的学术数据集（问题、解决方案、答案三元组）来评估其性能。

数据集特点

• 基于AMiner的SoAPIs，固定在2023年9月15日的状态，确保数据集的稳定性。
• 提供静态版本的SoAPI服务，用于创建不变的测试集。

许可证

MIT