declare-lab/HumanEval_CORE
收藏Hugging Face2024-10-28 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/declare-lab/HumanEval_CORE
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在论文《Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating LLMs Mathematical and Coding Competency through Ontology-guided Interventions》中引入的，通过从HumanEval(openai)中随机抽取五个问题并使用本体论进行扰动来创建。
提供机构：
declare-lab
原始信息汇总
数据集概述
数据集来源
- 该数据集是在论文《Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating LLMs Mathematical and Coding Competency through Ontology-guided Interventions》中介绍的。
数据集创建方法
- 数据集是通过随机抽样五个来自HumanEval(openai)的问题，并使用一个本体论进行扰动创建的。
数据集目的
- 用于评估大型语言模型（LLMs）在数学和编码方面的能力。
