declare-lab/GSM8k_MORE
收藏官方服务:
资源简介:
该数据集是在论文《Stuck in the Quicksand of Numeracy, Far from AGI Summit: Evaluating LLMs Mathematical Competency through Ontology-guided Perturbations》中引入的。数据集是通过从GSM8K中随机抽取五个问题并使用本体论进行扰动创建的。
该数据集由论文《深陷算术能力泥潭,远离通用人工智能(AGI)峰会:通过本体论引导的扰动评估大语言模型(LLM)的数学能力》首次提出。该数据集通过从GSM8K中随机抽取五道问题,经本体论引导的扰动处理后构建得到。
提供机构:
declare-lab原始信息汇总
数据集概述
数据来源
- 本数据集源自论文《Stuck in the Quicksand of Numeracy, Far from AGI Summit: Evaluating LLMs Mathematical Competency through Ontology-guided Perturbations》。
数据创建方法
- 数据集通过随机抽取GSM8K中的五个问题,并利用一个本体论进行扰动生成。



