GHOSTS

GHOSTS，以涵盖研究生水平的数学，并提供语言模型数学能力的全面概括；这是第一个由数学领域的工作研究人员制作和策划的自然语言数据集。根据细粒度标准对 ChatGPT 进行基准测试，结论是 ChatGPT 的数学能力明显低于一般的数学研究生。

GHOSTS covers graduate-level mathematics and provides a comprehensive overview of the mathematical capabilities of language models. It is the first natural language dataset developed and curated by active researchers in the field of mathematics. Benchmarking ChatGPT against fine-grained criteria reveals that ChatGPT's mathematical abilities are significantly inferior to those of an average graduate-level mathematics student.

搜集汇总

背景与挑战

背景概述

GHOSTS是一个由数学领域研究人员制作和策划的自然语言数据集，涵盖研究生水平的数学内容，用于评估语言模型的数学能力。该数据集对ChatGPT进行基准测试，发现其数学能力明显低于一般数学研究生。