GeoGramBench

该数据集是一个由500个精心提炼的问题组成的基准，这些问题按照一个定制的三级分类法组织，该分类法考虑了几何复杂性，以评估大型语言模型在几何空间推理方面的能力。GeoGramBench旨在评估大型语言模型在将程序化绘图代码转换为精确几何推理方面的表现，从而凸显模型能力的不足。该数据集的规模为500个问题，所涉及的任务是程序到几何的任务。