Lila

Lila是一个统一的数学推理基准，由四个维度的 23 个不同任务组成：(i) 数学能力，例如算术、微积分 (ii) 语言格式，例如问答、填空 (iii) 语言多样性，例如，没有语言，简单的语言 (iv) 外部知识，例如常识、物理学。该基准测试是通过收集Python程序形式的任务指令和解决方案来扩展20个数据集基准测试而构建的，从而除了正确答案之外还获得了可解释的解决方案。