GSM-Infinite
收藏资源简介：
GSM-Infinite是一个完全合成的推理基准，不包含LLM，能够生成上下文长度和推理复杂度无限可扩展的问题。
GSM-Infinite is a fully synthetic reasoning benchmark that contains no LLMs and is capable of generating questions with infinitely scalable context lengths and reasoning complexities.
GSM-Infinite 数据集概述
数据集名称
GSM-Infinite
数据集简介
GSM-Infinite 是一个完全合成的推理基准，能够生成无限可扩展的上下文长度和推理复杂度的问题。该数据集受 Physics of Language Model 2.1 启发，使用抽象的小学级别数学问题，通过计算图和图语言映射生成适合 LLM 读取（也适合人类读取）的问题。
数据集特点
- 完全合成，无需 LLM 参与生成过程。
- 支持上下文长度和推理复杂度的无限扩展。
- 生成的上下文长度具有高信息密度。
数据集组成
- 数据集包含 Symbolic、Medium 和 Hard 三个子任务，主要关于语义层次的不同。
使用说明
- 提供了数据生成和模型评估脚本，分为 Symbolic 和 Realistic 两个目录。
- 用户可以通过
run.sh脚本对 Symbolic 数据集进行采样和评估。 - 用户可以通过
run.sh脚本对 Realistic 数据集（Medium 和 Hard 子集）进行采样和自动评估。
环境安装
- 使用
pip install -r requirements.txt安装所需环境。
性能评估
- 数据集提供了在 Zero Noise 和 Long-context 条件下的模型性能排行榜。
论文与引用
- 论文标题：GSM-Infinite: How Do Your LLMs Behave over Infinitely Increasing Context Length and Reasoning Complexity?
- 作者：Yang Zhou, Hongyi Liu, Zhuoming Chen, Yuandong Tian, Beidi Chen
- 年份：2025
- arXiv 链接：https://arxiv.org/abs/2502.05252
@misc{zhou2025gsminfinitellmsbehaveinfinitely, title={GSM-Infinite: How Do Your LLMs Behave over Infinitely Increasing Context Length and Reasoning Complexity?}, author={Yang Zhou and Hongyi Liu and Zhuoming Chen and Yuandong Tian and Beidi Chen}, year={2025}, eprint={2502.05252}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2502.05252}, }
