Long-Horizon-Execution
收藏资源简介：
这是一个专为测量大型语言模型在长期执行能力上的纯执行能力而设计的合成基准数据集。数据集的核心任务是键值字典累加。在一个固定的、上下文中的字典中，将五个字母的英文单词（键）映射到整数值。模型的目的是维护一个运行总和。在每一轮中，它会接收到一个或多个键（由轮次复杂性K定义），从字典中检索相应的值，将它们添加到运行总和中，并输出新的总和。主要的评估指标是任务长度，即模型的准确度降至某个阈值以下之前可以执行的步骤数。数据集设计为可编程生成，因此无污染。为了方便访问，这里只提供了100个样本，但可以使用提供的脚本来生成更多样本。
This is a synthetic benchmark dataset designed purely to measure the long-term execution capabilities of large language models. The core task of the dataset is key-value dictionary accumulation. Within a fixed, in-context dictionary, five-letter English words (keys) are mapped to integer values. The model's objective is to maintain a running total. In each round, it receives one or more keys (defined by round complexity K), retrieves the corresponding values from the dictionary, adds them to the running total, and outputs the new total. The primary evaluation metric is task length, i.e., the number of steps that can be executed before the model's accuracy drops below a certain threshold. The dataset is designed to be programmatically generated, thus free of contamination. For ease of access, only 100 samples are provided here, but additional samples can be generated using the provided script.
Long Horizon Execution 数据集概述
数据集基本信息
- 许可证: Apache-2.0
- 任务类别: 文本生成
- 标签: 代理
数据集描述
该数据集是一个合成基准，旨在衡量大型语言模型（LLMs）在长视野上的纯执行能力。核心任务是键值字典加法。提供一个固定的上下文内字典，映射五个字母的英文单词（键）到整数值（位于dictionary.json中）。模型的目标是维持一个运行总和。在每一轮中，模型接收一个或多个键（由轮次复杂度K定义），从字典中检索它们的对应值，将它们加到运行总和中，并输出新的总和。评估的主要指标是任务长度：模型在执行准确率降至特定阈值之前能执行的步骤数。
数据集使用
test.jsonl包含可用于提示LLM的单个样本。
"input": 包含要处理的键。"values": 包含映射到相应键的值（如dictionary.json所述）。"output": 包含预期的运行总和答案。
提供的数据集配置为轮次复杂度K=1（每轮一个键）。要在更高的轮次复杂度（如K=N）上评估模型，可以通过将每N个连续轮次分组来进行后处理：
"input": 将每N个项目连接成一个逗号分隔的字符串。"output": 分组轮次的新运行总和是原始N轮组中最后一个运行总和。
数据生成
数据集设计为可通过程序生成，因此无污染。此处仅提供100个样本以便访问，但可以使用脚本（https://github.com/long-horizon-execution/measuring-execution/blob/main/generate_dataset_json.py）生成更多样本。
相关资源
- 论文: https://arxiv.org/abs/2509.09677
- GitHub: https://github.com/long-horizon-execution/measuring-execution/
引用
如果您使用该数据集，请考虑引用： bibtex @misc{ sinha2025illusiondiminishingreturnsmeasuring, title={The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs}, author={Akshit Sinha and Arvindh Arun and Shashwat Goel and Steffen Staab and Jonas Geiping}, year={2025}, eprint={2509.09677}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2509.09677}, }
