BAGEN
收藏资源简介：
公共BAGEN数据集包含用于构建和评估预算估计基准的工件。它旨在重现报告的离线评估结果、检查智能体部署轨迹，并为预算感知智能体准备SFT/GRPO训练数据。数据集主要分为两个目录：origin/包含原始部署工件，如轨迹、对话和日志；estimation/包含派生的离线预算估计文件，如提示/目标对、评估器输出、模型预测和用于基准评分或下游预算强化学习数据准备的聚合记录。数据集托管在Hugging Face上。
The public BAGEN dataset contains artifacts for constructing and evaluating budget estimation benchmarks. It aims to reproduce reported offline evaluation results, inspect agent deployment trajectories, and prepare SFT/GRPO training data for budget-aware AI agents. The dataset is mainly divided into two directories: the origin/ directory contains raw deployment artifacts such as trajectories, dialogues, and logs; the estimation/ directory contains derived offline budget estimation files, including prompt-target pairs, evaluator outputs, model predictions, and aggregated records used for benchmark scoring or downstream budget reinforcement learning data preparation. The dataset is hosted on Hugging Face.
BAGEN 数据集概述
核心目标：研究大语言模型（LLM）智能体是否能在任务执行过程中，估计令牌数、时间、金钱和存储空间等资源预算。
出版物：
- 论文地址：https://arxiv.org/abs/2606.00198
- 项目主页：https://ragen-ai.github.io/bagen/
- 数据地址：https://huggingface.co/datasets/MLL-Lab/BAGEN
许可协议：MIT
数据集构成
数据集托管在 Hugging Face（https://huggingface.co/datasets/MLL-Lab/BAGEN），主要包含两个目录：
origin/：原始回滚工件，源自四个场景的轨迹、对话和日志。estimation/：衍生的离线预算估计文件，包含提示/目标对、评估器输出、模型预测以及用于基准评分或强化学习数据准备的汇总记录。
此外，Hugging Face 仓库包含 manifest.jsonl 文件索引，记录路径、大小和直接下载链接。
应用场景
BAGEN 当前专注于四个基准场景：
- Sokoban：在交互式推箱子游戏中，进行令牌预算估计。
- Search-R1：在搜索智能体轨迹中进行令牌预算估计。
- SWE-bench-style coding：在编码智能体日志中进行令牌预算估计。
- Warehouse：多资源预算估计，涵盖时间、存储空间和累积成本。
方法与流程
基准测试采用两阶段流水线：
- 原始回滚收集：在环境中运行任务模型，保存回滚工件和对话 JSON 日志。
- 离线预算估计：重放回滚前缀，要求评估模型输出剩余预算区间或判定为“不可能”。
- 预算强化学习训练：将估计数据转换为 SFT/GRPO 数据集，训练预算估计器。
数据集用途
- 复现论文中报告的离线评估结果
- 检查智能体回滚轨迹
- 准备用于训练预算感知智能体的 SFT/GRPO 数据
引用
bibtex @misc{bagen2026, title={BAGEN: Are LLM Agents Budget-Aware?}, author={Yuxiang Lin and Zihan Wang and Mengyang Liu and Yuxuan Shan and Longju Bai and Junyao Zhang and Xing Jin and Boshan Chen and Jinyan Su and Xingyao Wang and Jiaxin Pei and Manling Li}, year={2026}, eprint={2606.00198}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2606.00198}, }
