AL-Bench
收藏资源简介:
AL-Bench是一个专为自动日志记录工具设计的综合基准,包含一个高质量、多样化的数据集,从10个广受欢迎、高质量的开源项目收集了42224个实例,涵盖了不同的领域和不同的日志记录需求。该数据集旨在提供一个用于评估自动日志记录方法的标准化平台,通过将生成的日志语句重新集成到实际项目代码中,然后重新编译和执行它们,以评估日志语句的编译性和运行时日志的质量。
AL-Bench is a comprehensive benchmark specifically designed for automated logging tools. It contains a high-quality, diverse dataset with 42,224 instances collected from 10 widely adopted, high-quality open-source projects, covering various domains and diverse logging requirements. This benchmark aims to provide a standardized platform for evaluating automated logging methods, where the compilability of generated log statements and the quality of runtime logs are assessed by re-integrating the generated log statements into actual project code, then recompiling and executing the modified code.
AL-Bench: 自动日志评估基准
数据集概述
- 数据集名称:AL-Bench
- 数据集用途:针对运行时日志的自动评估,包含高质量数据集和一种新颖的动态评估方法。
- 数据集结构:
Static_Evaluation/:静态评估脚本和结果。Dynamic_Evaluation/:动态评估脚本和结果。
数据集访问
- 数据集链接:完整评估数据集
评估方法
- 静态评估:关注日志级别准确性(LA)、日志位置准确性(PA)、日志消息准确性(MA)、动态变量准确性(DVA)和静态文本BLEU分数(STB)。
- 动态评估:基于Hadoop 3.4.0单元测试,评估日志工具在实际运行时环境中的性能。
评估结果
- 静态评估结果:

- 动态评估结果:

快速开始
- 环境要求:Java Development Kit (JDK)、Maven、Node.js、Docker(动态评估所需)。
被评估的日志工具
- FastLog
- UniLog
- LANCE
- LEONID
引用
@misc{tan2025albenchbenchmarkautomaticlogging, title={AL-Bench: A Benchmark for Automatic Logging}, author={Boyin Tan and Junjielong Xu and Zhouruixing Zhu and Pinjia He}, year={2025}, eprint={2502.03160}, archivePrefix={arXiv}, primaryClass={cs.SE}, url={https://arxiv.org/abs/2502.03160}, }
许可
该项目在MIT许可下进行 - 参见LICENSE文件以获取详细信息。

- 1AL-Bench: A Benchmark for Automatic Logging香港中文大学(深圳) · 2025年



