JavaBench
收藏arXiv2025-09-30 收录
下载链接：
https://github.com/java-bench/JavaBench
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为JavaBench，是一个针对项目级别的Java基准测试，旨在评估大型语言模型（LLM）在生成面向对象代码方面的能力，特别关注面向对象编程（OOP）的特性，如封装、继承和多态。此外，该数据集的测试覆盖率达到92%，并已由282名本科生进行验证，他们针对测试套件的平均通过率为90.93/100。该数据集包含4个Java项目，共有106个Java类中的389个方法。其任务是评估LLM在Java编程中代码生成能力的表现。
