livecodebench/test_generation
收藏官方服务：
资源简介：
LiveCodeBench是一个‘实时’更新的基准，用于全面评估大型语言模型在代码相关能力上的表现，特别是代码生成、自我修复、测试输出预测和代码执行等方面。该数据集从竞争性编程网站收集问题，重点在于保持问题质量、测试用例质量和问题难度多样性。当前场景包含从185个LeetCode问题中采样的442个实例，目标是预测给定输入的输出。
提供机构：
livecodebench原始信息汇总
数据集概述
名称： LiveCodeBench
目的： 用于全面评估大型语言模型（LLMs）在代码相关能力上的表现，包括代码生成、自我修复、测试输出预测和代码执行。
特点：
- 数据集包含442个实例，来源于185个LeetCode问题。
- 每个实例包含自然语言描述的问题和预测给定输入的输出目标。
- 数据集特别注重问题质量、测试案例质量和问题难度的多样性。
应用场景：
- 代码生成评估。
- 使用测试案例反馈进行自我修复评估。
