livecodebench/code_generation

LiveCodeBench是一个动态更新的基准，用于全面评估大型语言模型在代码相关能力上的表现，包括代码生成、自我修复、测试输出预测和代码执行。数据集包含从LeetCode、AtCoder和Codeforces收集的400个问题，每个问题包括问题描述、输入/输出示例和隐藏测试用例，并标有难度级别和发布日期。

原始信息汇总

数据集概述

数据集名称

LiveCodeBench

数据集目的

LiveCodeBench是一个实时更新的基准，用于全面评估大型语言模型（LLMs）在代码相关能力上的表现。特别关注代码生成、自我修复、测试输出预测和代码执行等方面的评估。

数据集内容

• 问题来源：数据集中的问题主要从LeetCode、AtCoder和Codeforces等竞赛编程网站收集。
• 问题数量：目前包含400个问题。
• 问题组成：每个问题实例包括问题描述、输入/输出示例以及隐藏测试案例（平均超过59个）。
• 附加信息：每个问题都标有难度级别和发布日期，以便衡量模型在不同时间窗口的性能。

数据集使用场景

• 代码生成：评估模型生成正确且高效解决方案的能力。
• 自我修复：使用测试案例反馈评估模型的自我修复能力。