livecodebench/code_generation_lite

LiveCodeBench是一个用于全面评估大型语言模型代码生成等能力的动态更新基准数据集。它从LeetCode、AtCoder和Codeforces等编程竞赛网站收集问题，涵盖了问题描述、输入/输出示例和隐藏测试用例，并包含难度等级和发布日期信息，以支持不同时间窗口的模型性能测量。

LiveCodeBench is a dynamic updating benchmark for holistically evaluating the code generation and other capabilities of large language models. It collects problems from LeetCode, AtCoder, and Codeforces, covering problem descriptions, input/output examples, and hidden test cases, along with difficulty levels and release dates for supporting model performance measurement across different time windows.

原始信息汇总

数据集概述

名称: LiveCodeBench - Code Generation Lite

目的: 用于评估大型语言模型在代码生成和自我修复方面的能力。

内容:

• 问题来源: 超过500个问题来自LeetCode, AtCoder, 和Codeforces。
• 问题组成: 每个问题包括问题描述、输入/输出示例和隐藏测试案例。
• 附加信息: 每个问题都标记了难度级别和发布日期，以便于跨不同时间窗口评估模型性能。

版本:

• 初始版本: v1
• 当前版本: release_v2

使用方法: python from datasets import load_dataset lcb_codegen = load_dataset("livecodebench/code_generation_lite", version_tag="release_v2")