TechxGenus/LeetCode-Contest

---
license: other
license_name: deepseek
license_link: >-
https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-instruct/blob/main/LICENSE
task_categories:
- text-generation
language:
- en
tags:
- code
---

## LeetCode Contest Benchmark

A new benchmark for evaluating Code LLMs proposed by [DeepSeek-Coder](https://arxiv.org/abs/2401.14196), which consists of the latest algorithm problems of different difficulties.

## Usage

```
git clone https://github.com/deepseek-ai/DeepSeek-Coder.git
cd Evaluation/LeetCode

# Set the model or path here
MODEL="deepseek-ai/deepseek-coder-7b-instruct"

python vllm_inference.py --model_name_or_path $MODEL --saved_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl

python evaluate_leetcode.py --generation_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl --result_path output/20240121-Jul.deepseek-coder-7b-instruct.result.jsonl
```

### Citation

```
@article{guo2024deepseekcoder,
title = {DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence},
author = {Daya Guo and Qihao Zhu and Dejian Yang and Zhenda Xie and Kai Dong and Wentao Zhang and Guanting Chen and Xiao Bi and Y. Wu and Y. K. Li and Fuli Luo and Yingfei Xiong and Wenfeng Liang},
year = {2024},
journal = {arXiv preprint arXiv: 2401.14196}
}
```

许可证：其他
许可证名称：DeepSeek
许可证链接：https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-instruct/blob/main/LICENSE
任务类别：
- 文本生成
语言：
- 英语
标签：
- 代码

## LeetCode竞赛基准数据集（LeetCode Contest Benchmark）
本数据集由DeepSeek-Coder团队在其预印本论文（https://arxiv.org/abs/2401.14196）中提出，是一款用于评估代码大语言模型（Code LLM）的全新基准数据集，涵盖不同难度等级的最新算法考题。

## 使用方法

git clone https://github.com/deepseek-ai/DeepSeek-Coder.git
cd Evaluation/LeetCode

# 在此设置模型或模型路径
MODEL="deepseek-ai/deepseek-coder-7b-instruct"

python vllm_inference.py --model_name_or_path $MODEL --saved_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl

python evaluate_leetcode.py --generation_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl --result_path output/20240121-Jul.deepseek-coder-7b-instruct.result.jsonl

## 引用格式

@article{guo2024deepseekcoder,
title = {DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence},
author = {Daya Guo and Qihao Zhu and Dejian Yang and Zhenda Xie and Kai Dong and Wentao Zhang and Guanting Chen and Xiao Bi and Y. Wu and Y. K. Li and Fuli Luo and Yingfei Xiong and Wenfeng Liang},
year = {2024},
journal = {arXiv preprint arXiv: 2401.14196}
}

原始信息汇总

数据集概述

许可证

• 许可证名称: deepseek
• 许可证链接: deepseek许可证

任务类别

• 任务类别: 文本生成

语言

• 语言: 英语

标签

• 标签: 代码

数据集描述

• 数据集名称: LeetCode Contest Benchmark
• 描述: 由DeepSeek-Coder提出的新基准，用于评估代码大型语言模型，包含不同难度的最新算法问题。

使用方法

• 克隆仓库:

  git clone https://github.com/deepseek-ai/DeepSeek-Coder.git cd Evaluation/LeetCode

• 设置模型或路径:

  MODEL="deepseek-ai/deepseek-coder-7b-instruct" python vllm_inference.py --model_name_or_path $MODEL --saved_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl python evaluate_leetcode.py --generation_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl --result_path output/20240121-Jul.deepseek-coder-7b-instruct.result.jsonl

引用

• 引用格式:

  @article{guo2024deepseekcoder, title = {DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence}, author = {Daya Guo and Qihao Zhu and Dejian Yang and Zhenda Xie and Kai Dong and Wentao Zhang and Guanting Chen and Xiao Bi and Y. Wu and Y. K. Li and Fuli Luo and Yingfei Xiong and Wenfeng Liang}, year = {2024}, journal = {arXiv preprint arXiv: 2401.14196} }

搜集汇总

数据集介绍

构建方式

在代码智能领域，评估大型语言模型的算法问题解决能力至关重要。TechxGenus/LeetCode-Contest数据集由DeepSeek-Coder团队构建，其核心方法是从LeetCode平台精心筛选最新发布的算法题目，覆盖不同难度层级。这些题目经过系统化整理，形成结构化基准测试集，旨在模拟真实编程竞赛环境，为模型评估提供标准化、时效性强的数据基础。

使用方法

使用该数据集进行评估时，需遵循标准化流程。首先克隆指定代码库并进入相应目录，配置待评估模型路径。通过运行推理脚本生成模型对题目的解答，随后调用评估脚本对生成代码进行自动化测试与评分。整个过程实现了端到端的自动化评估，确保结果的可复现性与客观性。

背景与挑战

背景概述

在人工智能与软件工程交叉领域，代码生成与算法问题求解已成为衡量大型语言模型智能水平的关键维度。TechxGenus/LeetCode-Contest数据集由DeepSeek团队于2024年提出，作为其研究成果《DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence》的核心组成部分。该数据集聚焦于评估代码大模型在解决实际算法问题上的能力，通过整合LeetCode平台上不同难度的最新编程题目，旨在推动代码智能研究向更复杂、更贴近现实开发场景的方向发展。其构建不仅反映了当前编程辅助工具对高精度代码生成的需求，也为学术界和工业界提供了标准化、可复现的评测基准，显著促进了代码大模型在算法理解与实现方面的研究进展。

当前挑战

该数据集致力于应对代码大模型在算法问题求解领域的核心挑战，即模型需准确理解自然语言描述的复杂算法需求，并生成高效、无误的可执行代码。具体而言，挑战体现在模型必须处理多样化的题目难度与类型，涵盖动态规划、图论等高级算法概念，同时确保代码在边界条件和时间复杂度上的正确性。在构建过程中，数据收集与标注面临诸多困难，包括从LeetCode平台实时获取最新且具有代表性的题目，以及为每道题目建立精确的测试用例和评估标准。此外，数据集的构建还需平衡题目难度分布，避免偏差，并确保评测流程的自动化与可扩展性，以支持不同规模模型的公平比较。

常用场景

经典使用场景

在代码智能领域，LeetCode-Contest数据集作为评估代码大语言模型算法问题解决能力的关键基准，其经典使用场景聚焦于模型性能的标准化测试。研究者通过该数据集模拟真实编程竞赛环境，系统性地考察模型在解析问题描述、设计算法逻辑及生成可执行代码方面的综合表现，从而为模型优化提供量化依据。

解决学术问题

该数据集有效解决了代码生成研究中缺乏动态、多样化评估基准的学术难题。通过整合不同难度层级的实时算法题目，它克服了传统静态数据集易过时的局限，为准确衡量模型在复杂逻辑推理与代码合成上的泛化能力提供了可靠平台，推动了代码智能领域评估方法的科学化与标准化进程。

实际应用

在实际应用层面，LeetCode-Contest数据集被广泛集成于代码辅助工具与智能编程系统的开发流程中。教育科技企业可借助该数据集训练自适应编程辅导系统，而软件开发团队则能利用其评估代码生成模型在真实工程场景中的实用性，显著提升自动化代码生成与错误检测的效率。

数据集最近研究

最新研究方向

在代码智能领域，TechxGenus/LeetCode-Contest数据集作为DeepSeek-Coder提出的新型评估基准，正推动大语言模型在算法问题求解方面的前沿探索。该数据集聚焦于不同难度的最新算法题目，为模型在动态编程、图论等复杂场景下的代码生成与优化能力提供了标准化测试平台。当前研究热点集中于利用此类基准提升模型的推理泛化性，以应对实际软件开发中不断演变的挑战，其影响在于为代码智能系统的可靠性与实用性设定了更高标准，促进了学术界与工业界在自动化编程工具研发上的深度融合。