TechxGenus/LeetCode-Contest-zh

LeetCode Contest Benchmark是一个由DeepSeek-Coder提出的新基准测试，用于评估代码生成大语言模型（Code LLMs）。该基准测试包含不同难度的最新算法问题。

原始信息汇总

数据集概述

数据集名称

LeetCode Contest Benchmark

数据集描述

由DeepSeek-Coder提出的一个新基准，用于评估代码大型语言模型（Code LLMs），包含不同难度的最新算法问题。

数据集用途

用于评估和测试代码大型语言模型的性能，通过解决LeetCode中的算法问题来实现。

数据集操作指南

1. 克隆数据集仓库： bash git clone https://github.com/deepseek-ai/DeepSeek-Coder.git cd Evaluation/LeetCode

2. 设置模型或路径： bash MODEL="deepseek-ai/deepseek-coder-7b-instruct"

3. 运行评估脚本： bash python vllm_inference.py --model_name_or_path $MODEL --saved_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl python evaluate_leetcode.py --generation_path output/20240121-Jul.deepseek-coder-7b-instruct.jsonl --result_path output/20240121-Jul.deepseek-coder-7b-instruct.result.jsonl

数据集许可证

• 许可证名称：deepseek
• 许可证链接：https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-instruct/blob/main/LICENSE

数据集分类

• 任务类别：text-generation
• 语言：zh
• 标签：code

引用信息

@article{guo2024deepseekcoder, title = {DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence}, author = {Daya Guo and Qihao Zhu and Dejian Yang and Zhenda Xie and Kai Dong and Wentao Zhang and Guanting Chen and Xiao Bi and Y. Wu and Y. K. Li and Fuli Luo and Yingfei Xiong and Wenfeng Liang}, year = {2024}, journal = {arXiv preprint arXiv: 2401.14196} }

搜集汇总

数据集介绍

构建方式

TechxGenus/LeetCode-Contest-zh数据集，旨在评估代码生成型大型语言模型的能力，其构建方式是搜集并整理了LeetCode平台上不同难度级别的最新算法问题，这些问题构成了数据集的主体内容。

特点

该数据集的特点在于，它提供了一个专门针对代码生成模型的评估标准，覆盖了多种难度级别的算法问题，能够全面检验代码生成模型的性能。此外，数据集的构建遵循了deepseek的版权协议，保证了数据的使用和分发。

使用方法

在使用该数据集时，用户首先需要从GitHub克隆DeepSeek-Coder仓库，然后设置模型或路径，通过运行vllm_inference.py脚本来生成代码，最后使用evaluate_leetcode.py脚本对生成的代码进行评估，并将结果保存至指定路径。

背景与挑战

背景概述

TechxGenus/LeetCode-Contest-zh数据集，是在编程领域内，由DeepSeek-Coder团队于2024年提出的一项新的评估代码语言模型（Code LLMs）的基准。该数据集汇聚了不同难度级别的最新算法问题，旨在通过实际问题检验代码生成模型的能力。DeepSeek-Coder团队的核心研究人员包括Daya Guo、Qihao Zhu等，他们的研究聚焦于大型语言模型与编程的交汇点，推动了代码智能的发展。该数据集不仅为代码生成领域的研究提供了标准化测试平台，而且对提升编程语言模型在实际应用中的性能有着重要影响。

当前挑战

在数据集构建过程中，研究团队面临的挑战包括如何确保算法问题的多样性和代表性，以及如何准确评估模型生成的代码质量。此外，数据集在解决编程领域问题时，面临的挑战是如何在遵守开放许可协议的同时，保障数据的版权和安全性。对于使用该数据集的研究人员来说，挑战在于如何设计出能够生成准确、高效代码的模型，并在此过程中，克服编程语言模型的泛化能力和创造性思维的局限性。

常用场景

经典使用场景

在编程语言模型的性能评估领域，TechxGenus/LeetCode-Contest-zh数据集以其涵盖不同难度级别的最新算法问题而成为一项新的基准。该数据集的使用者通常通过设定模型或路径，运行相关脚本，以生成代码模型的预测结果，并对其进行评估，以此检验模型的代码生成能力。

解决学术问题

该数据集解决了长期以来缺乏统一标准来评价代码生成型大型语言模型的问题。通过提供一系列标准化的编程题目，它帮助学术界准确度量模型在代码理解和生成方面的性能，从而推动了代码智能领域的进步。

衍生相关工作

基于TechxGenus/LeetCode-Contest-zh数据集，研究者们已经开展了一系列相关工作，如DeepSeek-Coder的提出，它在大型语言模型与编程的交汇点上实现了代码智能的飞跃，推动了相关领域的学术研究和产业发展。