codeforces-cots

CodeForces-CoTs是一个大规模的数据集，用于训练在竞赛编程任务上进行推理的模型。它包含了10k个由DeepSeek R1生成的CodeForces问题的推理轨迹。数据集包括多个子集：'solutions'子集包含了模型解决问题的代码；'solutions_w_editorials'子集不仅包含模型解决问题的代码，还提供了人类编写的解决方案解释；'test_input_generator'子集用于生成复杂的边缘测试用例和Python测试代码生成器；'checker_interactor'子集用于分类问题，以确定如何验证输出。默认情况下，所有子集都包含C++生成的解决方案，带有'_py'后缀的子集表示Python解决方案。

搜集汇总

数据集介绍

构建方式

CodeForces-CoTs数据集的构建是基于CodeForces竞赛中的编程问题，涵盖了从早期竞赛到2025年的问题，其中包含了约60%的问题的官方解答说明（editorial）。数据集通过 prompts 指导 DeepSeek R1 模型生成问题的解答代码，以及交互式问题分类、边缘测试用例生成等，形成了多个子集，包括C++和Python语言的解决方案。

特点

该数据集的特点在于其规模宏大，包含超过10k的问题，且覆盖面广，时间跨度大。它不仅提供了问题的解答代码，还有官方的解答说明和多个正确的解决方案。此外，数据集还包含了由DeepSeek R1模型生成的针对问题的链式推理（chain of thought），为研究模型在编程问题上的推理能力提供了丰富的样本。

使用方法

使用该数据集时，用户可以从HuggingFace的库中加载所需的子集，例如使用Python代码`load_dataset("open-r1/codeforces-cots", "solutions")`来加载包含C++生成解决方案的子集。用户可以根据需要选择不同的子集进行模型训练、评估或生成测试用例等任务。

背景与挑战

背景概述

CodeForces-CoTs数据集是一款大规模的用于训练竞争编程任务推理模型的的数据集。该数据集包含了由DeepSeek R1生成的10k个CodeForces问题及至多四个推理轨迹。CodeForces作为全球范围内流行的竞赛编程网站，定期举办算法优化问题竞赛，为提升模型代码推理能力提供了丰富的数据资源。此数据集由多个子集组成，包括仅含解决方案的`solutions`，同时提供人类编写解决方案的`solutions_w_editorials`，生成边缘测试用例的`test_input_generator`，以及根据输出验证方式对问题进行分类的`checker_interactor`等。默认情况下，所有子集均包含生成的C++解决方案，而以`_py`后缀命名的子集则为Python解决方案。

当前挑战

在构建CodeForces-CoTs数据集的过程中，研究人员面临了诸多挑战。首先，如何从CodeForces海量的竞赛问题中筛选出具有训练价值的题目是一项艰巨的任务。其次，生成高质量的推理轨迹需要模型具备深厚的代码理解和生成能力。此外，确保数据集的多样性和覆盖面，以及问题难度梯度的合理分布，也是数据集构建中的关键挑战。对于解决的问题而言，CodeForces-CoTs数据集的挑战在于如何有效地利用这些推理轨迹来提升模型的代码理解和生成性能，尤其是在面对复杂和多样化的编程问题时。

常用场景

经典使用场景

CodeForces-CoTs数据集被广泛用于训练竞争编程任务中的推理模型。其经典使用场景在于，研究人员和开发者可以利用该数据集中的问题及其解决方案来训练和评估模型在解决复杂编程问题时的推理能力。

解决学术问题

该数据集解决了在学术研究中如何有效利用竞争编程问题来提升模型推理能力的问题。通过提供带有详细解答和编辑解释的问题，它帮助研究人员深入理解问题解决的过程，从而改进算法和推理模型。

衍生相关工作

基于CodeForces-CoTs数据集，已经衍生出了一系列相关的工作，包括但不限于改进模型生成解决方案的能力，开发自动化测试用例生成器，以及研究如何更好地理解和模拟人类解题过程。