tohio/slm-synthetic-task-code

SLM合成任务代码数据集包含初级到中级Python任务，每个任务配有简短的计划和代码片段。该数据集是合成的，适用于SLM数据实验、预训练/继续预训练混合、预训练以及行为评估。数据经过精确去重，但可能包含简单、重复或不完美的示例，不应视为权威事实知识的来源。

The SLM Synthetic Task Code Dataset comprises beginner to intermediate-level Python programming tasks, each paired with a concise plan and code snippet. This synthetic dataset is suitable for SLM data experiments, mixed pre-training/continuous pre-training, standalone pre-training, and behavioral evaluation. The dataset has undergone exact deduplication, but may contain simple, repetitive, or imperfect examples, and should not be regarded as a source of authoritative factual knowledge.

搜集汇总

数据集介绍

构建方式

该数据集通过自动化合成技术生成，聚焦于初阶至中阶Python编程任务的规划与代码片段。每条记录包含类型、任务描述、解决计划及对应代码四个字段，以JSONL格式存储。为确保数据质量，数据经过精确去重处理，但未采用模糊MinHash去重，旨在保留合成样本中固有的结构相似性，避免过度过滤导致有效信息损失。

特点

数据集具备大规模与紧凑架构的双重优势，共包含599,136条记录，存储空间仅458.1 MB，展现出高效的压缩与存储特性。内容集中于编程推理场景，为小型语言模型定制，涵盖从简单任务到中等复杂度问题的广泛难度梯度。由于数据为合成性质，其示例可能存在重复或瑕疵，但正因其结构化特征，特别适用于预训练阶段的混合数据构建。

使用方法

该数据集主要为小型语言模型的预训练、持续预训练及行为评估研究而设计。使用者可直接加载JSONL格式文件，按字段解析类型、任务、计划与代码信息，灵活融入模型训练流水线。建议在实际应用前对数据进行审查与必要的清洗，以确保与目标任务的对齐。该数据集以MIT许可证开放，便于学术与工业场景的广泛使用。

背景与挑战

背景概述

在大语言模型迅猛发展的背景下，合成数据作为提升模型推理与代码生成能力的重要资源日益受到关注。SLM Synthetic Task Code数据集由研究团队于2026年5月30日创建，包含约60万条面向初/中级Python编程任务的记录，每条数据包含任务描述、规划步骤及代码片段。该数据集旨在为小语言模型（SLM）的预训练、持续预训练及行为评估提供高质量、结构化的合成信号，尤其聚焦于增强模型在编程逻辑与任务规划方面的能力。其发布填补了针对轻量级模型定制化合成代码数据的空白，对推动资源受限场景下的语言模型研究具有显著意义。

当前挑战

该数据集面临的核心挑战在于合成数据的固有局限：首先，所解决的领域问题是提升小语言模型的代码推理能力，但合成示例常因设计上的结构相似性而呈现重复或简单模式，可能限制模型泛化至真实世界复杂编程任务的能力。其次，构建过程中虽采用了精确去重以确保数据唯一性，但未使用模糊MinHash去重，可能使得共享有用结构的合成信号被重复保留，影响数据多样性。此外，数据完全源于自动生成，缺乏人工验证，需在使用前严格审查，否则易引入不准确或过时的编程模式，对模型训练造成偏差。

常用场景

经典使用场景

该数据集蕴含近六十万条Python编程任务，每项任务均配备简短计划与对应代码片段，为中小型语言模型（SLM）的预训练与持续预训练提供了丰沛的合成语料。研究者可将其融入混合训练数据中，增强模型对基础编程逻辑与代码生成能力的理解。同时，其简洁的字段结构（类型、任务、计划、代码）便于进行行为评估，用以检验模型在简单至中等难度编程问题上的推理表现。

解决学术问题

在学术研究中，该数据集有效缓解了高质量编程训练数据稀缺的困境，尤其是面向SLM的合成数据需求。传统真实代码库往往包含复杂噪声或版权限制，而本数据集通过合成方式生成，结构清晰、去重严谨，为控制变量实验提供了纯净的基准。它帮助研究者探索合成数据在提升模型代码推理能力方面的作用，并揭示不同预训练混合比例对下游任务的影响，推动了合成数据在语言模型预训练中的方法论研究。

衍生相关工作

该数据集衍生出的相关工作主要集中于合成数据对SLM预训练效果的对比分析，例如将其与真实代码语料混合以评估模型在HumanEval等基准上的性能变化。此外，研究者基于其任务-计划-代码的三元结构，衍生出程序综合与逆向工程任务，探索从自然语言计划到代码的执行生成路径。一些工作还利用该数据集进行合成数据去重策略的研究，比较精确去重与模糊去重在预训练阶段对模型泛化能力的不同影响。