Nemotron-Coding-and-Software-Engineering-prompt-only
收藏资源简介：
本数据集是一个专为模型蒸馏实验设计的、按能力主题组合的提示（prompt）数据集，聚焦于编程与软件工程领域。它整合了来自8个不同来源的提示数据，经过规范化去重处理，最终包含1,964,794个唯一提示（源自5,827,983条原始数据行，移除了3,863,189个完全相同的重复项）。数据行保留了标准的提示提取列，并新增了 `source_repo_id` 字段以追溯数据来源。去重过程基于 `system_prompt`、`prompt`、`tools` 和 `schema_str` 字段的规范化值进行，并保留在清单顺序中首次出现的行。原始数据源的许可证和使用条款继续适用。数据集提供了三种配置：默认配置包含主要的去重提示数据；doubleword 配置提供了规模分别为10万、50万和100万请求的、模型无关的JSONL批次，适用于 `dw files prepare`；deepseek-v4 配置则包含10万条由 DeepSeek-V4-Flash 模型生成的完整编程对话，并已转换为适用于 TorchSpec 训练的格式，每条数据包含 `conversations`（原始请求消息及助手回复）、`reasoning_content`（模型返回的独立推理内容）、`tool_calls`（无损保留的OpenAI格式函数调用）和 `tools`（原始请求的工具定义）字段。该数据集适用于代码生成、软件工程任务相关的模型训练、蒸馏和评估。
This dataset is a prompt dataset designed for model distillation experiments, organized by capability themes and focused on programming and software engineering. It integrates prompt data from eight different sources, undergoes normalization and deduplication, and ultimately contains 1,964,794 unique prompts (derived from 5,827,983 original data rows, with 3,863,189 exact duplicates removed). Data rows retain standard prompt extraction columns and add a `source_repo_id` field to trace data origins. Deduplication is based on normalized values of the `system_prompt`, `prompt`, `tools`, and `schema_str` fields, preserving the first occurrence in the list order. Licenses and terms of use from the original data sources continue to apply. The dataset offers three configurations: the default configuration contains the main deduplicated prompt data; the doubleword configuration provides model-agnostic JSONL batches of 100k, 500k, and 1 million requests, suitable for `dw files prepare`; the deepseek-v4 configuration includes 100k complete programming conversations generated by the DeepSeek-V4-Flash model, converted into a format suitable for TorchSpec training, with each data entry containing `conversations` (original request messages and assistant responses), `reasoning_content` (independent reasoning content returned by the model), `tool_calls` (losslessly preserved OpenAI-format function calls), and `tools` (tool definitions from the original request) fields. This dataset is applicable for model training, distillation, and evaluation related to code generation and software engineering tasks.
数据集概述
数据集名称：Coding and Software Engineering Prompt-Only（编码与软件工程提示词专用数据集）
数据集用途：该数据集按能力主题整合了多个仅含提示词（prompt-only）的数据集，用于蒸馏实验。
核心统计
- 唯一提示词数量：1,964,794 条
- 原始数据行数：5,827,983 行
- 移除的精确规范重复项：3,863,189 条
- 去重方法：基于规范化后的
system_prompt、prompt、tools和schema_str进行去重，保留清单顺序中的首条记录
数据来源
该数据集整合了以下 8 个来源数据集（按原始提示词数量排序）：
| 来源数据集 | 原始提示词数量 |
|---|---|
| Nemotron-Competitive-Programming-v1-prompt-only | 3,927,984 |
| Nemotron-SFT-Competitive-Programming-v2-prompt-only | 841,555 |
| Nemotron-SFT-OpenCode-v1-prompt-only | 460,254 |
| Nemotron-SFT-SWE-v2-prompt-only | 256,254 |
| Nemotron-SFT-SWE-v3-prompt-only | 237,970 |
| Nemotron-SWE-v1-prompt-only | 51,029 |
| Nemotron-RL-Agentic-SWE-Pivot-v1-prompt-only | 50,661 |
| Nemotron-SFT-CUDA-v1-prompt-only | 2,276 |
来源说明：所有来源数据集均属于 jamesdborin 用户下的 Nemotron 系列数据集，涵盖竞争性编程、软件工程（SWE）、CUDA 编程和 OpenCode 等主题。
数据字段
- 保留各来源数据集规范化的提示词提取列
- 新增
source_repo_id字段，用于追踪数据来源 - 原始来源的许可证和使用条件继续适用
数据集配置
该数据集提供多种配置：
-
默认配置（default）：包含全部去重后的训练数据，存储为
data/*.csv.gz格式 -
Doubleword 批处理配置：模型无关的 JSONL 请求格式，使用
model: "[MODEL]"占位符，可直接用于dw files prepare：small：100,000 条请求medium：500,000 条请求large：1,000,000 条请求
-
DeepSeek V4 TorchSpec 配置（deepseek-v4）：包含 100,000 条完整的编码对话，由
deepseek-ai/DeepSeek-V4-Flash生成并转换为 TorchSpec 训练格式
DeepSeek V4 TorchSpec 配置说明
每条数据包含以下字段：
conversations：原始请求消息及助手响应reasoning_content：模型返回的独立推理内容tool_calls：保留的 OpenAI 格式助手函数调用tools：原始 OpenAI 格式请求工具定义
特殊处理：请求工具定义同时嵌入系统消息中，以满足 TorchSpec 当前对话加载器的需求；顶层 tools 字段保持不变，供未来工具感知模板使用。conversations 字段可用于 TorchSpec 的 dataset.prompt_key。
