OrionLLM/NanoThoughts

--- license: apache-2.0 tags: - biology - code - medical - agent - math - smol - small - reasoning - think - Thoughts --- # NanoThoughts ## 1. Introduction **NanoThoughts** is a **small-scale, general-purpose reasoning dataset** composed of approximately **31,000 samples**, specifically curated for **supervised fine-tuning (SFT)**. Unlike large-scale datasets that require heavy compute, NanoThoughts focuses on **efficiency and practicality**, making it ideal for: - Small models - Local training setups - Rapid experimentation - Lightweight reasoning enhancement --- ## 2. Dataset Composition The dataset is a curated mixture of multiple open reasoning datasets: | Source Dataset | Samples | |----------------|--------:| | [OpenCodeReasoning-mini](https://huggingface.co/datasets/nvidia/OpenCodeReasoning-mini) | 8,000 | | [OpenMedicalReasoning](https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT) | 7,000 | | [OpenMathReasoning-mini](https://huggingface.co/datasets/unsloth/OpenMathReasoning-mini) | 8,000 | | [Poseidon-Reasoning-Mini-300K](https://huggingface.co/datasets/PoseidonAI/Poseidon-Reasoning-Mini-300K) | 5,000 | | [Raiden-DeepSeek-R1](https://huggingface.co/datasets/RaidenAI/DeepSeek-R1-Distill) | 3,000 | **Total:** ~31,000 samples许可证: apache-2.0 标签: - 生物学 - 代码 - 医学 - 智能体（agent） - 数学 - smol - 小型 - 推理 - 思考 - 思维 # NanoThoughts ## 1. 引言 **NanoThoughts** 是一款**小规模通用推理数据集**，包含约**31000个样本**，专为**监督微调（Supervised Fine-Tuning, SFT）** 定制打造。 与依赖大量计算资源的大规模数据集不同，NanoThoughts 聚焦**效率与实用性**，非常适配以下场景： - 小型模型训练 - 本地部署训练环境 - 快速实验验证 - 轻量级推理能力增强 ## 2. 数据集构成 本数据集为精选的多开源推理数据集混合集合： | 源数据集 | 样本数量 | |----------------|--------:| | [OpenCodeReasoning-mini](https://huggingface.co/datasets/nvidia/OpenCodeReasoning-mini) | 8000 | | [OpenMedicalReasoning](https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT) | 7000 | | [OpenMathReasoning-mini](https://huggingface.co/datasets/unsloth/OpenMathReasoning-mini) | 8000 | | [Poseidon-Reasoning-Mini-300K](https://huggingface.co/datasets/PoseidonAI/Poseidon-Reasoning-Mini-300K) | 5000 | | [Raiden-DeepSeek-R1](https://huggingface.co/datasets/RaidenAI/DeepSeek-R1-Distill) | 3000 | **总计：** 约31000个样本

搜集汇总

数据集介绍

构建方式

在人工智能与机器学习领域，数据集的构建策略直接影响模型训练的效能与泛化能力。NanoThoughts数据集通过精心整合多个公开推理数据集而形成，其构建过程体现了高效与实用的设计理念。具体而言，该数据集从五个来源中选取样本，包括OpenCodeReasoning-mini、OpenMedicalReasoning、OpenMathReasoning-mini、Poseidon-Reasoning-Mini-300K以及Raiden-DeepSeek-R1，分别贡献了八千、七千、八千、五千和三千个样本，最终汇聚成约三万一千条数据。这种混合构建方式旨在覆盖代码、医学、数学等多个推理领域，为监督微调提供丰富而均衡的语料基础。

特点

作为一个小规模通用推理数据集，NanoThoughts的核心特点在于其轻量化和多功能性。数据集规模适中，约含三万一千个样本，专为资源有限的环境设计，适合小型模型或本地训练场景。其内容融合了代码生成、医疗诊断、数学解题等多种推理任务，展现出跨领域的广泛适用性。这种设计不仅降低了计算负担，还支持快速实验与迭代，使研究者能够高效地探索和增强模型的推理能力，兼顾了效率与实用性。

使用方法

在模型训练与优化实践中，NanoThoughts数据集主要用于监督微调阶段，以提升模型的推理性能。用户可直接加载数据集至训练框架，如Hugging Face生态系统中的工具，进行模型适配。由于数据集规模较小，它特别适用于快速原型开发、轻量级模型训练或在计算资源受限的条件下进行推理能力增强实验。通过针对性地微调，模型能够吸收多领域推理知识，从而在代码、医疗、数学等任务中表现出更稳健的思维链能力。

背景与挑战

背景概述

在人工智能领域，推理能力的构建是推动模型迈向通用智能的核心挑战之一。NanoThoughts数据集应运而生，由研究社区于近期创建，旨在为监督微调提供一个高效、轻量级的解决方案。该数据集整合了来自代码、医学、数学等多个专业领域的开源推理数据，总计约31,000个样本，其设计理念聚焦于实用性与可访问性，特别适用于计算资源有限的小型模型或本地训练环境。通过精心筛选与融合，NanoThoughts不仅促进了轻量级模型在复杂推理任务上的性能提升，也为快速实验与迭代研究提供了重要基础，对推动边缘计算与高效人工智能应用的发展具有积极影响。

当前挑战

NanoThoughts数据集致力于解决多领域复杂推理任务的通用化挑战，其核心问题在于如何使轻量级模型在有限数据下获得稳健的推理能力。构建过程中面临多重挑战：其一，数据融合需协调代码、医学、数学等异构领域的语义与逻辑差异，确保样本质量与一致性；其二，在保持小规模特性的同时，需涵盖足够的推理多样性与深度，以支撑模型泛化；其三，从各源数据集中进行有效采样与去重，避免偏差并维持整体平衡。这些挑战共同指向了高效知识压缩与跨领域迁移学习的根本难题。

常用场景

经典使用场景

在人工智能领域，轻量化推理模型的开发常受限于大规模数据对计算资源的高需求。NanoThoughts作为一个精选的小规模通用推理数据集，其经典使用场景集中于监督微调阶段，特别适合资源受限的环境。研究者可利用该数据集对小型模型进行高效训练，在代码生成、医学诊断和数学推理等多个领域快速提升模型的逻辑思维能力，实现从基础理解到复杂问题解决的平滑过渡。

解决学术问题

学术研究中，构建高效且通用的推理模型常面临数据规模与计算开销之间的平衡难题。NanoThoughts通过整合多个开放推理数据源，提供了一个高质量、多样化的微调样本集合，有效解决了小模型在有限资源下进行多领域推理能力增强的瓶颈。该数据集促进了轻量化人工智能的发展，为在边缘设备或本地部署中实现复杂认知任务提供了可行路径，推动了高效机器学习方法的前沿探索。

衍生相关工作

围绕NanoThoughts数据集，已衍生出一系列专注于高效推理的经典研究工作。这些工作主要探索如何通过小规模高质量数据优化模型架构与训练策略，例如在模型蒸馏、多任务学习以及领域自适应等方面取得进展。相关研究不仅验证了该数据集在提升模型泛化能力方面的有效性，还进一步推动了开源社区中轻量化推理基准的建立，为后续更广泛的跨领域智能应用奠定了方法论基础。