多个数据集

仓库中包含了多个数据集，例如Bespoke-Stratos-17k是一个包含问题、推理轨迹和答案的推理数据集。

The repository contains multiple datasets. For example, Bespoke-Stratos-17k is a reasoning dataset that includes questions, reasoning trajectories, and answers.

原始信息汇总

uReasoningLLMs 数据集概述

数据集简介

uReasoningLLMs 是一个针对 Deepseek-r1 模型复现的科普与资源汇总项目，主要包含 R1 蒸馏模型（领域模型或自有 SFT 模型）和 R1-Zero 的复现，用于观测模型的“顿悟”情况。

数据集构成

数据集构建

• 冷启动 Long-Cot 数据、60W 推理数据和 20W 非推理数据对训练过程至关重要。
• 提及了多个数据集构建相关的项目，如 rStar-Math、distilabel_r1_distill 等。

开源数据集

• 包含多个开源数据集，如 Bespoke-Stratos-17k、Countdown-Tasks-3to4、NuminaMath-TIR 等，涵盖了问题、推理轨迹和答案的推理数据集。

医疗数据集

• medical-o1-reasoning-SFT 数据集，用于医疗疾病诊断任务。

多模态数据集

• open-r1-video-4k 等多模态数据集。

相关项目

蒸馏

• Distill Math Reasoning Data from DeepSeek R1 with CAME 等蒸馏相关项目。

强化学习

• 多个强化学习相关项目，如 Llama3.1_(8B)-GRPO、Logic-RL、open-r1 等。

多模型 R1

• Open-R1-Video、open-r1-multimodal、VLM-R1 等多模型 R1 相关项目。

文献资料

• 提供了多份相关论文和资料，如《Distilling the Knowledge in a Neural Network》、DeepSeek-R1 论文等。

参考文献

• 提供了多份 DeepSeek R1 相关项目源码分析和关键技术点梳理的参考文献。

搜集汇总

数据集介绍

构建方式

Bespoke-Stratos-17k数据集的构建，采用Deepseek-R1对Sky-T1_data_17k进行蒸馏，生成包含问题、推理轨迹和答案的推理数据集，旨在增强领域模型的推理能力。

特点

该数据集的特点在于，它是通过蒸馏方法生成的，具有高度的问题-推理-答案结构，有利于模型在推理任务上的学习和优化。同时，数据集的构建考虑了业务场景中合成推理数据的需求，具有实际应用价值。

使用方法

使用Bespoke-Stratos-17k数据集时，用户可以直接从中提取问题、推理轨迹和答案进行模型训练或评估。数据集的格式和内容设计使其适用于推理模型的微调和性能评估，有助于提升模型在实际应用中的推理能力。

背景与挑战

背景概述

Bespoke-Stratos-17k数据集是由Bespokelabs团队创建的，旨在通过使用Deepseek-R1对Sky-T1_data_17k进行蒸馏，生成一个包含问题、推理轨迹和答案的推理数据集。该数据集的创建时间为2023年，主要研究人员来自Bespokelabs团队，其核心研究问题是如何提高LLM的推理能力。Bespoke-Stratos-17k数据集在自然语言处理领域，尤其是在推理任务的研究中，具有较大的影响力，为相关领域的研究提供了重要的数据支撑。

当前挑战

在Bespoke-Stratos-17k数据集的构建过程中，研究人员面临了诸多挑战。首先，如何精确地通过蒸馏过程保留原始数据集中的关键信息，同时生成具有良好推理能力的数据集，是一大挑战。其次，数据集的构建过程中，如何平衡数据的多样性和一致性，以确保数据集的质量和适用性，也是需要解决的问题。此外，在数据集的应用过程中，如何有效地从中提取有用信息，进一步提高LLM的推理能力，也是当前面临的重要挑战。

常用场景

经典使用场景

Bespoke-Stratos-17k数据集是在Sky-T1_data_17k的基础上，通过Deepseek-R1模型进行蒸馏，生成的包含问题、推理轨迹和答案的推理数据集。其经典使用场景主要集中于对大型语言模型进行推理能力的增强训练，特别是在数学领域推理任务的微调与优化。

实际应用

在实际应用中，Bespoke-Stratos-17k数据集可用于训练和评估推理模型，以提高数学问题解决、逻辑推理等智能服务的质量。例如，在教育领域，可以辅助开发智能辅导系统，提升学习效率。

衍生相关工作

基于Bespoke-Stratos-17k数据集，衍生了多项相关工作，如数学推理模型的微调、多模态推理任务的研究等。这些工作进一步扩展了数据集的应用范围，推动了相关领域的学术探索和技术进步。