DeepSeek-R1-Qwen3-8B-Distill

该数据集用于`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`自我认知微调的通用知识混合，共20K条。 DeepSeek-R1-0528-Qwen3-8B自我认知微调最佳实践参考：[https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw](https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw)。 - 蒸馏模型：deepseek-ai/DeepSeek-R1-0528-Qwen3-8B - 推理引擎：vllm0.8.5.post1 - 蒸馏采样数据集：https://modelscope.cn/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT 其中：response和messages部分为蒸馏模型的回复。labels为原始数据集的回复，使用[ms-swift](https://github.com/modelscope/ms-swift)生成。参考命令如下： ```shell NPROC_PER_NODE=8 \ CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ swift infer \ --model deepseek-ai/DeepSeek-R1-0528-Qwen3-8B \ --infer_backend vllm \ --val_dataset liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT#20000 \ --gpu_memory_utilization 0.9 \ --max_model_len 32768 \ --max_new_tokens 12000 \ --write_batch_size 5000 ```本数据集为用于对`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`进行自我认知微调的通用知识混合数据集，共计20K条。 `deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`自我认知微调的最佳实践参考链接：[https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw]。 - 蒸馏模型：`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B` - 推理引擎：vllm0.8.5.post1 - 蒸馏采样数据集：https://modelscope.cn/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT 其中，`response`与`messages`字段为蒸馏模型生成的回复内容；`labels`字段为原始数据集的基准回复，由[ms-swift](https://github.com/modelscope/ms-swift)工具生成。参考执行命令如下： shell NPROC_PER_NODE=8 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 swift infer --model deepseek-ai/DeepSeek-R1-0528-Qwen3-8B --infer_backend vllm --val_dataset liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT#20000 --gpu_memory_utilization 0.9 --max_model_len 32768 --max_new_tokens 12000 --write_batch_size 5000

搜集汇总

背景与挑战

背景概述

该数据集用于对deepseek-ai/DeepSeek-R1-0528-Qwen3-8B模型进行自我意识微调的通用知识混合，包含2万条条目。数据集的响应和消息部分来自蒸馏模型，标签则基于原始数据集通过ms-swift生成。