DeepSeek-R1-Qwen3-8B-Distill
收藏魔搭社区2026-05-13 更新2025-05-31 收录
下载链接：
https://modelscope.cn/datasets/swift/DeepSeek-R1-Qwen3-8B-Distill
下载链接
链接失效反馈官方服务：
资源简介：
该数据集用于`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`自我认知微调的通用知识混合，共20K条。
DeepSeek-R1-0528-Qwen3-8B自我认知微调最佳实践参考：[https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw](https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw)。
- 蒸馏模型：deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
- 推理引擎：vllm0.8.5.post1
- 蒸馏采样数据集：https://modelscope.cn/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT
其中：response和messages部分为蒸馏模型的回复。labels为原始数据集的回复，使用[ms-swift](https://github.com/modelscope/ms-swift)生成。参考命令如下：
```shell
NPROC_PER_NODE=8 \
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
swift infer \
--model deepseek-ai/DeepSeek-R1-0528-Qwen3-8B \
--infer_backend vllm \
--val_dataset liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT#20000 \
--gpu_memory_utilization 0.9 \
--max_model_len 32768 \
--max_new_tokens 12000 \
--write_batch_size 5000
```
本数据集为用于对`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`进行自我认知微调的通用知识混合数据集，共计20K条。
`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`自我认知微调的最佳实践参考链接：[https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw]。
- 蒸馏模型：`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`
- 推理引擎：vllm0.8.5.post1
- 蒸馏采样数据集：https://modelscope.cn/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT
其中，`response`与`messages`字段为蒸馏模型生成的回复内容；`labels`字段为原始数据集的基准回复，由[ms-swift](https://github.com/modelscope/ms-swift)工具生成。参考执行命令如下：
shell
NPROC_PER_NODE=8
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
swift infer
--model deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
--infer_backend vllm
--val_dataset liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT#20000
--gpu_memory_utilization 0.9
--max_model_len 32768
--max_new_tokens 12000
--write_batch_size 5000
提供机构：
maas
创建时间：
2025-05-29
