JohnTdi/bielik-distill-polish-10k

bielik-distill-polish-10k是一个波兰语指令调优数据集，包含10,304个样本，通过响应级知识蒸馏从Bielik-11B-v3.0-Instruct模型生成。该数据集覆盖波兰历史、文化、政治、科学、地理、习语和一般推理等多个领域，并经过多轮质量控制，包括事实纠正、主题过滤（聚焦波兰和欧洲内容）以及截断移除（约9%的原始数据被移除）。数据格式为JSON，包含用户和助手的消息角色。--- 语言： - 波兰语 许可证：Apache 2.0 任务类别： - 文本生成 - 问答 标签： - 波兰语 - 指令微调 - 知识蒸馏 - 比力克（Bielik） - 监督微调（SFT） 样本规模类别： - 10000 < 样本数 < 100000 --- # 比力克（Bielik）蒸馏波兰语10K数据集（bielik-distill-polish-10k） 该数据集为波兰语指令微调数据集，包含10304条样本，通过对**比力克-11B-v3.0-Instruct（Bielik-11B-v3.0-Instruct，SpeakLeash出品，遵循Apache 2.0协议）**进行响应级知识蒸馏生成。 数据集覆盖波兰历史、文化、政治、科学、地理、习语及通用推理任务，并经过多轮次质量管控流程：包括事实修正、主题筛选（聚焦波兰与欧洲相关内容）、截断数据清理（移除约9%的原始数据）。 ## 数据格式 json { "messages": [ {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."} ] } ## 许可证 Apache 2.0（基于SpeakLeash出品的Bielik-11B-v3.0-Instruct衍生而来）。

搜集汇总

数据集介绍

构建方式

该数据集名为bielik-distill-polish-10k，专为波兰语指令微调而设计，通过响应级别的知识蒸馏技术，从SpeakLeash开发的Bielik-11B-v3.0-Instruct模型中生成10,304条高质量样本。在构建过程中，采用了多轮质量控制策略，包括事实性校正、主题过滤（聚焦波兰及欧洲相关议题）以及截断文本的剔除，最终去除了约9%的原始数据，确保数据集的可靠性与领域相关性。

特点

数据集覆盖波兰历史、文化、政治、科学、地理、习语及通用推理等多元主题，体现了对波兰语自然语言处理任务的深度适配。每条数据采用ChatML（聊天标记语言）格式，以JSON结构组织为包含用户与助手角色交替的消息序列，便于直接用于监督式微调。此外，数据集基于Apache 2.0许可开源，衍生自同样采用Apache 2.0协议的Bielik-11B-v3.0-Instruct模型，保障了学术与商业使用的灵活性。

使用方法

该数据集适用于文本生成与问答任务的模型微调，特别是针对波兰语指令遵循能力的提升。使用时，可直接加载JSON格式文件，通过解析包含'user'与'assistant'角色的消息字段，构建训练数据。建议将其与HuggingFace Transformers或TRL库结合，应用标准的监督微调流程，例如使用SFTTrainer进行训练。注意数据已预设对话结构，无需额外模板转换，但需根据具体任务调整批处理大小与学习率等超参数。

背景与挑战

背景概述

bielik-distill-polish-10k是一个面向波兰语的指令微调数据集，由SpeakLeash团队于近期创建，旨在通过知识蒸馏技术从Bielik-11B-v3.0-Instruct模型中生成高质量的训练样本。该数据集包含10,304条样本，覆盖波兰历史、文化、政治、科学、地理、习语及通用推理等多元领域，为波兰语大语言模型的指令理解与生成能力提供了关键资源。其构建依托了响应级知识蒸馏方法，在保留教师模型能力的同时降低了训练成本，对推动低资源语言的模型对齐研究具有重要示范意义，并为波兰语NLP社区提供了可复用的高质量基准数据。

当前挑战

该数据集面临的核心挑战在于领域问题的复杂性：波兰语作为低资源语言，其指令微调数据稀缺且多样化不足，传统方法难以覆盖波兰特有的文化、习语及历史语境，导致模型在细粒度推理与本地化知识回答中易出现偏差。构建过程中，团队需应对多重质量挑战：首先，原始蒸馏输出中约9%的截断样本需通过多轮质量控制筛选剔除；其次，需人工校正事实性错误并进行主题过滤以确保波兰/欧洲焦点；最后，如何在保持数据多样性的同时平衡蒸馏噪声与教师模型能力传递，仍是该数据集构建的技术难点。

常用场景

经典使用场景

该数据集专为波兰语大语言模型的指令微调（Instruction Tuning）而设计，旨在通过高质量、领域聚焦的对话样本提升模型的指令跟随能力。典型使用场景包括文本生成与问答任务的训练，其中每一条样本均以多轮对话格式呈现，要求模型根据用户指令生成准确且符合语境的波兰语回复。数据集内容涵盖波兰历史、文化、政治、科学、地理、惯用语及常识推理等多元主题，使其成为构建能深度理解波兰语语义与文化背景的轻量级模型（如Bielik系列）的理想训练资源。其在监督式微调（SFT）阶段的应用尤为经典，通过仅10K规模的精选样本即可实现显著的效果提升，避免了大规模通用语料带来的噪声与冗余。

解决学术问题

该数据集有力回应当前波兰语自然语言处理中高质量指令数据匮乏的困境，尤其解决了通用多语言模型在波兰语细粒度任务上的语义偏差与文化脱节问题。通过响应级知识蒸馏技术，将Bielik-11B-Instruct教师模型的内在知识迁移至更小模型，为低资源语言的高效微调提供了可复现的范式。其多重质量控制流程（事实校正、主题过滤、截断剔除）系统性地减少了噪声干扰，使得学术界能够在受限资源下开展波兰语指令跟随、推理能力增强等核心研究。这一数据集的发布推动了低资源语言模型对本土化知识的深层次吸收，验证了知识蒸馏在缩小模型规模与保持波兰语专业理解力之间的平衡可能性。

衍生相关工作

围绕该数据集已衍生出多项经典工作，首先是以Bielik-11B-v3.0-Instruct为教师模型的波兰语大语言模型压缩研究，通过响应级蒸馏实现了模型规模与性能的优化权衡。其次，该数据集启发了面向东欧低资源语言的指令微调数据构建方法论，包括主题驱动的事实校正流程与自适应截断剔除策略。部分研究者将其与英语指令数据集交叉使用，探索跨语言知识迁移的普适规律；同时也有工作基于此数据集的格式标准，扩展了涵盖法律、医学等垂直领域的波兰语微调数据。这些衍生研究共同验证了使用本土化、小规模、高质量数据微调策略在替代大规模通用指令数据方面的可行性与效率优势。