kobprof/skolegpt-instruct

SkoleGPT Instruction Dataset是一个用于丹麦语指令微调的开源数据集，基于OpenOrca数据集的一个质量过滤子集进行翻译。该数据集是SkoleGPT项目的一部分，包含id、system_prompt、question、response和source等特征，主要用于文本生成任务。数据集的创建过程包括数据采样、过滤、翻译和调查指令的收集。数据集由Kasper Junge策划，开发资金由Københavns Professionshøjskole提供，翻译资金由Danish Foundation Models提供，并以MIT许可证共享。

SkoleGPT Instruction Dataset is an open-source dataset for Danish-language instruction tuning, translated from a quality-filtered subset of the OpenOrca dataset. This dataset is part of the SkoleGPT project, containing fields including id, system_prompt, question, response, and source, and is primarily intended for text generation tasks. The dataset creation process includes data sampling, filtering, translation, and the collection of survey instructions. It is curated by Kasper Junge, with development funding provided by Københavns Professionshøjskole, translation funding supported by the Danish Foundation Models, and is shared under the MIT License.

原始信息汇总

数据集概述

基本信息

• 名称: SkoleGPT Instruction Dataset
• 语言: 丹麦语
• 数据类型: 文本生成
• 大小范围: 10K<n<100K
• 许可证: MIT

数据集结构

• 特征:
  • id: 字符串
  • system_prompt: 字符串
  • question: 字符串
  • response: 字符串
  • source: 字符串
• 分割:
  • train: 21580个示例，数据大小37228526字节

数据集来源

• 原始数据: 从OpenOrca数据集中筛选的子集
• 翻译资助: 丹麦基础模型基金会

数据处理

• 数据采样: 从OpenOrca数据集的"1M-GPT4-Augmented.parquet"文件中随机抽样
• 数据过滤: 包括去除已翻译指令、翻译指令、常见前缀和后缀、以冒号结尾的问题、多选题、重复问题和响应，以及去除特殊字符
• 翻译: 使用DeepL服务进行翻译

数据集创建者

• 策划者: Kasper Junge
• 开发资助: Københavns Professionshøjskole
• 共享者: Københavns Professionshøjskole

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指令微调数据集对于提升大语言模型的指令遵循能力至关重要。SkoleGPT指令数据集专为丹麦语指令微调而设计，其构建基于对OpenOrca数据集的质量过滤子集进行翻译。首先，从OpenOrca的“1M-GPT4-Augmented.parquet”文件中加载并随机抽样，形成初始子集并添加来源列以追踪数据起源。随后，通过多步过滤流程精炼数据：移除已翻译的指令条目、剔除包含“translate”关键词的翻译指令、清除问题字段中的常见前后缀、过滤以冒号结尾的不完整问题、去除多项选择题、执行基础清洗（如去除空字段）、删除含异类字符的条目，并消除问题和回答的重复项。最后，利用DeepL服务将过滤后的子集翻译为丹麦语，通过仅翻译16个独特的系统提示而非逐条翻译，显著节省字符配额。此外，数据集还纳入了从SkoleGPT调查中收集的指令，每条指令均配有GPT-4生成的回答。

特点

该数据集的核心特色在于其专为丹麦语场景优化，填补了低资源语言指令微调数据集的空白。它包含21580条训练样本，覆盖系统提示、问题、回答及来源等字段，结构清晰且标注完整。数据来源兼具开放性与针对性：一方面源自OpenOrca的高质量子集经严格过滤与翻译，确保了内容的多样性与可靠性；另一方面融入SkoleGPT实际调查中的指令，增强了教育领域的适用性。过滤流程精心设计，剔除了翻译指令、不完整问题和多项选择题等噪声，保留了高价值指令格式。翻译策略通过复用系统提示的翻译结果，在保证质量的同时大幅降低成本。数据集采用CC-BY-NC-4.0许可证，鼓励非商业研究使用，并附有完整的代码仓库以支持可复现性。

使用方法

该数据集适用于丹麦语大语言模型的指令微调任务，可直接作为文本生成模型的训练数据。使用时，用户可从HuggingFace下载默认配置的train分割，其中包含id、system_prompt、question、response和source五个字段。推荐将system_prompt、question和response组合为输入-输出对，用于监督式微调。由于数据集已预清洗并翻译为丹麦语，无需额外预处理即可加载。研究人员可基于代码仓库中的过滤与翻译流程，进一步定制子集或扩展至其他语言。模型训练时，建议采用标准的因果语言建模目标，将系统提示与问题拼接为输入，回答作为目标输出。对于教育领域应用，可结合SkoleGPT项目背景，优先使用调查来源的指令以提升教学场景的适配性。

背景与挑战

背景概述

在大语言模型（LLM）快速发展的浪潮中，非英语语言的高质量指令微调数据集稀缺成为制约模型本地化应用的关键瓶颈。由哥本哈根职业高等学院（Københavns Professionshøjskole）主导、丹麦基础模型项目（Danish Foundation Models）资助的SkoleGPT项目，于2023年推出了skolegpt-instruct数据集。该数据集由研究员Kasper Junge精心构建，旨在为丹麦语LLM提供指令微调资源。其核心研究问题在于如何将英语领域的先进指令数据集（如OpenOrca）通过系统化的翻译与过滤策略，转化为适配丹麦语场景的高质量训练数据。该数据集不仅填补了丹麦语指令数据的空白，更通过开源共享推动了北欧语言模型领域的学术与工业应用发展，成为连接全球大模型技术与本地语言生态的重要桥梁。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：丹麦语作为小语种，其语法结构、文化语境与英语存在显著差异，直接翻译易导致指令意图扭曲或语义偏差，影响模型微调效果。在构建过程中，团队需应对多重技术挑战：一是数据过滤环节需精准剔除翻译指令、多重选择题及格式异常条目，避免噪声污染；二是通过DeepL API翻译时，需巧妙优化字符消耗，例如仅翻译16个唯一系统提示而非逐行操作，以降低成本；三是需处理来自SkoleGPT用户调研的指令，确保其与GPT-4生成响应的对齐质量。此外，保持数据集的规模与多样性平衡，同时规避版权与隐私风险，亦是持续存在的挑战。

常用场景

经典使用场景

SkoleGPT Instruction Dataset 作为丹麦语指令微调领域的开创性资源，其最经典的使用场景在于为大型语言模型提供高质量的丹麦语指令数据。该数据集通过对 OpenOrca 数据集进行精心筛选与翻译，构建了包含系统提示、问题与响应的三元组结构，适用于监督式微调（SFT）范式。研究者可借助此数据集，将通用预训练模型转化为能够理解并遵循丹麦语指令的对话式智能体，尤其适用于教育科技场景下的语言模型定制化训练，如 SkoleGPT 项目所展示的课堂辅助应用。

衍生相关工作

该数据集衍生了一系列重要工作，包括基于其构建的丹麦语专用指令微调模型 SkoleGPT，以及后续的领域适配研究。研究者借鉴其数据筛选与翻译管线，开发了面向其他斯堪的纳维亚语言（如瑞典语、挪威语）的平行指令数据集。此外，该数据集催生了关于低资源语言指令微调数据质量评估的基准测试，以及针对丹麦语文化特有表达（如复合词、方言变体）的模型鲁棒性分析。这些工作共同构成了北欧自然语言处理生态系统的核心组件，推动了多语言指令微调方法论的系统性进展。

数据集最近研究

最新研究方向

在大语言模型（LLM）领域，指令微调数据集的质量与语言多样性正成为提升模型性能的关键突破口。kobprof/skolegpt-instruct 数据集的发布恰逢其时，它通过对 OpenOrca 这一高质量英文指令数据集进行严格过滤与丹麦语翻译，构建了首个面向丹麦语教育场景的开源指令微调资源。该数据集不仅剔除了翻译指令、选择题等噪声样本，还通过 DeepL 服务保留了原始指令的语义完整性，并引入 SkoleGPT 项目中的真实用户调查指令，显著增强了数据集的生态相关性。这一工作直接响应了当前北欧语言在 LLM 领域资源匮乏的痛点，为丹麦语基础模型的指令对齐提供了标准化训练基准。其与 Danish Foundation Models 的合作更凸显了该数据集在推动多语言、低资源语言 LLM 研究中的战略意义，有望促进教育、政务等领域的本地化智能应用发展。