oliverkinch/autodata-da-sft

Autodata DA 是一个用于指令微调的丹麦语合成数据集，通过两步骤的LLM流程从Dynaword语料库生成。每个示例都是丹麦语中真实的聊天机器人对话，涵盖多样化的日常用例：总结文档、回答关于文本的问题、起草内容、解释概念和提供建议。提示（prompt）始终是自包含的，包含回答问题所需的任何文档文本，因此在训练过程中不需要外部上下文。数据集包含2965个示例，分为训练集（2816个）和测试集（149个），指令类型包括SUMMARIZE、QA、EXPLAIN、ADVISE、ANALYZE和DRAFT，其中SUMMARIZE和QA占主导（分别占62%和31%）。数据集主要用于丹麦语言模型的监督微调（SFT），兼容trl、SFTTrainer等框架。

Autodata DA is a synthetic Danish instruction fine-tuning dataset generated from the Dynaword corpus using a two-step LLM pipeline. Each example is a realistic chatbot conversation in Danish covering diverse everyday use cases: summarizing documents, answering questions about texts, drafting content, explaining concepts, and giving advice. The prompt is always self-contained — it includes any document text required to answer the question, so no external context is needed during training. The dataset contains 2965 examples, split into train (2816) and test (149) sets, with instruction types including SUMMARIZE, QA, EXPLAIN, ADVISE, ANALYZE, and DRAFT, where SUMMARIZE and QA dominate (62% and 31% respectively). It is intended for supervised fine-tuning (SFT) of Danish language models and is compatible with frameworks like trl and SFTTrainer.

搜集汇总

数据集介绍

构建方式

Autodata DA — Danish Instruction Fine-Tuning Dataset 是一个基于 Dynaword 语料库通过两步大型语言模型流水线合成的丹麦语指令微调数据集。在生成阶段，利用 Qwen3.5-397B 模型从种子文档生成完整的用户消息与助手回复对，对于文档型任务（如摘要、问答等），相关文档文本被直接嵌入用户消息中；对于情境型任务（如建议、解释），模型则基于领域知识创作逼真的用户场景。随后，质量验证器对每个样本进行自包含性、自然度及回复完整性检验，确保数据质量。最终形成涵盖摘要、问答、解释、建议、分析五类指令的 2965 条高质量对话数据。

特点

该数据集以丹麦语真实聊天对话形式呈现，覆盖文档摘要、文本问答、内容起草、概念解释、建议提供等多样化的日常生活场景。每个样本的 prompt 字段均为自包含设计，内嵌所有必要的文档上下文，无需外部知识即可用于训练。指令类型分布呈现明显倾向性，其中摘要（62%）和问答（31%）占据主导，反映了底层 Dynaword 语料库约 50% 为法律与行政文档的构成特点。数据来源涵盖欧盟法规、丹麦法律法规、税务裁决、市政文件、维基百科、健康指南、议会演讲及法院判决等多元领域。

使用方法

该数据集专用于丹麦语语言模型的监督微调（SFT），可兼容 trl、SFTTrainer 或任何支持 prompt/target 对格式的框架。研究者可借助 instruction_type 字段按任务类型对样本进行筛选或加权，以适配特定下游任务需求。训练集包含 2816 条样本，测试集有 149 条，可直接用于模型训练与评估。值得注意的是，源自 Dynaword 语料库的衍生数据许可条款需同步遵守。

背景与挑战

背景概述

Autodata DA 是由 Oliver Kinch 于2026年创建的一个丹麦语指令微调数据集，旨在为低资源语言——丹麦语——提供高质量、多样化的监督式微调（SFT）数据。该数据集基于丹麦基础模型团队构建的 Dynaword 语料库，通过两阶段大语言模型流水线自动生成，标志着合成数据在少资源语言模型训练中的重要进展。核心研究问题在于如何利用合成数据弥合丹麦语在指令微调领域的数据稀缺鸿沟，从而提升模型在真实对话场景中的表现。数据集覆盖摘要、问答、解释、建议与分析五类任务，总计近3000条样本，其发布为丹麦语自然语言处理社区提供了宝贵的训练资源，有望显著推动该语言领域大语言模型的应用与优化。

当前挑战

该数据集所解决的领域挑战在于丹麦语指令微调数据的严重匮乏，尤其是面向真实世界任务的多样化对话数据几乎空白，导致丹麦语大模型难以在实用场景中展现足够的能力。在构建过程中，首要挑战源于 Dynaword 语料库以法律与行政文档为主（约50%），导致生成样本中摘要与问答任务占比极高（合计93%），而建议、解释与分析类数据则显著不足，造成任务分布严重失衡。此外，合成数据的质量瓶颈不容忽视——尽管引入质量验证环节，但响应内容未经人工审核，可能潜藏事实性错误或风格偏差。源数据的许可条款亦对衍生数据的商业或再发布构成限制，增加了数据合规使用的不确定性。

常用场景

经典使用场景

在自然语言处理与低资源语言模型构建的交汇处，autodata-da-sft数据集为丹麦语指令微调提供了基础性资源。其经典使用场景集中于有监督的指令微调（SFT），研究人员可利用其中自包含的prompt与target配对，对丹麦语大语言模型进行任务对齐训练。数据集涵盖摘要生成（SUMMARIZE）、问答（QA）、概念解释（EXPLAIN）、建议提供（ADVISE）与分析（ANALYZE）五种指令类型，为模型在多样化的对话能力上实现均衡提升奠定了基础。

衍生相关工作

autodata-da-sdt的发布催生了多个方向的后续研究工作。其一，它作为高质量丹麦语指令微调数据源，被整合进丹麦基础模型系列（Danish Foundation Models）的训练流程中；其二，研究者基于该数据集中的instruction_type标签，开展了指令类型对模型行为可控性的影响分析，探索了稀疏指令分布下的少样本学习策略；其三，该数据集的双阶段生成与质量验证机制启发了低资源语言合成数据的自训练框架设计，推动了后续如DA-SFT-Eval基准测试的构建，为评估丹麦语对话系统的真实性、完整性提供了标准化指标体系。

数据集最近研究

最新研究方向

当前，随着大语言模型在低资源语言场景下的部署需求激增，丹麦语指令微调数据集的稀缺性成为制约模型本土化性能的关键瓶颈。autodata-da-sft数据集通过创新的两阶段LLM流水线，从Dynaword语料库中合成高质量丹麦语对话对，涵盖摘要、问答、解释等六大任务类型，尤其聚焦法律与行政文本领域，为丹麦语模型的监督微调提供了自洽且无需外部上下文的训练样本。这一生成范式不仅缓解了丹麦语指令数据的匮乏问题，更探索了合成数据在特定语言与领域中的可靠性验证路径——通过质量验证器确保样本的自然性与完整性，其公开的指令类型分布也为后续研究任务定向筛选与权重调整奠定了数据基础，对推动斯堪的纳维亚语系NLP技术落地具有里程碑意义。