avemio/German-RAG-SFT-Alpaca-HESSIAN-AI

German-RAG-SFT数据集是一个基于德语维基百科构建的监督微调任务数据集，专为增强语言模型的RAG（检索增强生成）能力而设计。数据集包括多个任务配置，如分类、提取、OCR校正、带时间差异或不带时间差异的问题回答等，每个配置都有相应的训练和测试数据文件。数据集适用于多种NLP任务，如文本分类、问题回答、摘要生成等，并提供了丰富的任务示例。

The German-RAG-SFT dataset is a supervised fine-tuning task dataset built on the German Wikipedia, specifically designed to enhance the RAG (Retrieval Augmented Generation) capabilities of language models. The dataset includes multiple task configurations such as classification, extraction, OCR correction, question answering with or without time difference, and each configuration has corresponding training and test data files. The dataset is suitable for various NLP tasks such as text classification, question answering, summarization, and provides a wealth of task examples.

搜集汇总

数据集介绍

构建方式

该数据集专为提升语言模型在检索增强生成（RAG）场景下的能力而构建，核心数据源自德国维基百科，经由Cohere提供的嵌入数据集进行合成增强。数据以知识图谱形式组织，其中问题-答案节点与来自同一维基百科页面的相关及不相关上下文节点相连，形成结构化训练样本。此外，推理任务数据基于Tencent的“Scaling Synthetic Data Creation with 1,000,000,000 Personas”方法合成生成，而函数调用数据集则源自Salesforce的XLAM函数调用数据集，并扩展了调用结果与最终答案生成。数据集包含训练集和测试集，训练集规模因任务而异，测试集则统一为1000个样本。

特点

数据集涵盖十个精心设计的子集，包括分类JSON、提取召回、OCR校正、多参考问答、含时间差问答、不含时间差问答、问题生成、相关上下文选择、摘要生成及推理任务，总计约百万级样本。每个子集聚焦于RAG系统中的特定能力，如结构化输出、精确引用、时间感知、多源整合及文本纠错等。数据以Alpaca格式呈现，包含系统指令、用户查询与助手回答，便于直接用于监督微调。其独特之处在于通过合成数据与真实维基百科内容的结合，模拟了复杂的信息检索与生成场景，为模型提供了丰富的训练素材。

使用方法

数据集可通过HuggingFace Datasets库轻松加载，用户需先同意CC-BY-SA-4.0许可协议并填写个人信息。加载时需指定具体配置名称，如'reasoning'、'classification-json'等，每个配置对应不同的任务类型。数据以JSONL格式存储，每条记录包含系统提示、用户输入及预期输出，可直接用于训练序列到序列模型。建议根据任务需求选择相应子集进行微调，例如使用'qa-with-timedifference'子集训练模型的时间感知能力，或使用'ocr-correction'子集提升文本纠错性能。测试集可用于评估模型在未见数据上的泛化表现。

背景与挑战

背景概述

在检索增强生成（RAG）技术蓬勃发展的背景下，针对德语语言模型的监督微调数据集显得尤为珍贵。该数据集由Avemio AG与HESSIAN AI联合创建，于2024年发布，旨在通过构建结构化的知识图谱，提升模型在检索、问答、分类等RAG核心任务上的表现。其核心研究问题聚焦于如何利用合成数据增强技术，从德语维基百科中衍生出高质量、多任务的训练样本，以弥补德语领域RAG数据集的空白。数据集涵盖了推理、分类、提取、OCR纠错、时间敏感问答等十余个子任务，样本量超过百万，为德语自然语言处理社区提供了强大的基准资源，显著推动了多语言RAG系统的发展。

当前挑战

该数据集所解决的领域挑战在于，现有RAG数据集多集中于英语，缺乏针对德语复杂语法、长距离依赖及结构化检索任务的高质量标注数据。构建过程中面临多重困难：首先，从维基百科中自动生成问答对时，需确保问题与上下文的语义关联性，避免噪声数据；其次，时间敏感问答任务要求模型理解时间跨度并做出恰当注释，这需要精细的时序对齐；此外，OCR纠错任务需处理德语特有的字符变异与拼写错误，合成数据的真实性验证极为繁琐。最后，多任务数据格式的统一（如JSON输出、引用索引）增加了标注规范的复杂度，需借助开源LLM进行自动校验与人工筛选，以确保数据质量。

常用场景

经典使用场景

在检索增强生成（RAG）领域，该数据集最经典的使用场景是作为德语大语言模型的监督式微调（SFT）训练语料。通过精心设计的十大任务子集，包括分类、抽取召回、问答（含时间差与多参考）、摘要、OCR纠错等，研究者能够系统性地提升模型在知识检索、上下文理解与结构化输出方面的综合能力。数据源自德语维基百科的知识图谱结构，每个问答节点均关联相关与不相关的上下文片段，从而模拟真实RAG系统中检索与生成之间的复杂交互，为构建更鲁棒的德语RAG模型奠定了坚实基础。

解决学术问题

该数据集针对性地解决了德语NLP研究中长期存在的两大挑战：一是缺乏高质量、大规模且覆盖多种RAG子任务的微调数据；二是现有模型在处理时间敏感信息、多源参考验证以及OCR文本纠错等细粒度任务时表现欠佳。通过引入时间差标注、多参考上下文对比和结构化JSON输出要求，数据集促使模型学会在生成答案时进行时效性判断与来源引用，显著提升了生成内容的事实准确性与可追溯性，对推动德语信息检索与问答系统的学术进步具有里程碑意义。

衍生相关工作

该数据集衍生了一系列具有影响力的工作，其中最为突出的是基于其推理子集（201k条）发展出的德语思维链（Chain-of-Thought）微调方法，该方法借鉴了Tencent的“十亿人格合成数据”思想，通过自动验证与精选机制生成了高质量的多步推理样本。此外，研究者利用其时间差问答子集构建了德语时间敏感型问答基准，催生了多个专注于时序知识更新的评估框架。OCR纠错子集则被集成到多个开源德语文档处理管线中，成为评估OCR后处理算法性能的标准测试集，推动了德语自然语言处理基础设施的完善。