deutsche-telekom/wikipedia-22-12-de-dpr

这是一个用于DPR（密集段落检索）模型训练的德语数据集。DPR是RAG（检索增强生成）应用中的重要组成部分。该数据集的独特之处在于它不仅包含问题的训练数据，还包括命令式问题。命令式问题是一种以命令或指令形式表达的问题类型。由于德语中存在正式和非正式的称呼形式，因此在命令式问题中包含了这两种情况。数据集来源于德国维基百科，具体是Cohere提供的wikipedia-22-12-de-embeddings数据集。数据集由Philip May和Deutsche Telekom AG编译并开源，遵循MIT许可证和CC BY-SA 4.0许可证。

原始信息汇总

Wikipedia 22-12 DE DPR 数据集概述

基本信息

• 许可证：CC BY-SA 4.0
• 任务类别：问答
• 语言：德语
• 数据规模：100K<n<1M

创建者

• 创建者：Philip May，Deutsche Telekom AG

许可信息

代码和文档

• 版权：Philip May，Deutsche Telekom AG
• 许可：MIT License

Wikipedia 文本、问题和命令式问题

• Wikipedia 文本：由德国 Wikipedia 的相应作者根据 CC BY-SA 4.0 许可证发布。
• 问题和命令式问题：由 Philip May，Deutsche Telekom AG 根据 CC BY-SA 4.0 许可证发布。

数据处理

• 数据来源：Cohere/wikipedia-22-12-de-embeddings 数据集
• 处理内容：
  • 提取 wiki_id、title 和 text
  • 进行一些标准化和过滤
  • 合并文本至适当的 token 数量
  • 详细处理步骤可在相应的 notebook 中找到