OpenAssistant/OASST-DE

German OpenAssistant Conversations Dataset (OASST-DE) 是一个高质量的开源德语对话数据集，旨在推进德语语言模型的研究。该数据集是从OpenAssistant网站获取的对话数据，并通过GPT-3.5 API翻译成德语。数据集创建过程包括过滤和翻译步骤，最终生成了约3.7k个高质量的助手对话样本。数据集结构包含一个conversation字段，每个样本是一个prompter和assistant之间的交替对话列表，每个对话条目包含text和role字段。

原始信息汇总

数据集概述

数据集名称

• 名称: German OpenAssistant Conversations Dataset (OASST-DE)

数据集特征

• 主要特征: conversation
  • 子特征:
    • role: 数据类型为 string
    • text: 数据类型为 string

数据集拆分

• 训练集:
  • 样本数量: 3721
  • 数据大小: 8022604.792326268 字节

数据集大小

• 下载大小: 4325950 字节
• 数据集总大小: 8022604.792326268 字节

许可

• 许可证: Apache-2.0

语言

• 语言: 德语 (de)

大小分类

• 分类: 1K<n<10K

数据集结构

• 结构: 每个示例包含一个交替的对话列表，其中每个条目是一个具有 text 和 role 字段的字典。

使用示例

• 加载数据集: python from datasets import load_dataset ds = load_dataset("OpenAssistant/OASST-DE", split="train") print(ds[0]["conversation"])