遇见数据集

Gustrd/dolly-15k-libretranslate-pt

收藏
Hugging Face2023-07-18 更新2024-03-04 收录
官方服务:

资源简介:

databricks-dolly-15k是一个开源数据集,包含由数千名Databricks员工生成的指令跟随记录,涵盖了头脑风暴、分类、封闭式问答、生成、信息提取、开放式问答和摘要等多种行为类别。该数据集旨在使大型语言模型能够展示类似ChatGPT的交互性。数据集中的记录由员工创建,包括提示/响应对,并避免使用除Wikipedia外的任何网络信息。数据集可用于任何目的,包括学术或商业应用。此外,该数据集还有一个使用LibreTranslate翻译的葡萄牙语版本。

databricks-dolly-15k是一个开源数据集,包含由数千名Databricks员工生成的指令跟随记录,涵盖了头脑风暴、分类、封闭式问答、生成、信息提取、开放式问答和摘要等多种行为类别。该数据集旨在使大型语言模型能够展示类似ChatGPT的交互性。数据集中的记录由员工创建,包括提示/响应对,并避免使用除Wikipedia外的任何网络信息。数据集可用于任何目的,包括学术或商业应用。此外,该数据集还有一个使用LibreTranslate翻译的葡萄牙语版本。

提供机构:
Gustrd
原始信息汇总

数据集概述

基本信息

  • 名称: databricks-dolly-15k
  • 链接: databricks-dolly-15k
  • 语言: 葡萄牙语 (pt)
  • 大小: 10,000 < n < 100,000 记录
  • 许可证: Creative Commons Attribution-ShareAlike 3.0 Unported License (cc-by-sa-3.0)

任务类别

  • 问答 (question-answering)
  • 摘要生成 (summarization)

支持的任务

  • 训练大型语言模型 (LLMs)
  • 合成数据生成
  • 数据增强

数据集内容

  • 由数千名Databricks员工生成的指令遵循记录,涵盖多个行为类别,如头脑风暴、分类、封闭式问答、生成、信息提取、开放式问答和摘要生成。
  • 数据生成过程中,员工可以选择回答其他员工提出的问题,并被要求重新表述原始问题,确保答案的正确性。
  • 某些类别要求员工从维基百科中复制参考文本,这些文本可能包含建议用户在下游应用中移除的维基百科引用编号。

用途

  • 用于指令微调大型语言模型。
  • 作为人类生成的指令提示集,用于合成数据生成和数据增强。

数据收集目的

  • 作为开放源代码的一部分,旨在使大型语言模型能够展示ChatGPT的神奇交互性。
  • 可用于任何目的,包括学术和商业应用。

数据来源

  • 人类生成数据:Databricks员工在八个不同的指令类别中创建提示/响应对。
  • 维基百科:用于需要注释者咨询参考文本的指令类别,员工从维基百科中选择段落。

注释者指南

  • 员工根据简短的描述和示例创建记录,鼓励高任务完成率。
  • 每个类别的注释指南包括创意写作、封闭式问答、开放式问答、摘要生成、信息提取、分类和头脑风暴。

已知限制

  • 数据可能反映维基百科中的偏见、事实错误和主题关注。
  • 注释者可能不是英语母语者。
  • 注释者的人口统计和主题可能反映Databricks员工的构成。
二维码
社区交流群
二维码
科研交流群
商业服务