rasdani/cohere-wikipedia-2023-11-pt-queries

该数据集名为cohere-wikipedia-2023-11-pt-queries，包含1500个示例，每个示例具有多个特征，包括_id、url、title、text、score、views、model_name和query。数据集是通过distilabel工具生成的，并提供了一个pipeline.yaml文件用于复现生成过程。数据集的结构和加载方式在README中详细说明。

原始信息汇总

数据集概述

数据集基本信息

• 名称: cohere-wikipedia-2023-11-pt-queries
• 大小类别: n<1K
• 创建工具: distilabel

数据集特征

• _id: 字符串类型
• url: 字符串类型
• title: 字符串类型
• text: 字符串类型
• score: 浮点数类型
• views: 浮点数类型
• model_name: 字符串类型
• query: 字符串类型

数据集分割

• 训练集:
  • 大小: 895652字节
  • 示例数量: 1500

数据集大小

• 下载大小: 576869字节
• 数据集大小: 895652字节

配置信息

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

标签

• 标签:
  • synthetic
  • distilabel
  • rlaif

数据集结构

• 默认配置结构: json { "_id": "20231101.pt_103220_4", "model_name": "gpt-4o", "query": "Como a amoxicilina atua no combate às bactérias?", "score": 1.0, "text": "Por ser um antibiótico beta-lactâmico, atua destruindo a parede das células bacterianas, pois se une a uma grande variedade de proteínas responsáveis pela síntese de enzimas que alimentam bactérias infecciosas, deixando-as sem ação.", "title": "Amoxicilina", "url": "https://pt.wikipedia.org/wiki/Amoxicilina", "views": 9884.874571787192 }

加载数据集

python from datasets import load_dataset

ds = load_dataset("rasdani/cohere-wikipedia-2023-11-pt-queries")