rasdani/cohere-wikipedia-2023-11-sr-queries

该数据集包含一个`pipeline.yaml`文件，可用于在distilabel中重现生成数据集的流程。数据集的结构包括多个字段，如`_id`、`url`、`title`、`text`、`score`、`views`、`model_name`和`query`。数据集只有一个配置，名为`default`，可以通过Hugging Face的`datasets`库加载。

原始信息汇总

数据集概述

数据集基本信息

• 大小分类: 小于1K
• 下载大小: 726592字节
• 数据集大小: 1355876字节
• 训练集大小: 1500个样本，占用1355876字节

数据集特征

• _id: 字符串类型
• url: 字符串类型
• title: 字符串类型
• text: 字符串类型
• score: 浮点数类型
• views: 浮点数类型
• model_name: 字符串类型
• query: 字符串类型

数据集结构

• 配置名称: default
• 数据文件路径: data/train-*
• 示例结构: json { "_id": "20231101.sr_30171_19", "model_name": "gpt-4o", "query": "u0428u0442u0430 u0458u0435 u0440u0430u0437u043bu0438u043au0430 u0438u0438u0437u043cu0435u0452u0443 u0430u0441u043au043eu0440u0431u0438u043du0441u043au0435 u043au0438u0441u0435u043bu0438u043du0435 u0438 u0434u0435u0445u0438u0434u0440u043eu0430u0441u043au043eu0440u0431u0438u043du0441u043au0435 u043au0438u0441u0435u043bu0438u043du0435?", "score": 1.0, "text": "u0413u043eu0440u0435: u0430u0441u043au043eu0440u0431u0438u043du0441u043au0430 u043au0438u0441u0435u043bu0438u043du0430 (u0440u0435u0434u0443u043au043eu0432u0430u043du0430 u0444u043eu0440u043cu0430 u0432u0438u0442u0430u043cu0438u043du0430 u0426)u0414u043eu043bu0435: u0434u0435u0445u0438u0434u0440u043eu0430u0441u043au043eu0440u0431u0438u043du0441u043au0430 u043au0438u0441u0435u043bu0438u043du0430 (u043eu043au0441u0438u0434u043eu0432u0430u043du0430 u0444u043eu0440u043cu0430 u0432u0438u0442u0430u043cu0438u043du0430 u0426)", "title": "u041eu043au0441u0438u0434u043e-u0440u0435u0434u0443u043au0446u0438u0458u0430", "url": "https://sr.wikipedia.org/wiki/%D0%9E%D0%BA%D1%81%D0%B8%D0%B4%D0%BE-%D1%80%D0%B5%D0%B4%D1%83%D0%BA%D1%86%D0%B8%D1%98%D0%B0", "views": 2377.0403695453497 }

加载数据集

• Python代码: python from datasets import load_dataset

  ds = load_dataset("rasdani/cohere-wikipedia-2023-11-sr-queries", "default")

  或 python from datasets import load_dataset

  ds = load_dataset("rasdani/cohere-wikipedia-2023-11-sr-queries")