fdaudens/hf-blog-posts-dpo_raw

该数据集是通过distilabel工具生成的，包含了一个`pipeline.yaml`文件，用于重现生成该数据集的pipeline。数据集的结构包括多个字段，如url、targets、authors、date、instruction、generation_model等，涵盖了生成模型、生成内容、语言预测、评分等信息。数据集主要用于生成模型的评估和比较，特别是与人类生成内容的对比。

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: hf-blog-posts-dpo_raw
• 数据集大小:
  • 训练集大小: 2031514字节
  • 下载大小: 998389字节
  • 示例数量: 232
• 数据集类别: 小于1K

数据集特征

• 特征列表:
  • url: 字符串类型
  • targets: 字符串类型
  • authors: 字符串类型
  • date: 字符串类型
  • instruction: 字符串类型
  • generation_model: 字符串类型
  • generation: 字符串类型
  • predicted_generation_language: 字符串类型
  • predicted_generation_language_score: 浮点数类型
  • generations: 字符串序列
  • generation_models: 字符串序列
  • model_name: 字符串类型
  • ratings: 整数序列
  • rationales: 字符串序列

数据集配置

• 配置名称: default
• 数据文件路径: data/train-*

数据集加载

• 加载方式: python from datasets import load_dataset ds = load_dataset("fdaudens/hf-blog-posts-dpo_raw")

数据集结构

• 示例结构: json { "authors": "Dominici", "date": "March 18, 2021", "generation": "Deploying Transformers Sentiment Analysis on Google Cloud", "generation_model": "meta-llama/Meta-Llama-3-70B-Instruct", "generation_models": ["human", "meta-llama/Meta-Llama-3-70B-Instruct"], "generations": ["My Journey to a serverless transformers pipeline on Google Cloud", "Deploying Transformers Sentiment Analysis on Google Cloud"], "instruction": "This article will discuss my journey to deploy the transformers sentiment-analysis pipeline on Google Cloud.", "model_name": "meta-llama/Meta-Llama-3-70B-Instruct", "predicted_generation_language": "eng_Latn", "predicted_generation_language_score": 0.7808554172515869, "ratings": [5, 4], "rationales": ["The title accurately reflects the content of the article.", "The title is accurate and informative."], "targets": "My Journey to a serverless transformers pipeline on Google Cloud", "url": "https://huggingface.co/blog/how-to-deploy-a-pipeline-to-google-clouds" }

数据集使用

• 加载数据集: 使用datasets库加载数据集，支持单配置加载。