benmainbird/prompt_answers_v1

该数据集提供了不同大型语言模型对多个公开数据集中提示的回答。每个条目包含提示、提示来源、不同模型的输出以及生成时间。提示来源于多个公开数据集，如OpenAssistant/oasst1、Anthropic/hh-rlhf等。输出生成时使用了相同的配置参数，如温度、最大新令牌数和重复惩罚。

原始信息汇总

数据集卡片 for Open Prompt Answers

数据集概述

该数据集提供了来自不同大型语言模型对多个公开数据集提示的回答。

• prompt: 来自开源数据集的提示
• prompt_origin: 提示来源的数据集
• Llama-2-7b-chat-hf_output: meta-llama/Llama-2-7b-chat-hf 模型的输出生成
• Llama-2-7b-chat-hf_generation_time: meta-llama/Llama-2-7b-chat-hf 模型回答的生成时间（以秒为单位）
• oasst-sft-4-pythia-12b_output: OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 模型的输出生成
• oasst-sft-4-pythia-12b_generation_time: OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 模型回答的生成时间（以秒为单位）
• vicuna-7b-v1.5_output: lmsys/vicuna-7b-v1.5 模型的输出生成
• vicuna-7b-v1.5_generation_time: lmsys/vicuna-7b-v1.5 模型回答的生成时间（以秒为单位）

提示来源

提示是从以下数据集的子集中提取的：

• OpenAssistant/oasst1: 仅包含没有先前对话树的英语提示（role = prompter 且 parent_id = null）
• Anthropic/hh-rlhf: 仅包含 Human 的初始输入作为提示
• tatsu-lab/alpaca: 将 instruction 和 input 连接起来形成提示
• Dahoas/synthetic-instruct-gptj-pairwise: 来自 prompt 列的提示

输出生成

每个模型的配置相同：

• temperature: 0.7
• max_new_tokens: 512
• repetition_penalty: 1.0

生成时间以秒为单位提供。