vincentmin/eli5_rlhf_explainlikeim5

这是一个处理过的`eli5`数据集版本，专门从`explainlikeimfive`子论坛中提取了训练集的问答对。通过特定函数将title和selftext列合并生成question列，并移除了原始列。数据集创建过程包括生成响应对、每个问题最多采样10对以及全局洗牌。该数据集设计用于偏好学习，处理笔记本也包含在仓库中。

原始信息汇总

数据集概述

数据集名称

• 名称: ELI5 paired
• 别名: Reddit Explain Like Im 5 for Reinforcement Learning Human Feedback

数据集特征

• 任务类别:
  • 文本生成
  • 问答
• 语言: 英语
• 大小类别: 100K<n<1M

数据集内容

• 来源: 处理自eli5数据集，仅包含来自subreddit explainlikeimfive的训练集QA对。
• 处理步骤:
  • 通过函数get_question(example)生成"question"列，移除"title"和"selftext"列。
  • 创建配对(response_j, response_k)，其中j的评分优于k。
  • 每个问题最多采样10对。
  • 全局洗牌数据集。

数据集用途

• 设计目的: 用于偏好学习。