argilla/Capybara-Preferences

该数据集是基于`LDJnr/Capybara`数据集生成的偏好数据集。通过保留对话中的`conversation`列，并拆分最后一个助手的回复，生成多个模型的替代回复，并使用UltraFeedback对这些回复进行评分和评价。数据集包含多轮对话，后续对话通过`gpt-4-1106-preview`模型生成，并使用多个7B模型生成替代回复。数据集的特征包括`source`、`chosen`、`chosen_rating`、`chosen_model`、`rejected`、`rejected_rating`和`rejected_model`等。

原始信息汇总

数据集概述：Capybara-Preferences

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本生成
• 语言: 英语
• 标签: 偏好、distilabel、合成、dpo、orpo
• 美观名称: Capybara-Preferences
• 大小类别: 10K<n<100K

数据集特征

• source: 字符串类型
• chosen:
  • content: 字符串类型
  • role: 字符串类型
• chosen_rating: 整数类型
• chosen_model: 字符串类型
• rejected:
  • content: 字符串类型
  • role: 字符串类型
• rejected_rating: 整数类型
• rejected_model: 字符串类型

数据集分割

• 训练集:
  • 字节数: 152534966
  • 示例数: 15404
• 下载大小: 78804047
• 数据集大小: 152534966

配置信息

• 默认配置:
  • 数据文件:
    • 分割: 训练
    • 路径: data/train-*

数据集生成

• 生成方式: 使用distilabel工具，通过gpt-4-1106-preview模型和Amplify-Instruct方法生成多轮对话的替代完成。
• 参与模型:
  • argilla/notus-7b-v1
  • mlabonne/NeuralBeagle14-7B
  • teknium/OpenHermes-2.5-Mistral-7B
• 评估方式: 使用gpt-4-1106-preview作为评判，提供评分和理由。

数据集处理

• 处理步骤:
  • 加载数据集
  • 格式化消息
  • 多模型文本生成
  • 合并生成结果
  • 准备指令
  • 进行UltraFeedback评估
  • 保留所需列

额外信息

• 过滤版本: 存在一个过滤版本，移除了包含URL和不自然对话的实例。
• 链接: argilla/Capybara-Preferences-Filtered