argilla/Capybara-Preferences-Filtered

该数据集基于`argilla/Capybara-Preferences`构建，并应用了进一步的详细过滤。过滤方法由@LDJnr提出并分享，包括移除助手的响应，不仅在最后一轮，还在中间轮次中移除助手的潜在拒绝和/或一些ChatGPT式的表达，如“作为一个AI语言模型”。此外，还移除了助手的响应，不仅在最后一轮，还在中间轮次中移除包含URL的响应，因为这些在大多数情况下是幻觉。有关原始数据集的更多信息，请参考`LDJnr/Capybara`；有关该数据集的基础数据集，请参考`argilla/Capybara-Preferences`。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本生成
• 语言: 英语
• 标签: 偏好, distilabel, 合成
• 美观名称: Capybara-Preferences-Filtered
• 数据集大小: 10K<n<100K

数据集特征

• source: 字符串类型
• chosen:
  • content: 字符串类型
  • role: 字符串类型
• chosen_rating: 整数类型
• chosen_model: 字符串类型
• rejected:
  • content: 字符串类型
  • role: 字符串类型
• rejected_rating: 整数类型
• rejected_model: 字符串类型

数据集分割

• 训练集:
  • 字节数: 146662904.53297845
  • 示例数: 14811
  • 下载大小: 75869500
  • 数据集大小: 146662904.53297845

配置

• 默认配置:
  • 数据文件:
    • 分割: 训练
    • 路径: data/train-*