argilla/Capybara-Preferences-Filtered

该数据集基于`argilla/Capybara-Preferences`构建，并应用了进一步的详细过滤。过滤方法由@LDJnr提出并分享，包括移除助手的响应，不仅在最后一轮，还在中间轮次中移除助手的潜在拒绝和/或一些ChatGPT式的表达，如“作为一个AI语言模型”。此外，还移除了助手的响应，不仅在最后一轮，还在中间轮次中移除包含URL的响应，因为这些在大多数情况下是幻觉。有关原始数据集的更多信息，请参考`LDJnr/Capybara`；有关该数据集的基础数据集，请参考`argilla/Capybara-Preferences`。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本生成
• 语言: 英语
• 标签: 偏好, distilabel, 合成
• 美观名称: Capybara-Preferences-Filtered
• 数据集大小: 10K<n<100K

数据集特征

• source: 字符串类型
• chosen:
  • content: 字符串类型
  • role: 字符串类型
• chosen_rating: 整数类型
• chosen_model: 字符串类型
• rejected:
  • content: 字符串类型
  • role: 字符串类型
• rejected_rating: 整数类型
• rejected_model: 字符串类型

数据集分割

• 训练集:
  • 字节数: 146662904.53297845
  • 示例数: 14811
  • 下载大小: 75869500
  • 数据集大小: 146662904.53297845

配置

• 默认配置:
  • 数据文件:
    • 分割: 训练
    • 路径: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集基于`argilla/Capybara-Preferences`进行深度过滤而构建，由`distilabel`工具生成并附加后处理步骤。过滤策略由@LDJnr提出，核心操作包括剔除助手中间轮次中涉及潜在拒绝或包含“作为AI语言模型”等ChatGPT惯用语的回复，同时移除助手中间轮次里出现URL的回复，因这类URL多为模型虚构产物。原始数据源自`LDJnr/Capybara`，经过偏好标注后形成基础集，再通过上述精细筛选得到本数据集，最终包含约1.48万个训练样本。

特点

数据集以偏好学习为核心导向，结构上包含`chosen`与`rejected`两个对比选项，每个选项均记录模型角色、回复内容及对应评分，并额外标注来源模型与数据源。其突出特点在于通过去除含拒绝性表述、AI套话及虚构URL的回复，显著提升数据质量，减少噪声对偏好对齐训练的干扰。数据规模适中（10K-100K），采用Apache-2.0许可，便于学术与工业场景的二次开发与使用。

使用方法

数据集适用于文本生成任务中的偏好对齐微调，尤其是基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）场景。用户可通过HuggingFace Datasets库加载默认配置的`train`分割，利用`chosen`和`rejected`字段构建对比损失函数。建议结合`source`字段追踪数据起源，并依据`chosen_rating`与`rejected_rating`进行质量加权或阈值筛选。数据以JSON格式存储，兼容主流框架如Transformers、TRL等，可直接用于训练偏好模型或奖励模型。

背景与挑战

背景概述

在大型语言模型（LLM）对齐领域，基于人类反馈的强化学习（RLHF）已成为提升模型行为与人类偏好一致性的核心范式。然而，高质量偏好数据的稀缺性始终制约着该领域的进展。在此背景下，Argilla团队与社区贡献者@LDJnr于2023年合作构建了Capybara-Preferences-Filtered数据集，旨在从合成数据中提炼更纯净的偏好信号。该数据集源自LDJnr原生的Capybara对话集，经由Argilla的distilabel工具进行偏好标注与过滤，最终筛选出约1.5万条高质量样本。其核心研究问题在于如何自动化剔除包含拒绝回答、ChatGPT式套话（如“作为AI语言模型”）以及虚构URL等噪声的对话，从而为模型对齐提供更可靠的训练基准。该数据集对偏好学习领域产生了显著影响，为后续如Direct Preference Optimization（DPO）等高效对齐方法提供了关键数据支撑。

当前挑战

Capybara-Preferences-Filtered数据集面临的挑战体现在两个层面。首先，在领域问题层面，它致力于解决偏好数据中普遍存在的噪声干扰问题：原始合成数据常包含助手的回避性回复（如拒绝回答）或幻觉性链接，这些内容会误导模型学习错误的偏好模式，导致对齐效果退化。其次，在构建过程中，团队需应对自动化过滤的精确性挑战：如何设计规则以精准识别并移除“ChatGPT-isms”这类语言特征，同时避免误删合理拒绝或真实引用；此外，跨轮次对话中助手回复的上下文依赖性也增加了过滤难度，需确保仅移除有害回复而不破坏对话逻辑连贯性。这些挑战共同决定了数据集的最终质量与实用性。

常用场景

经典使用场景

Capybara-Preferences-Filtered 数据集的核心应用在于为大型语言模型（LLM）的偏好对齐与指令微调提供高质量的训练样本。该数据集通过精细过滤策略，剔除了包含拒绝性回复、ChatGPT 式套话（如“作为一个AI语言模型”）以及虚构URL的交互轮次，从而保留了更真实、无偏的对话偏好数据。研究者常将其用于训练奖励模型（Reward Model）或直接偏好优化（DPO）任务，以提升模型在遵循用户意图、避免幻觉和保持诚实性方面的表现。作为基于 Capybara 对话语料库的精选版本，它在偏好学习领域充当了清洁、可靠的基准数据源。

衍生相关工作

该数据集衍生了一系列关于偏好过滤与数据净化的重要工作。其过滤策略直接启发了一些后续研究，如探索基于语义相似度或模型置信度的自动噪声检测方法。此外，结合 distilabel 工具链，该数据集推动了合成偏好数据生成与后处理流程的标准化。后续工作如“Preference Data Curation for Aligned LLMs”等论文，常引用此数据集作为对比基线或数据预处理参考。它也促进了针对特定领域（如医疗、法律）的偏好数据构建方法的探索，形成了从通用过滤到领域适配的研究脉络。

数据集最近研究

最新研究方向

在大型语言模型（LLM）的偏好对齐研究中，高质量偏好数据集的构建与精炼成为前沿热点。Capybara-Preferences-Filtered 数据集正是在这一背景下应运而生，它通过对原始 Capybara-Preferences 数据进行深度过滤，剔除了包含拒绝式回应（如“作为AI语言模型”）和幻觉性URL的中间轮次助手回复，显著提升了偏好数据的纯净度与可靠性。这一精细化的数据清洗策略，直接回应了当前LLM训练中常见的“AI腔调”与事实错误问题，为强化学习从人类反馈（RLHF）和直接偏好优化（DPO）等对齐技术提供了更优质的训练基础。该数据集的发布不仅推动了合成数据在偏好学习中的规范化应用，也为社区树立了数据质量控制的新标杆，对提升模型的有用性与诚实性具有重要意义。