ACTIVEULTRAFEEDBACK

ACTIVEULTRAFEEDBACK是由苏黎世联邦理工学院团队开发的偏好数据集生成框架，旨在解决大语言模型对齐任务中标注成本高昂的问题。该数据集通过集成30个开源大模型生成多样化候选响应，采用基于不确定性的主动学习策略（如DRTS和DELTAUCB）动态筛选最具信息量的样本对，仅需传统方法1/6的标注量即可达到同等效果。数据生成过程包含响应生成、奖励预测、动态配对选择等模块化流程，特别适用于低资源领域和专家场景的模型微调与奖励建模，显著提升了DPO等优化算法的样本效率。

ACTIVEULTRAFEEDBACK is a preference dataset generation framework developed by a team from ETH Zurich, aiming to address the high annotation cost problem in large language model (LLM) alignment tasks. It generates diverse candidate responses by integrating 30 open-source large language models, and adopts uncertainty-based active learning strategies (e.g., DRTS and DELTAUCB) to dynamically screen the most informative sample pairs, achieving comparable performance with only 1/6 of the annotation volume required by traditional methods. The data generation process comprises modular workflows including response generation, reward prediction, dynamic pair selection and more, which is particularly suitable for model fine-tuning and reward modeling in low-resource domains and expert scenarios, and significantly improves the sample efficiency of optimization algorithms such as DPO.

搜集汇总

数据集介绍

构建方式

在大型语言模型对齐领域，高质量偏好数据的获取常因标注成本高昂而受限。ACTIVEULTRAFEEDBACK 数据集通过模块化主动学习流程构建，其核心在于利用不确定性估计动态筛选信息量最大的响应对进行标注。该流程首先从包含30个不同规模与家族的模型池中为每个提示生成多样化候选响应；随后，基于集成神经网络的奖励模型预测各响应的奖励值及其置信区间；接着，采用如DRTS或DELTAUCB等新颖选择方法，优先挑选预测质量差距显著的响应对提交标注；标注环节借助大型语言模型法官对响应在多个质量维度上进行评分，形成偏好三元组；最终，新标注数据被用于迭代更新奖励模型，形成闭环优化。

特点

该数据集在偏好数据生成领域展现出显著特点。其核心优势在于通过主动学习机制实现了卓越的样本效率，实验表明仅需静态基线六分之一的标注量即可达到相当或更优的下游性能。数据集构建不依赖于特定模型家族，突破了以往方法在领域适用性上的局限，能够灵活适应多样化的任务与领域。此外，流程中引入的DRTS与DELTAUCB等选择方法，专注于最大化响应对间的质量差异而非单纯最小化遗憾，这为偏好学习提供了更具信息量的信号。生成的数据集在奖励建模与模型微调等多个下游任务中均能带来显著性能提升，体现了其高质量与强泛化能力。

使用方法

该数据集主要应用于基于人类反馈的强化学习及其相关优化流程。研究人员可将生成的数据集直接用于奖励模型的训练，通过标准Bradley-Terry目标函数学习人类偏好分布。同时，数据集也适用于如DPO、IPO、SimPO等多种直接偏好优化算法，对基础语言模型进行微调对齐。使用流程通常包括加载数据集、配置相应的训练目标与超参数，并在数学推理、指令遵循、事实性等多个基准上进行评估。其模块化设计允许用户灵活替换响应选择策略或不确定性估计方法，便于在新领域或算法上进行快速实验与基准测试。

背景与挑战

背景概述

在大型语言模型对齐领域，基于人类反馈的强化学习已成为主流范式，但其效能受限于高质量偏好数据的高昂标注成本。为应对这一挑战，苏黎世联邦理工学院的研究团队于2026年提出了ACTIVEULTRAFEEDBACK数据集。该数据集通过模块化主动学习流程，创新性地引入不确定性估计机制，动态筛选信息量最大的响应对进行标注。其核心研究目标在于突破传统静态启发式方法的效率瓶颈，构建能够显著提升下游模型性能的高质量偏好数据集，为低资源与专业领域的模型对齐提供了可扩展的解决方案。

当前挑战

ACTIVEULTRAFEEDBACK旨在解决偏好数据生成中的核心挑战：在有限标注预算下高效识别最具信息量的响应对。其首要挑战在于传统方法如随机采样或最佳N采样导致的样本效率低下与数据质量不足。构建过程中的关键挑战涉及如何设计有效的主动学习策略，以准确量化响应质量的不确定性，并据此动态选择预测质量差距最大的配对。此外，需克服现有方法如Delta学习假设对特定模型家族的依赖，以及传统对决赌博算法目标与偏好数据生成目标之间的错配问题，确保生成的数据集能广泛适用于不同的下游任务与优化算法。

常用场景

经典使用场景

在大语言模型对齐领域，基于人类反馈的强化学习（RLHF）已成为标准范式，但其效果受限于高质量偏好数据的高昂获取成本。ACTIVEULTRAFEEDBACK数据集通过引入主动学习机制，构建了一个模块化的偏好数据生成流程，其经典使用场景在于为RLHF和直接偏好优化（DPO）等对齐方法提供高效、高质量的偏好数据。该流程利用不确定性估计动态识别最具信息量的响应对进行标注，显著提升了数据采集的样本效率，使得在仅需六分之一标注数据的情况下，即可达到或超越静态基线方法的性能表现。

解决学术问题

ACTIVEULTRAFEEDBACK主要解决了偏好数据生成中的样本效率低下与成本高昂问题。传统方法如UltraFeedback、Magpie等依赖静态启发式策略，往往导致数据质量不均或标注冗余。该数据集通过将响应选择建模为上下文决斗老虎机问题，并引入DRTS和DELTAUCB等新颖的主动学习策略，优先选择预测质量差距较大的响应对，从而生成富含学习信号的对比数据。这不仅缓解了低资源领域和专家领域的数据稀缺困境，也为偏好优化算法的鲁棒性评估提供了统一基准，推动了对齐研究从固定数据范式向自适应数据采集的范式转变。

衍生相关工作

ACTIVEULTRAFEEDBACK的提出催生了一系列围绕高效偏好数据生成的衍生研究。其核心方法DRTS和DELTAUCB将Delta学习假说与主动学习相结合，启发了后续工作如RewardUQ等对不确定性感知奖励模型的深入探索。该数据集的模块化设计也为比较不同获取函数（如INFOMAX、DTS）提供了标准化平台，推动了上下文决斗老虎机理论在RLHF中的系统应用。此外，基于该流程构建的开源数据集已成为Olmo 3、SmolLM3等模型训练的关键组成部分，促进了跨模型家族与优化算法（如IPO、SimPO）的泛化性研究，形成了以样本效率为核心的新兴技术生态。