RedRFT

RedRFT是一个轻量级基准，旨在简化和标准化基于强化微调的红队攻击方法的实现和评估。它结合了单文件CleanRL和高度模块化的Tianshou的设计优势，提供高质量的单一文件红队攻击实现和模块化PPO核心组件。它支持多种令牌和句子多样性指标，并具有模块化内部奖励计算功能，便于进行即插即用实验。为了阐明它们对RFT性能的影响，我们对包括低秩自适应（LoRA）、KL散度、拉格朗日乘数等关键组件进行了广泛的消融研究。我们希望这项工作有助于1)全面了解基于RFT的红队攻击算法的实现细节，2)使基于RFT的红队攻击的创新功能快速原型化。

搜集汇总

数据集介绍

构建方式

RedRFT数据集的构建采用了模块化设计理念，将强化微调（RFT）红队测试流程标准化为交互代理、内在奖励估计器和统一PPO优化框架三个核心组件。研究团队通过整合CleanRL的单文件实现优势与Tianshou的高模块化特性，开发了轻量级基准测试框架。数据集构建过程中，采用近端策略优化（PPO）作为算法主干，集成通用优势估计器等核心组件，并设计了支持多种令牌和句子多样性度量的模块化内在奖励计算系统。

使用方法

使用RedRFT数据集时，研究者可通过配置化文件快速部署红队测试实验流程。典型使用场景包含三个步骤：初始化阶段需设定目标语言模型和安全评判模型；训练阶段通过调整内在奖励系数和约束条件参数优化红队语言模型；评估阶段则利用内置的毒性-多样性分析工具对生成的对抗提示进行多维度评估。数据集特别支持快速原型开发，研究者可通过替换内在奖励模块或约束条件公式，在统一评估框架下验证新算法的有效性。

背景与挑战

背景概述

RedRFT数据集由香港城市大学、复旦大学和鸿海研究院的研究团队于2025年6月提出，旨在为基于强化微调（Reinforcement Fine-Tuning, RFT）的红队测试提供一个轻量级、标准化的基准。该数据集针对大型语言模型（LLMs）的安全漏洞检测，通过强化学习微调红队模型生成对抗性提示，以触发目标模型的有害输出。RedRFT整合了CleanRL和Tianshou的设计优势，提供了高质量的单文件实现和模块化的PPO核心组件，支持多种令牌和句子多样性度量。其创新性在于通过标准化评估框架和模块化设计，解决了现有RFT方法在实现细节和结果可复现性上的不足，推动了自动化红队测试领域的发展。

当前挑战

RedRFT面临的挑战主要包括两方面：领域问题挑战和构建过程挑战。在领域问题方面，红队测试需平衡对抗性提示的毒性（触发有害输出的能力）与多样性（避免模式重复），现有方法生成的提示多样性不足，且评估指标缺乏统一标准。构建过程中的挑战包括：1）PPO算法实现细节（如KL散度、LoRA等）对训练稳定性的显著影响；2）模块化设计需兼容不同红队方法（如RPPO、TDiv等方法）的固有奖励计算；3）约束策略优化中拉格朗日乘子的自适应调整；4）评估阶段需同时量化毒性、多样性及语义合理性（如非乱码约束）。此外，目标模型规模扩大时（如GPT-4级别），计算资源需求激增也构成实际挑战。

常用场景

经典使用场景

RedRFT数据集在大型语言模型（LLM）安全评估领域具有重要应用。该数据集主要用于基于强化微调（RFT）的红队测试，通过生成对抗性提示来探测目标LLM的潜在漏洞。其经典使用场景包括文本延续和指令遵循任务，研究人员可以利用RedRFT标准化框架快速实现和评估不同的RFT红队算法。

解决学术问题

RedRFT解决了当前RFT红队方法缺乏统一基准的问题，为研究者提供了标准化的实现和评估流程。该数据集通过模块化设计简化了红队LLM、目标LLM和评判模型之间的交互，支持多种内在奖励计算方式，并集成了拉格朗日对偶方法以处理约束条件下的红队任务。其贡献在于揭示了关键组件（如LoRA、KL散度等）对RFT性能的影响，为后续研究提供了重要参考。

实际应用

在实际应用中，RedRFT可用于评估商业LLM的安全性，帮助开发者识别和修复模型漏洞。安全团队可以利用该数据集自动化生成对抗性提示，测试模型在文本生成、指令执行等场景下的鲁棒性。此外，其轻量级特性使得在有限计算资源下进行大规模红队测试成为可能，为负责任的AI部署提供了重要工具。

数据集最近研究

最新研究方向

近年来，RedRFT数据集在大型语言模型（LLM）安全评估领域引起了广泛关注。该数据集专注于基于强化微调（RFT）的红队测试方法，旨在通过标准化和轻量级的基准测试框架，提升对抗性提示生成的稳定性和可复现性。随着LLM在自然语言处理、推理和编程等领域的广泛应用，其潜在的安全风险日益凸显，RedRFT的提出为研究社区提供了一个统一的评估平台。当前的研究热点包括探索状态级内在奖励与提示级内在奖励的性能对比、约束策略优化的效果，以及低秩适应（LoRA）和KL散度在微调中的关键作用。RedRFT的模块化设计支持快速原型开发，推动了红队测试算法的创新，同时也为LLM的安全对齐和漏洞修复提供了重要工具。该数据集的发布不仅填补了RFT红队测试领域缺乏统一基准的空白，还为后续研究提供了可扩展的实验框架和丰富的基线方法。

相关研究论文

• RedRFT: A Light-Weight Benchmark for Reinforcement Fine-Tuning-Based Red Teaming

  香港城市大学, 复旦大学, 鸿海研究院 · 2025年