datumo/FinRED

FinRED是首个专门用于评估大语言模型在金融领域安全性的全面红队测试基准。该数据集由12位韩国金融安全研究所的领域专家合作开发，包含5,805个基于真实金融威胁场景的对抗性种子提示。与关注通用危害的通用安全基准不同，FinRED针对领域特定的金融风险，包括监管合规违规、金融欺诈促成和系统性信任侵蚀等需要专业评估的风险。数据集采用新颖的两级金融风险分类法，涵盖5个一级风险类别和26个二级子类别，每个提示都经过专家验证，确保场景真实性和潜在危害的清晰性。FinRED is the first comprehensive red team testing benchmark specifically designed to evaluate the safety of Large Language Models (LLMs) in the financial domain. Developed collaboratively by 12 domain experts from the Korea Financial Security Institute, the dataset contains 5,805 adversarial seed prompts based on real-world financial threat scenarios. Unlike general-purpose safety benchmarks that focus on universal harms, FinRED targets domain-specific financial risks, including regulatory compliance violations, facilitation of financial fraud, and systemic trust erosion—risks that require professional evaluation. The dataset adopts a novel two-tier financial risk taxonomy, covering 5 primary risk categories and 26 secondary subcategories. Each prompt has been verified by experts to ensure the authenticity of the scenario and the clarity of its potential harms.

搜集汇总

数据集介绍

构建方式

FinRED数据集的构建过程紧密结合了领域专家的深度参与和系统化的生成流程。首先，12位来自韩国金融安全研究院的专家通过文献综述、焦点小组访谈及共识会议，确立了一套涵盖五大一级风险类别（网络威胁、金融犯罪、虚假信息与欺骗、消费者权益侵犯、合规规避）及26个二级子类别的双层金融风险分类体系。随后，基于该分类体系定义了结构化的JSON模式，并从约500份专家精选的金融文档中检索相关上下文。在模式与上下文的共同驱动下，通过两阶段流程生成结构化的JSON场景，再将其转化为包含动态角色分配与战略要素组合的自然语言对抗性种子提示。最终，所有生成的提示均经过专家的焦点小组访谈验证，以确保场景的真实性、攻击的有效性与伤害的明晰度。

使用方法

FinRED数据集以CSV格式提供，包含‘category_prefix’（风险类别编码）与‘prompt’（对抗性提示文本）两个字段，全部数据整合于test单一分片中，共5805个样本。用户可通过HuggingFace数据集加载库直接下载使用，或从GitHub仓库获取完整的生成管线与评估代码。在评估应用时，建议采用FinRED提供的金融专用LLM-as-a-Judge评估模板，通过调用预设的评判规则，对模型在每一个提示下生成的响应进行多维度评分。数据集的GitHub仓库中还提供了详细的威胁行为模式定义文档、专家验证细节以及完整的评估代码，便于研究者复现实验、进行对比评估或扩展至新的金融风险类别。

背景与挑战

背景概述

随着大语言模型在金融领域的广泛应用，其安全性问题日益凸显，传统通用安全基准难以覆盖金融场景下的专业风险。在此背景下，FinRED数据集由韩国金融安全研究所的12位领域专家与SelectStar AI团队共同开发，于KDD 2026会议发表。该数据集聚焦金融领域特有的威胁，包括监管合规违规、金融欺诈及系统性信任侵蚀等关键问题，通过构建包含5个一级类别和26个二级子类的双层金融风险分类体系，提供了5805条基于真实金融威胁场景的对抗性种子提示。FinRED的出现填补了金融大模型安全评估领域专用基准的空白，为金融AI系统的安全部署提供了系统化的评估工具。

当前挑战

FinRED面临的核心挑战在于其解决的领域问题：金融大模型在应对专业威胁时表现出显著的脆弱性，如模型可能被诱导生成涉及监管规避、身份盗窃或市场操纵的指令，而通用安全对齐方法难以识别此类高度领域化的风险。在数据集构建过程中，挑战同样突出——需要建立精准反映金融安全实践的双层风险分类体系，这涉及对FATF、BIS/BCBS等国际监管框架的深度整合。此外，生成高质量对抗性种子需平衡威胁逼真性与伦理边界，依赖专家驱动的模式不仅要求严密的协作机制，还需通过焦点小组访谈确保分类结构的代表性、一致性与实用性，最终在12位专家的多轮验证下达成83.3%的专家共识。

常用场景

经典使用场景

FinRED作为首个面向金融领域的大语言模型安全红队基准，其最经典的使用场景在于系统性评估和测试金融LLM对领域特定威胁的抵御能力。研究者可借助该数据集包含的5805条对抗性种子提示，覆盖网络威胁、金融犯罪、虚假信息与欺诈、消费者权益侵犯以及合规规避五大一级风险类别，对模型在真实金融场景下的安全性进行多维度量化测评。该数据集的独特价值在于其专家引导的生成流程——经由12位韩国金融安全研究院专家联合开发的两级风险分类体系，确保了每个提示既具备场景真实性，又能精准触发模型在金融法规、消费者保护和系统性信任维护等方面的潜在漏洞。通过结合五维LLM裁判评估框架（危害性、说服力、拒绝质量、事实性和回避性），研究人员能够获得比传统通用安全基准更为深入的金融安全评估结论。

解决学术问题

FinRED数据集精准回应了金融大语言模型安全评估中缺乏领域专门化基准的学术空白。传统通用安全基准仅关注普遍性伤害，难以捕捉金融领域特有的合规性违规、欺诈诱导和系统性信任侵蚀等风险。该数据集通过构建与FATF、BIS/BCBS、NIST等国际监管框架对齐的两级风险分类体系，解决了如何系统化定义和评估金融LLM风险的学术难题。其专家验证流程（83.3%整体一致性，Cohen's κ=0.79）为安全基准的构建质量提供了可量化的信度保障。FinRED的推出不仅推动了金融AI安全研究从直觉判断走向数据驱动，更为交叉学科研究——融合金融监管、网络安全与自然语言处理——提供了标准化的测试平台，对建立负责任的金融AI部署范式具有里程碑式的学术意义。

实际应用

在实际金融场景中，FinRED为金融机构和监管科技公司提供了部署前模型安全审计的关键工具。银行、证券公司和保险公司可利用该数据集对即将上线的客服机器人、智能投顾系统和风险合规助手进行红队测试，识别其在应对钓鱼欺诈诱导、规避AML/CFT反洗钱规则或传播虚假市场信息等场景下的安全漏洞。金融科技企业可将FinRED集成至持续集成/持续部署（CI/CD）安全流水线，作为模型发布前的必经安全关卡。对于监管机构而言，该数据集可作为评估金融AI系统合规性的标准化测试手段，例如检测模型是否遵守欧盟《数字运营韧性法案》（EU DORA）或韩国金融安全院的信息安全监管要求，从而在技术落地层面守护金融生态的系统性安全。

数据集最近研究

最新研究方向

当前，金融领域大语言模型的安全性问题成为前沿研究焦点，FinRED数据集作为首个由韩国金融安全研究院12位专家共同构建的金融红队基准，精准聚焦于金融特有风险，如合规规避、金融欺诈及系统性信任侵蚀。该数据集基于创新的双层风险分类体系，涵盖网络安全、金融犯罪、虚假信息、消费者权益侵犯及合规规避五大一级类别，细分为26个子类，共5805条对抗性种子提示。其研究前沿在于通过专家引导的生成管道与LLM-as-a-Judge评估机制，不仅检验模型的拒绝能力，更深入评估其危害性、说服力及事实准确性，对推动金融LLM在监管合规与风险防范中的安全部署具有里程碑意义。