Fraud-R1

Fraud-R1是一个新颖的双语（英语和中文）基准，旨在评估LLM在五种现实世界场景（欺诈服务、冒名顶替、网络钓鱼诈骗、虚假招聘和在线关系）中防御欺诈和钓鱼诱导的能力。该数据集包含从社交媒体、新闻报告、讲座材料和先前单一任务欺诈数据集中手动收集的全面欺诈案例。数据集分为两个子集：FP-base和FP-levelup，后者是基于前者的规则增强数据集，用于多轮对话设置。

Fraud-R1 is a novel bilingual (English and Chinese) benchmark designed to evaluate the ability of Large Language Models (LLMs) to defend against fraud and phishing inducements across five real-world scenarios: fraudulent services, identity impersonation, phishing scams, fake recruitment, and online relationships. This dataset contains comprehensive fraud cases manually collected from social media, news reports, lecture materials, and prior single-task fraud datasets. It is divided into two subsets: FP-base and FP-levelup. The latter is a rule-enhanced dataset based on the former, tailored for multi-turn conversation settings.

搜集汇总

数据集介绍

构建方式

Fraud-R1数据集的构建方法涉及从真实世界的网络诈骗、虚假招聘、社交媒体和新闻报道中筛选出8,564个诈骗案例，并将其分为五大类：虚假服务、冒充、钓鱼诈骗、虚假招聘和在线关系诈骗。数据集包括基础数据集FP-base和基于规则的增强数据集FP-levelup。FP-base直接从精选的诈骗案例中生成，而FP-levelup则是一个多轮对话设置，用于模拟真实世界中诈骗策略的逐步演变。数据集的构建过程经过严格的质量控制，包括去除风险警告、替换占位符文本和过滤模棱两可的案例，以确保数据的真实性和可靠性。

特点

Fraud-R1数据集的特点在于其多轮评估流程，能够评估LLMs在不同阶段的诈骗防御能力，包括建立信任、创造紧迫感和情感操纵。此外，数据集支持两种评估设置：HelpfulAssistant和Role-play。HelpfulAssistant设置中，LLM提供一般性决策建议，而Role-play设置中，模型模拟特定角色，广泛用于现实世界的基于代理的交互。数据集还包含中英双语样本，突出了多语言诈骗检测能力的重要性。

使用方法

使用Fraud-R1数据集时，研究人员可以评估LLMs在不同诈骗场景下的防御能力。数据集提供的多轮评估流程允许模型逐步应对越来越复杂的诈骗策略，从而更真实地模拟现实世界的交互。评估指标包括防御成功率（DSR）、DSR@k和AVG(k)，这些指标能够全面衡量模型在多轮交互场景中的表现。研究人员可以使用这些指标来比较不同模型、设置和语言下的诈骗检测性能，并识别模型的潜在弱点。

背景与挑战

背景概述

在人工智能领域，大型语言模型（LLMs）在现实世界中的应用日益广泛，尤其是在金融服务、电子商务和推荐系统等领域。然而，这些模型容易受到虚假信息、数据中毒和对抗性操纵的影响，这在它们执行决策任务时构成了重大风险。为了评估LLMs在对抗网络欺诈和钓鱼攻击方面的鲁棒性，Shu Yang等人创建了Fraud-R1数据集。该数据集由8,564个欺诈案例组成，涵盖了五种主要的欺诈类型，包括欺诈服务、伪装、钓鱼攻击、虚假职位发布和在线关系。Fraud-R1的特点是引入了一个多轮评估流程，以评估LLMs在不同阶段的欺诈防御能力，包括建立信誉、创造紧迫性和情感操纵。该数据集的设计旨在反映现实世界中的动态场景，并评估LLMs在帮助助手和角色扮演设置下的表现。

当前挑战

Fraud-R1数据集的研究背景表明，LLMs在对抗网络欺诈和钓鱼攻击方面面临着重大挑战。特别是，数据集评估发现，在角色扮演设置和虚假职位发布中，LLMs的防御成功率显著下降。此外，还观察到中文和英文之间存在显著的性能差距，这突出了提高多语言欺诈检测能力的需求。为了应对这些挑战，研究人员需要开发更强大的多轮评估和检测系统，并探索多语言模型的安全性和鲁棒性。此外，还需要对LLMs进行伦理考量，防止它们被用于生成欺诈内容。

常用场景

经典使用场景

Fraud-R1数据集是专为评估大型语言模型(LLM)在动态、现实世界场景下抵御网络欺诈和钓鱼攻击的能力而设计的。该数据集由8,564个欺诈案例组成，来源于钓鱼诈骗、虚假招聘信息、社交媒体和新闻等，并分为5个主要的欺诈类型。Fraud-R1引入了多轮评估流程，以评估LLM在不同阶段的欺诈防御能力，包括建立信任、制造紧迫感和情感操纵。此外，该数据集在两种设置下评估了15个LLM：(i) HelpfulAssistant，其中LLM提供一般的决策支持；(ii) Role-play，其中模型扮演特定的角色，这在现实世界的基于代理的交互中广泛使用。

解决学术问题

Fraud-R1数据集解决了LLM在现实世界场景下对欺诈和钓鱼攻击的防御能力评估问题。现有的评估通常局限于简单的分类任务，并且没有包含多轮评估和新兴的欺诈策略，例如虚假演员招募。Fraud-R1旨在通过引入多轮评估流程和更接近现实世界的欺诈场景来解决这个问题，从而更准确地反映LLM在现实世界交互中的防御能力。

衍生相关工作

Fraud-R1数据集的衍生相关研究包括对LLM的欺诈防御能力进行更深入的评估，以及对多语言欺诈检测能力的改进。此外，Fraud-R1还可以用于开发更先进的欺诈检测和风险预警系统，以帮助缓解现实世界的威胁。