FraudBench

FraudBench是一个多模态基准，用于在真实交易设置下评估AI生成的欺诈性退款证据检测。它包含822个真实世界评论样本和7,928张图像，涵盖29个产品/服务类别，涉及电子商务、食品配送和旅行服务。通过6种先进的图像编辑和生成模型从真实的未损坏参考图像合成虚假损坏证据。该基准评估了11个MLLM、4个专用检测器以及人类参与者，涵盖5个评估维度。

FraudBench is a multimodal benchmark for evaluating AI-generated fraudulent refund evidence detection in real-world transaction scenarios. It contains 822 real-world review samples and 7,928 images, spanning 29 product and service categories across three domains: e-commerce, food delivery, and travel services. Fake damaged evidence is synthesized from genuine unaltered reference images using six state-of-the-art image editing and generation models. This benchmark evaluates 11 MLLMs, four specialized detectors, and human participants, covering five evaluation dimensions.

原始信息汇总

FraudBench 数据集详情

数据集概述

FraudBench 是一个用于检测 AI 生成虚假退款证据的多模态基准数据集。该数据集旨在模拟真实的交易场景，评估各类模型对伪造退款证据的识别能力。

数据集规模与内容

• 样本数量：包含 822 个真实评论样本
• 图像数量：总计 7,928 张图像
• 覆盖类别：涵盖 29 个产品/服务类别，包括电子商务、外卖服务和旅行服务三大领域
• 伪造生成方式：利用 6 种最先进的图像编辑和生成模型，从真实的未损坏参考图像中合成虚假损坏证据
• 评估维度：对 11 个多模态大语言模型 (MLLMs)、4 个专用检测器 以及人类参与者进行 5 个维度的评估

用途声明

该基准数据集仅用于学术研究目的。旨在研究 AI 生成虚假退款证据的风险，以支持开发更可靠的检测方法、平台保障措施和负责任的评估体系。

实验设置

评估条件（共6种）

模式	说明
SingleImage-NoReview	每次调用一张图像，无评论文本
SingleImage-withReview	每次调用一张图像，注入评论
MultiImage-NoReview	所有图像打包为一条用户消息
MultiImage-withReview	单轮传递，注入评论
MultiStep-NoReview	每轮一张图像，附带延续提示
MultiStep-withReview	多步传递，注入评论

消融研究（共2项）

研究	说明
提示敏感性	在10%分层样本上测试5种提示变体
评论错配	同一图像配以来自不同产品类别的评论

评估模型

模型	提供商	API 密钥环境变量
qvq-max-latest	Alibaba DashScope	DASHSCOPE_API_KEY_1
qwen3-vl-plus	Alibaba DashScope	DASHSCOPE_API_KEY_1
qwen3.6-plus	Alibaba DashScope	DASHSCOPE_API_KEY_2
kimi-k2.6	Moonshot / DashScope	DASHSCOPE_API_KEY_2
qwen3-vl-flash	Alibaba DashScope	DASHSCOPE_API_KEY_2
qwen3.6-flash	Alibaba DashScope	DASHSCOPE_API_KEY_3
qwen3.5-omni-plus	Alibaba DashScope	DASHSCOPE_API_KEY_3
grok-4-1-fast-reasoning	xAI	XAI_API_KEY
grok-4.20-reasoning-latest	xAI	XAI_API_KEY
gemini-3-flash	Google	GEMINI_API_KEY
gpt-5.4-mini	OpenAI	OPENAI_API_KEY

评估指标（宏平均）

• TNR：真实损坏图像上的真负率
• TPR：每个生成器在 AI 修改图像上的真正率
• F1：针对伪造类别的二分类 F1 分数
• Bal.Acc：平衡准确率 = (TPR + TNR) / 2
• Conf.：仅针对正确分类图像的平均置信度分数

数据来源与获取

数据集可在 HuggingFace 上获取：https://huggingface.co/datasets/TristanYan/FraudBench

相关资源

• 论文：https://arxiv.org/abs/2605.08820
• 项目主页：https://tristan0318.github.io/FraudBench/
• 作者单位：南洋理工大学计算机与数据科学学院、阿里巴巴-南洋理工大学全球电子商务可持续发展联合实验室、阿里巴巴集团

搜集汇总

数据集介绍

构建方式

随着电商与餐饮配送等在线交易场景的蓬勃发展，退款欺诈行为日趋复杂，AI生成虚假证据成为新的安全挑战。FraudBench为此应运而生，是一个多模态基准数据集，旨在评估AI生成欺诈退款证据的检测能力。该数据集构建于真实世界的交易场景，包含822个真实评论样本及7928张图像，覆盖电商、外卖和旅行服务等29个产品与服务类别。虚假损坏证据的生成基于真实未损坏图像，采用6种先进的图像编辑与生成模型进行合成，确保了伪造样本的逼真性与多样性。数据集共涵盖11种多模态大语言模型、4种专用检测器及人类参与者的评估，提供了全面的检测能力基准。

特点

FraudBench的核心特点在于其多维度的评估体系与精细化的实验设计。数据集支持6种实验条件，包括单图与多图输入、是否附带评论文本、以及多步骤图像呈现模式，全面模拟检测任务的实际复杂性。此外，数据集还包含两项消融研究：提示敏感性实验通过5种提示变体评估模型对细微变化的鲁棒性，评论错配实验则测试模型在图像与评论类别不符时的判别能力。这些设计使得FraudBench不仅衡量模型的整体性能，还能深入分析其在不同条件下的表现差异。

使用方法

使用者可通过统一的Shell脚本轻松执行主实验和消融研究。主实验只需运行scripts/run_detect.sh命令，并通过--with-review、--review-mode等参数灵活配置不同的实验条件。消融研究由scripts/run_ablation.sh脚本驱动，支持自定义采样比例、随机种子和并发数。所有推理均通过供应商API完成，无需本地GPU。实验结果以结构化JSON格式存储于对应类别和模式目录下的summary.json文件中，并通过专用的计算脚本自动生成宏平均指标，如TNR、TPR、F1和平衡准确率，方便研究者进行横向对比与深入分析。

背景与挑战

背景概述

随着生成式人工智能技术的迅猛发展，AI生成的逼真图像与内容正被不法分子滥用于构造虚假退款证据，对电子商务、外卖配送及旅游服务等领域的平台安全与信任体系构成了前所未有的挑战。FraudBench正是在这一背景下，由南洋理工大学计算与数据科学学院与阿里巴巴集团的研究人员于2026年共同创建的多模态基准数据集。该数据集包含822个真实用户评论样本与7,928张图像，覆盖29个产品与服务类别，聚焦于检测由6种前沿图像编辑与生成模型合成的AI欺诈退款证据。其核心研究问题在于系统评估多模态大语言模型及专用检测器在跨评价维度的泛化能力与鲁棒性，为学术领域与工业界提供了标准化评测工具，对推动欺诈检测技术的发展产生了重要影响力。

当前挑战

FraudBench所应对的核心领域挑战在于，AI生成的虚假退款证据与真实损坏图像高度相似，传统检测方法难以有效区分，亟需构建能够捕捉细微伪造痕迹的跨模态检测模型。在数据集构建过程中，研究人员面临多重困难：如何从真实无损参考图像中合成逼真且多样化的伪造损伤图像，同时确保合成结果在视觉上难以察觉；如何设计涵盖不同复杂度的实验条件（如单图与多图输入、评论信息融合与否），以全面评估检测器的表现；此外，还需协调11种多模态大语言模型与4种专用检测器的API调用，并构建可复现的评测流程，确保结果的可靠性与可比性。

常用场景

经典使用场景

在电商、外卖及旅行服务等数字交易场景中，退款欺诈行为频发，而生成式人工智能的迅猛发展使得伪造退款证据（如商品损坏图片）变得愈发逼真且低成本。FraudBench作为首个多模态基准数据集，专为检测AI生成的虚假退款证据而设计，其经典使用场景在于系统性地评估多模态大语言模型（MLLMs）与专用检测器在模拟真实交易环境下的分辨能力。通过涵盖29个产品/服务类别的822条真实评论样本与7,928张图像，该数据集提供了六种实验条件（如单图/多图、是否附评论）和两类消融研究，为研究者搭建了标准化、可复现的评测框架，从而衡量模型在不同提示策略与上下文失配场景中的泛化鲁棒性。

解决学术问题

FraudBench的提出有效弥合了学术领域在伪造退款证据检测方面系统化基准的缺失，解决了当前研究缺乏统一、跨场景评估标准的痛点。该数据集通过合成利用六种先进图像编辑与生成模型制造的虚假损坏证据，填补了从真实无损图像到伪造图像这一关键数据链路的空白，使研究者得以量化11种前沿MLLMs与4种专有检测器的缺陷边界。其深远意义在于揭示了当前最先进模型在面对高质量伪造图像时识别能力的脆弱性，并基于五维评价指标（如TNR、TPR、F1、Bal.Acc与Conf.）首次建立了人机对比基线，进而推动可信赖检测算法、平台防护机制与负责任评估体系的开发，为数字交易信用体系构建提供实证依据。

衍生相关工作

FraudBench的发布衍生了一系列旨在提升伪造证据检测精度的后续研究。其中，基于该基准集提示敏感性消融实验的发现，有学者提出了动态提示工程方法，利用上下文自适应指令优化MLLMs对局部篡改痕迹的聚焦能力。此外，针对跨类别评论与图像失配场景中模型性能显著下降的痛点，相关工作进一步探索了多模态特征解耦与交叉注意力对齐机制，旨在消除语义偏差对检测结果的干扰。在极端情况下，一些工作尝试引入频率域和噪声模式分析作为辅助分类信号，弥补了现有视觉检测器对全局纹理变化敏感度不足的缺陷。这些衍生工作不但拓展了FraudBench的应用边界，更形成了从数据基准到方法创新的良性闭环，共同推进该领域技术突破。