ujjwalpardeshi/chakravyuh-bench-v0

Chakravyuh-Bench-v0是一个针对印度UPI欺诈检测的公开基准数据集，涵盖5种诈骗类别，包括对抗性改写和多轮操纵序列。数据集包含175个测试场景，其中144个诈骗场景（分为5类，每类23-37个，包括34个2024年后新出现的诈骗）、31个非诈骗场景（15个良性场景和16个边界场景用于假阳性控制）、15个多轮场景（2-4轮信任建立→信息询问→金钱请求）、10个对抗性改写（用于鲁棒性测试）和5种区域语言场景（泰米尔语、泰卢固语、卡纳达语、孟加拉语、马拉地语）。数据集仅用于评估，禁止用于训练，采用CC-BY-4.0许可证。

Chakravyuh-Bench-v0 is a public benchmark for Indian UPI fraud detection across 5 scam categories, including adversarial paraphrases and multi-turn manipulation sequences. The dataset contains 175 test scenarios: 144 scam scenarios (5 categories × 23–37 each, including 34 novel post-2024), 31 non-scam scenarios (15 benign + 16 borderline for false-positive discipline), 15 multi-turn scenarios (2–4 turn trust-building → info-ask → money escalations), 10 adversarial paraphrases (robustness probes), and 5 regional-language scenarios (Tamil, Telugu, Kannada, Bengali, Marathi). It is evaluation-only (no training), licensed under CC-BY-4.0.

搜集汇总

数据集介绍

构建方式

Chakravyuh-Bench-v0 数据集专为印度统一支付接口（UPI）欺诈检测评估而设计，其构建过程严谨而透明。所有场景均源自三类公开资料：印度国家支付公司（NPCI）安全公告、印度储备银行（RBI）欺诈报告及印度网络犯罪协调中心（I4C）的公开警报，并辅以新闻媒体报道和公共论坛的用户举报。为确保数据隐私，这些场景并非真实受害者对话的逐字转录，而是基于公开的欺诈模式、受害者人口统计特征及典型损失金额进行重构。数据集包含175个测试场景，其中144个为诈骗场景，覆盖五种主要欺诈类别（如OTP窃取、KYC欺诈、投资诈骗等），并额外纳入了15个良性场景和16个边界场景，以评估检测器的误报率。此外，通过对抗性改写和多轮对话序列的设计，数据集进一步强化了对模型泛化能力与欺诈识别深度的考验。

特点

该数据集的核心特点在于其多维度的评估架构与真实的印度本土化语境。场景按标签类别、难度等级、信息来源和语言种类进行了精细划分，涵盖了从简单的关键词匹配到复杂的上下文推理乃至多轮心理操纵等不同层次的威胁。特别值得关注的是，数据集包含了34个2024年后涌现的新型攻击场景，以及10个对抗性改写样本和15个多轮对话序列，用以评估模型对未知威胁的鲁棒性和对渐进式欺诈策略的识别能力。语言覆盖方面，尽管目前以英语和印度英语为主，但也纳入了泰米尔语、泰卢固语等五种区域性语言作为探测性样本。此外，数据集提供了规则基线的评估结果与标注一致性统计（Cohen's κ = 0.277），强调该基准并非简单的关键词匹配任务，从而引导研究者开发具备真正语义理解能力的检测系统。

使用方法

此数据集作为纯测试集使用，严禁用于模型训练，以避免数据泄露导致的性能膨胀。用户可通过Hugging Face Datasets库便捷加载数据：`load_dataset("chakravyuh/chakravyuh-bench-v0", split="test")`。数据以JSONL格式存储，每行代表一个独立场景，包含攻击序列、真实标签、来源归因及元数据等结构化字段。官方提供了评估脚本，支持运行基于规则的基线分析器，并可选择自助法（Bootstrap）计算95%置信区间。同时，支持调用前沿大模型（如Llama-3、GPT-4o、Claude等）进行零样本评估，但需在环境中配置相应API密钥。建议用户在其他平台（如Chakravyuh多智能体环境）上训练检测器，再在此测试集上完成公正、可重复的性能评估。

背景与挑战

背景概述

Chakravyuh-Bench-v0数据集由Chakravyuh团队于2026年发布，旨在应对印度统一支付接口（UPI）支付体系中日益猖獗的欺诈检测挑战。该数据集依托印度储备银行（RBI）、印度国家支付公司（NPCI）及印度网络犯罪协调中心（I4C）公开报告中的欺诈模式重构而成，精准聚焦OTP盗窃、KYC欺诈、贷款应用欺诈、投资欺诈及冒充欺诈五大类场景。作为首个面向多语言、多轮次UPI欺诈检测的公开基准，它系统性地填补了现有金融安全评测在印度语境下的空白，为规则引擎与大语言模型的检测能力提供了可重复验证的评估基石。

当前挑战

该数据集所攻克的核心挑战在于：1）领域问题层面，传统基于关键词匹配的规则系统在检测高度社会工程化的新型诈骗时检测率仅70.1%，虚假阳性率高达29.0%，而大语言模型易因训练数据中包含真实报道而产生过拟合，因此在34个后2024年新兴欺诈场景上需验证模型的泛化能力；2）构建过程中，团队面临多重约束：所有场景均为公开欺诈模式的重构而非真实受害者对话转录（隐私限制），需平衡82%欺诈场景与18%非欺诈场景的不均衡比例以贴近真实短信流（仅约1%为欺诈），并通过5个区域语言样本对模型的多语言鲁棒性进行试探性评估，同时设计15个2至4轮的多轮操纵序列以逼近真实欺诈链条，最终借对抗性改写（10个样本）与规则-专家判别一致性系数（κ=0.277）揭示出模型必须超越表面模式匹配才能实现实质性的欺诈识别能力。

常用场景

经典使用场景

Chakravyuh-Bench-v0 是专为评估印度统一支付接口（UPI）欺诈检测系统而设计的标准化基准数据集。其最经典的使用场景在于评测各类欺诈检测模型在多语言、多轮对话及对抗性改写条件下的综合性能。数据集精心构建了175个真实场景，涵盖5种典型欺诈类别（如OTP盗窃、KYC欺诈、贷款应用欺诈、投资欺诈和冒充欺诈），并包含良性场景和边界案例以衡量误报率。研究者可基于此基准对规则方法、大语言模型零样本推理或微调后的LoRA模型进行系统评估，聚焦于检测率、假阳性率和F1分数等核心指标，尤其关注模型对新颖欺诈模式的泛化能力。

解决学术问题

该数据集直面印度UPI生态中欺诈检测的学术研究难题，特别是现有基准缺乏多轮对话结构、对抗性改写样本和多语言覆盖的局限。它解决了三大关键问题：一是如何构建包含复杂社会工程攻击时序的检测基准，二是如何评估模型对表面词汇变化（如对抗性改写）的鲁棒性，三是如何衡量模型在低资源印度语言场景中的欺诈识别能力。数据集的重要意义在于首次提供了公开的、可复现的评测框架，推动学术界从简单的关键词匹配向深层次语境理解转变，其规则与专家标注间仅0.277的Cohen's κ系数，有力证明了该基准并非机械模式匹配，而是对模型真实检测能力的严峻挑战。

衍生相关工作

由Chakravyuh-Bench-v0衍生的重要工作包括使用其环境训练的多智能体欺诈检测系统，以及多个前沿大语言模型（如Llama-3.3-70B、GPT-4o-mini、Claude 3.5 Haiku和Gemini 2.0 Flash）的零样本检测基线评估。最具代表性的是Chakravyuh-Qwen2.5-LoRA系列：v1版本虽实现100%检出率但伴随36%的假阳性率，而v2通过奖励优化显著改善，在保持99.3%检测率的同时将误报率降至6.7%，对新颖场景的检测率达97.1%。此外，该基准还催生了对抗性改写检测、多轮对话欺诈建模、跨语言欺诈信号分析等研究方向，并为印度金融安全社区的标准化评估提供了关键支撑。