3,200 scam dialogues

该数据集包含3200个电话诈骗对话，由Macquarie University提供，用于评估大型语言模型在对抗性对话中的效果。数据集通过模拟对话的方式，验证了Bot Wars框架在策略涌现、对话自然性和连贯性方面的性能。对话内容涵盖了179小时的人类诈骗互动，旨在解决自动化电话诈骗的问题，并为大型语言模型在诈骗检测和互动方面的应用提供了基准。

This dataset comprises 3200 phone scam conversations, provided by Macquarie University, for evaluating the performance of Large Language Models (LLMs) in adversarial dialogues. It validates the performance of the Bot Wars framework in terms of strategy emergence, dialogue naturalness and coherence through simulated conversational scenarios. The collected conversations span 179 hours of human scam interactions, aiming to address the problem of automated phone scams and provide benchmarks for the application of LLMs in scam detection and interactive scenarios.

搜集汇总

数据集介绍

构建方式

在“Bot Wars”框架中，研究者构建了一个包含3,200个诈骗对话的数据集，用于评估大型语言模型（LLMs）在模拟对抗性对话中的表现。该数据集是通过将LLMs配置为诈骗者和受害者角色，并让它们进行对话来生成的。这些对话被模拟成真实的诈骗场景，以评估LLMs在不同情境下的表现。数据集的构建还包括了对对话内容的分析，以评估敏感信息的提取和披露模式。

特点

该数据集的特点在于其模拟了真实的诈骗对话，并包含了敏感信息的提取和披露模式。数据集还提供了对对话内容的分析，以评估LLMs在不同情境下的表现。此外，数据集还包含了对话长度、语义多样性和交互持续性等定量指标，以评估LLMs的对话效果。

使用方法

该数据集可以用于评估LLMs在模拟对抗性对话中的表现。通过将LLMs配置为诈骗者和受害者角色，并让它们进行对话，研究者可以评估LLMs在不同情境下的表现。此外，数据集还可以用于评估LLMs在处理敏感信息、对话长度、语义多样性和交互持续性等方面的能力。数据集的构建还包括了对对话内容的分析，以评估LLMs在不同情境下的表现。

背景与挑战

背景概述

在日益严峻的网络威胁环境下，电话诈骗作为一种常见的网络安全威胁，对个人和机构造成了严重的经济损失。为了应对这一挑战，研究人员提出了使用大型语言模型（LLMs）进行诈骗诱饵的框架，通过模拟对抗性对话来对抗电话诈骗。Nardine Basta、Conor Atkins和Dali Kaafar等研究人员在Macquarie University的论文中提出了“Bot Wars”框架，该框架使用LLMs生成复杂的诈骗诱饵互动，并通过链式思维推理而非显式优化指标来实现。该研究的主要贡献包括：1）一种新的格式化方法，通过提示架构和链式思维推理实现策略的涌现，无需显式优化，从而弥合传统和提示工程化对话系统之间的差距；2）一种双层提示架构，使LLMs能够生成人口统计上真实的受害者角色；3）一个经过验证的包含3200个诈骗对话的数据集，该数据集通过与179小时的人类诈骗诱饵互动进行基准测试，证明了其在捕捉复杂对抗性动态方面的有效性；4）一个全面的评估框架，通过认知、定量和内容特定指标量化对话的有效性。

当前挑战

该数据集和相关框架面临着一些挑战。首先，诈骗者不断演变其策略和手段，使得自动化的诈骗诱饵解决方案需要不断更新和改进以保持有效性。其次，构建一个能够生成人口统计上真实的受害者角色的LLMs是一个挑战，因为这需要模型能够理解并模拟人类行为和语言的复杂性。此外，确保LLMs在对抗性对话中保持策略的一致性和长期参与度也是一个挑战。最后，评估LLMs在对抗性对话中的表现需要新的评估指标和方法，以确保其有效性和可靠性。

常用场景

经典使用场景

在对抗性对话系统中，3200 scam dialogues数据集的经典应用场景是通过模拟诈骗对话来训练和评估大型语言模型（LLMs）的对话生成能力。该数据集包含了3200个经过验证的诈骗对话，这些对话是根据179小时的人类诈骗诱骗互动数据构建的，可以用来训练LLMs生成逼真的诈骗对话，以及模拟受害者角色，从而评估LLMs在不同场景下的对话生成效果。

解决学术问题

3200 scam dialogues数据集解决了对抗性对话系统中的三个关键挑战：无需优化的策略出现、保持对立目标的一致性以及通过结构化推理链进行一致的长期互动。该数据集为研究对抗性对话系统提供了一个基准，有助于评估LLMs在模拟诈骗对话方面的性能，并为开发更有效的诈骗防御策略提供了数据支持。

衍生相关工作

3200 scam dialogues数据集衍生了多个相关的研究工作，包括：1）基于该数据集开发的新型诈骗对话生成模型，如Bot Wars框架；2）基于该数据集进行的诈骗对话分析和评估工作，如G-Eval模型；3）基于该数据集进行的诈骗防御策略研究，如Lenny系统。这些相关工作不仅推动了对抗性对话系统的研究进展，也为开发更有效的诈骗防御策略提供了理论和技术支持。