DetoxBench

DetoxBench是由亚马逊公司创建的一个综合基准数据集，旨在评估大型语言模型在多任务欺诈与滥用检测中的性能。该数据集包含8个公开数据集，涵盖仇恨言论、有毒聊天、虚假职位发布、钓鱼邮件、欺诈邮件、虚假新闻和厌女症等多个领域。数据集的创建过程涉及从多个文本数据源收集和标注数据，以确保数据的多样性和代表性。DetoxBench的应用领域主要集中在通过大型语言模型检测和缓解恶意语言问题，旨在提高模型在实际应用中的鲁棒性和可靠性，特别是在高风险领域如欺诈和滥用检测中。

DetoxBench is a comprehensive benchmark dataset created by Amazon, designed to evaluate the performance of large language models (LLMs) in multi-task fraud and abuse detection. It comprises 8 public datasets covering multiple domains including hate speech, toxic chat, fraudulent job postings, phishing emails, fraudulent emails, fake news and misogyny. The creation of DetoxBench involves collecting and annotating data from multiple text data sources to ensure the diversity and representativeness of the dataset. The application scenarios of DetoxBench primarily focus on detecting and mitigating malicious language issues via LLMs, aiming to enhance the robustness and reliability of models in real-world applications, especially in high-risk domains such as fraud and abuse detection.

搜集汇总

数据集介绍

构建方式

DetoxBench的构建基于对多种公开可用数据集的整合，这些数据集涵盖了欺诈和滥用的多个方面，包括仇恨言论、有毒聊天、虚假职位发布、钓鱼邮件、垃圾邮件、欺诈邮件、假新闻和厌女症。通过从Hugging Face、Kaggle等在线资源中收集这些数据集，DetoxBench旨在提供一个全面的基准套件，用于评估大型语言模型在识别和缓解各种现实场景中的欺诈和滥用语言的能力。

特点

DetoxBench的特点在于其多样化的任务覆盖和多样的数据集组合，涵盖了从仇恨言论到欺诈邮件等多种欺诈和滥用类型。此外，该基准还评估了多个最先进的LLM，包括来自Anthropic、Mistral AI和AI21家族的模型，提供了对这些模型在关键领域能力的全面评估。

使用方法

DetoxBench的使用方法包括对多个LLM进行系统评估，通过零样本和少样本提示技术，评估其在不同任务上的表现。研究人员和从业者可以利用这一基准来比较不同LLM在多任务欺诈检测中的性能，推动创建更强大、可信和符合伦理的欺诈和滥用检测系统。

背景与挑战

背景概述

DetoxBench数据集由Amazon.com的研究团队于2024年创建，旨在评估大型语言模型（LLMs）在多任务欺诈与滥用检测中的性能。该数据集的核心研究问题是如何在实际应用中，特别是在高风险领域如欺诈和滥用检测中，有效利用LLMs。DetoxBench的推出填补了现有LLM基准测试在欺诈与滥用检测领域的空白，为研究人员和从业者提供了一个系统评估LLMs的工具，推动了更健壮、可信和符合伦理的欺诈与滥用检测系统的开发。

当前挑战

DetoxBench数据集面临的挑战主要集中在两个方面。首先，欺诈与滥用检测领域的数据通常包含敏感的个人信息和财务信息，这使得数据的公开和可用性受到法律和伦理的限制，导致公开的欺诈与滥用数据集稀缺。其次，现有的欺诈与滥用数据集多为数值型，难以直接用于LLMs的任务。这些挑战限制了LLMs在该领域的应用，同时也为构建一个全面的欺诈与滥用检测基准测试带来了困难。

常用场景

经典使用场景

DetoxBench 数据集的经典使用场景在于评估大型语言模型（LLMs）在多任务欺诈与滥用检测中的性能。该数据集涵盖了从垃圾邮件检测到仇恨言论、性别歧视语言识别等多个真实世界场景，为研究人员提供了一个全面的基准套件，以系统地评估LLMs在识别和缓解欺诈与滥用语言方面的能力。

实际应用

在实际应用中，DetoxBench 数据集可用于训练和验证LLMs在金融、在线平台等多个高风险领域的欺诈与滥用检测系统。例如，金融机构可以利用该数据集来提升其反欺诈系统的准确性和效率，而社交媒体平台则可以利用它来过滤和预防有害内容的传播。

衍生相关工作

基于 DetoxBench 数据集，研究人员已经开展了一系列相关工作，包括改进LLMs在多任务欺诈检测中的表现、探索更有效的提示工程技术，以及开发新的模型架构以提升检测精度。此外，该数据集还激发了对LLMs在处理敏感和复杂语言任务中潜在偏见和伦理问题的深入研究。