jinnovation/generative-ai-red-teaming

该数据集是Generative AI Red-Teaming (GRT)数据集的一个非官方转换版本，由Humane Intelligence (HI)创建，并收集了在DEFCON 31的AI Village中进行的Generative AI Red-Teaming Challenge的发现。数据集与原始版本相比有一些差异，包括过滤了无法解析为整数的`conversation_id`行和删除了无名列。数据集可用于探索生成式AI的红队测试，特别是关于偏见、事实性和误导性等方面的分析。

原始信息汇总

数据集概述

数据集来源

• 本数据集是Generative AI Red-Teaming (GRT) 数据集的非官方转换副本，由Humane Intelligence创建。
• 数据集来源于Generative AI Red-Teaming Challenge，该挑战在AI Village within DEFCON 31中进行。

数据集内容

• 包含三个配置文件：
  • bias: 数据文件为bias_transformed.csv
  • factuality: 数据文件为factuality_transformed.csv
  • misdirection: 数据文件为misdirection_transformed.csv

数据集处理

• 对原始数据进行了以下处理：
  • 过滤了conversation_id无法解析为整数的行。
  • 删除了无名称的列。
• 处理后的数据维度变化：
  • bias: 从(20099, 150)变为(19620, 16)
  • factuality: 从(16711, 383)变为(16205, 16)
  • misdirection: 从(15839, 201)变为(15599, 16)

使用方法

• 数据集可以通过Hugging Face的[dataset viewer]进行基础探索。
• 更深入的分析可以通过Pandas DataFrame在本地加载数据集进行。