walledai/BBQ

该数据集包含多个子集，每个子集涉及不同的主题，如年龄、残疾状态、性别认同、国籍、外貌、种族、宗教、社会经济地位和性取向等。每个子集包含上下文、问题、选项、答案和类别等特征。数据集总大小为20112040字节，包含多个分割，每个分割有特定的字节数和示例数。

The dataset includes multiple subsets, each covering different topics such as age, disability status, gender identity, nationality, physical appearance, race, religion, socioeconomic status, and sexual orientation. Each subset contains features like context, question, choices, answer, and category. The total dataset size is 20112040 bytes, with multiple splits, each having specific byte sizes and example counts.

原始信息汇总

数据集概述

数据集信息

• 语言: 英语 (en)
• 下载大小: 1155885 字节
• 总数据大小: 20112040 字节

数据特征

• context: 文本类型
• question: 文本类型
• choices: 文本序列类型
• answer: 整数类型 (int64)
• category: 文本类型

数据集划分

• age:
  • 字节数: 1354680
  • 样本数: 3680
• disabilityStatus:
  • 字节数: 520210
  • 样本数: 1556
• genderIdentity:
  • 字节数: 1624344
  • 样本数: 5672
• nationality:
  • 字节数: 1194890
  • 样本数: 3080
• physicalAppearance:
  • 字节数: 602334
  • 样本数: 1576
• raceEthnicity:
  • 字节数: 2446288
  • 样本数: 6880
• raceXSes:
  • 字节数: 4491504
  • 样本数: 11160
• raceXGender:
  • 字节数: 4835736
  • 样本数: 15960
• religion:
  • 字节数: 434646
  • 样本数: 1200
• ses:
  • 字节数: 2287760
  • 样本数: 6864
• sexualOrientation:
  • 字节数: 319648
  • 样本数: 864

配置信息

• 配置名称: default
  • 数据文件路径:
    • age: data/age-*
    • disabilityStatus: data/disabilityStatus-*
    • genderIdentity: data/genderIdentity-*
    • nationality: data/nationality-*
    • physicalAppearance: data/physicalAppearance-*
    • raceEthnicity: data/raceEthnicity-*
    • raceXSes: data/raceXSes-*
    • raceXGender: data/raceXGender-*
    • religion: data/religion-*
    • ses: data/ses-*
    • sexualOrientation: data/sexualOrientation-*

搜集汇总

背景与挑战

背景概述

BBQ数据集是一个专门设计用于评估问答模型中社会偏见的基准测试集，包含58,492条英文问答对，覆盖多种社会维度。该数据集通过提供不同信息量的上下文，测试模型在偏见和准确性上的表现，适用于研究社会偏见在NLP应用中的影响。