bbq

BBQ仓库专注于提供用于评估问答系统中社会偏见的基准数据集。该数据集由作者构建的问题集组成，突出了针对属于受保护群体的社会偏见，涵盖了与美国英语环境相关的九个社会维度。BBQ在两种情况下评估模型响应：在信息不足的上下文中，测试响应反映社会偏见的程度；在信息充分的上下文中，测试模型的偏见是否会覆盖正确的答案选择。该数据集以JSONL格式存储，并提供All、Age、Disability_status、Gender_identity等多种配置。BBQ采用CC-BY 4.0授权许可。