SLLMBias/qa_BBQ_trans_gender

Name: SLLMBias/qa_BBQ_trans_gender
Creator: SLLMBias
Published: 2024-06-07 02:31:21
License: 暂无描述

Hugging Face2024-06-07 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/SLLMBias/qa_BBQ_trans_gender

下载链接

链接失效反馈

官方服务：

资源简介：

--- configs: - config_name: default data_files: - split: validation path: data/validation-* dataset_info: features: - name: example_id dtype: int64 - name: question_index dtype: string - name: question_polarity dtype: string - name: context_condition dtype: string - name: category dtype: string - name: answer_info struct: - name: ans0 sequence: string - name: ans1 sequence: string - name: ans2 sequence: string - name: additional_metadata struct: - name: source dtype: string - name: stereotyped_groups sequence: string - name: subcategory dtype: string - name: version dtype: string - name: context dtype: string - name: question dtype: string - name: ans0 dtype: string - name: ans1 dtype: string - name: ans2 dtype: string - name: label dtype: int64 - name: audio dtype: audio: sampling_rate: 16000 - name: ASR_LLM_Prompt dtype: string - name: SLLM_Prompt dtype: string - name: tts_provider dtype: string - name: speaker dtype: string - name: __index_level_0__ dtype: int64 splits: - name: validation num_bytes: 1681582084.608 num_examples: 5184 download_size: 836364705 dataset_size: 1681582084.608 --- # Dataset Card for "qa_BBQ_trans_gender" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

SLLMBias

原始信息汇总

数据集概述

数据集配置

配置名称: default
数据文件:
- 分割: validation
- 路径: data/validation-*

数据集特征

example_id: int64
question_index: string
question_polarity: string
context_condition: string
category: string
answer_info:
- ans0: string
- ans1: string
- ans2: string
additional_metadata:
- source: string
- stereotyped_groups: string
- subcategory: string
- version: string
context: string
question: string
ans0: string
ans1: string
ans2: string
label: int64
audio:
- sampling_rate: 16000
ASR_LLM_Prompt: string
SLLM_Prompt: string
tts_provider: string
speaker: string
index_level_0: int64

数据集分割

名称: validation
数据大小: 1681582084.608字节
示例数量: 5184

数据集大小

下载大小: 836364705字节
数据集总大小: 1681582084.608字节

搜集汇总

数据集介绍

构建方式

该数据集基于BBQ（Bias Benchmark for QA）基准进行构建，专注于性别相关的偏见评估。在构建过程中，首先从BBQ中提取与性别相关的问答样本，随后通过文本转语音（TTS）技术将文本问题转化为音频数据，并引入自动语音识别（ASR）系统生成对应的文本转录。此外，数据集还设计了特定的提示模板（SLLM_Prompt和ASR_LLM_Prompt），以支持对语音语言模型和传统语言模型的联合评估。所有样本均包含上下文、问题、多个候选答案及标签，确保覆盖不同情境下的性别刻板印象测试。

特点

该数据集的核心特点在于融合了文本与音频模态，为性别偏见检测提供了多维度测试环境。其包含5184个验证样本，每个样本均配备原始文本、ASR转录文本及语音音频，能够同时评估语言模型在纯文本和语音输入下的表现。数据集中还标注了问题极性、上下文条件、刻板群体等元信息，便于深入分析偏见产生的具体情境。此外，通过引入不同的说话人（speaker）和TTS提供商，数据集能够模拟真实世界中语音交互的多样性，提升评估的生态效度。

使用方法

使用该数据集时，研究者可分别利用文本字段（如question、ans0-2）和音频字段（audio）进行多模态偏见评估。对于纯文本实验，可直接使用原始问题与答案；对于语音场景，可输入音频并借助ASR转录（ASR_LLM_Prompt）对比模型表现。数据集的标签字段提供了标准答案，而question_index和category则支持按子类别进行分组分析。建议结合SLLM_Prompt和ASR_LLM_Prompt字段，设计统一的提示格式，以公平比较不同模态下模型的偏见倾向。

背景与挑战

背景概述

随着大规模语言模型在自然语言处理领域的广泛应用，模型对社会偏见的捕捉与放大问题日益受到关注。SLLMBias/qa_BBQ_trans_gender数据集由跨学科研究团队于近期构建，旨在系统评估语言模型在性别相关语境中的偏见表现。该数据集基于BBQ（Bias Benchmark for QA）框架，聚焦于跨性别群体，通过精心设计的问答对来探测模型在性别身份语境下的刻板印象与歧视性输出。其核心研究问题在于揭示当前主流语言模型在涉及性别多样性议题时的偏差模式，为公平性人工智能研究提供了关键基准。该数据集的发布对推动负责任的AI发展、促进模型去偏见训练具有重要影响。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，它致力于解决的难题是语言模型在性别相关问答中表现出的系统性偏见，尤其是对跨性别群体的隐性歧视与刻板印象，这要求数据集能够精准捕捉那些不易察觉的、嵌入在语言模式中的偏差。在构建过程中，挑战则更为复杂：需要从原始BBQ数据中筛选并适配跨性别相关议题，确保问题设计的敏感性与代表性；同时，数据集引入了语音转录（ASR）与语音合成（TTS）技术，将文本问答转化为多模态形式，这一过程面临音频质量、口音差异以及语音与语义一致性等工程难题，还需确保不同说话者与语音提供者不会引入新的偏见噪声。

常用场景

经典使用场景

在自然语言处理与社会偏见研究的交汇处，SLLMBias/qa_BBQ_trans_gender数据集应运而生，其核心用途在于评估和量化语言模型在性别相关语境中的刻板印象与偏差。该数据集基于BBQ（Bias Benchmark for QA）框架构建，专注于跨性别群体，通过精心设计的问答对——涵盖了歧义性、否定性及确定性等不同语境条件——来探测模型在性别身份上的系统性偏见。研究者可借此基准测试，系统性地对比不同语言模型在性别公平性上的表现，从而揭示潜藏于模型内部的社会偏见模式。

衍生相关工作

该数据集的诞生催生了多项衍生研究，其中最经典的工作包括基于其结构改进的对抗性去偏训练方法，即通过在该数据集上识别出的偏见模式，设计对抗样本以增强模型的鲁棒性。另一方向是将其与多模态扩展结合，如整合语音特征（数据集中包含音频字段），探索语音交互中的性别偏见传递机制。此外，研究者还基于其类别与子类别标签，开发了细粒度的偏见溯源分析框架，能够定位偏见在模型推理链中的具体环节，为后续的模型微调与架构优化提供了精确指导。

数据集最近研究