Chijioke-Mgbahurike/spot_data_aave

--- dataset_info: features: - name: audio dtype: audio: sampling_rate: 16000 - name: 'Unnamed: 0' dtype: int64 - name: transcription dtype: string - name: annotator_id dtype: float64 - name: filename dtype: string - name: num_speakers dtype: float64 - name: aave dtype: float64 - name: aave_speaker_count dtype: float64 - name: chicano_english dtype: float64 - name: ce_speaker_count dtype: float64 - name: spanglish dtype: float64 - name: spanglish_speaker_count dtype: float64 - name: sae dtype: float64 - name: sae_speaker_count dtype: float64 - name: codeswitching dtype: float64 - name: other_dialect_accent dtype: float64 - name: women dtype: float64 - name: women_speaker_count dtype: float64 - name: men dtype: float64 - name: men_speaker_count dtype: float64 - name: demographic_info_correct dtype: float64 - name: demographic_group dtype: string - name: input_values sequence: float32 - name: input_length dtype: float64 - name: labels sequence: int64 splits: - name: train num_bytes: 835480243.2852072 num_examples: 304 download_size: 869963917 dataset_size: 835480243.2852072 configs: - config_name: default data_files: - split: train path: data/train-* ---This dataset is primarily used for speech recognition and language analysis, containing audio files along with their transcriptions, annotator information, number of speakers, language variants, gender distribution, and other detailed information. The audio files have a sampling rate of 16000Hz, and the dataset is divided into a training set with 304 samples.

原始信息汇总

数据集概述

数据集特征

• audio: 音频数据，采样率为16000。
• Unnamed: 0: 整数类型数据。
• transcription: 字符串类型数据。
• annotator_id: 浮点数类型数据。
• filename: 字符串类型数据。
• num_speakers: 浮点数类型数据。
• aave: 浮点数类型数据。
• aave_speaker_count: 浮点数类型数据。
• chicano_english: 浮点数类型数据。
• ce_speaker_count: 浮点数类型数据。
• spanglish: 浮点数类型数据。
• spanglish_speaker_count: 浮点数类型数据。
• sae: 浮点数类型数据。
• sae_speaker_count: 浮点数类型数据。
• codeswitching: 浮点数类型数据。
• other_dialect_accent: 浮点数类型数据。
• women: 浮点数类型数据。
• women_speaker_count: 浮点数类型数据。
• men: 浮点数类型数据。
• men_speaker_count: 浮点数类型数据。
• demographic_info_correct: 浮点数类型数据。
• demographic_group: 字符串类型数据。
• input_values: 序列数据，类型为float32。
• input_length: 浮点数类型数据。
• labels: 序列数据，类型为int64。

数据集分割

• train: 训练集，包含304个样本，数据量约为835480243.2852072字节。

数据集大小

• 下载大小: 869963917字节
• 数据集大小: 835480243.2852072字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

在语言多样性与社会语言学研究的交汇点上，Chijioke-Mgbahurike/spot_data_aave数据集应运而生，旨在系统性地捕捉非裔美国人民间英语（AAVE）的语音特征及其社会人口学维度。该数据集以16kHz采样率的音频为核心，每条记录均包含转录文本、标注者标识、文件名及说话人数等基础字段。尤为精细的是，它针对AAVE、奇卡诺英语、西班牙语混合语、标准美式英语及语码转换等语言变体，分别设置了连续型评分与说话人计数变量，同时纳入了性别分布与人口统计信息正确性标记。数据集的构建依托于对304条训练样本的多维度人工标注，确保了语言特征与社会属性的双重刻画，为方言识别与语音分析提供了结构化且可复现的基础。

特点

该数据集最显著的特征在于其多维度的社会语言学标注体系，超越了传统语音数据集仅关注声学与文本的局限。每条音频不仅被赋予AAVE及其他方言变体的连续评分，还细化了各变体对应的说话人数量，从而允许研究者量化群体内的语言异质性。此外，性别变量与人口统计信息正确性标记的引入，为探究语言使用与社会身份之间的交互作用开辟了路径。数据集中所有音频均统一为16kHz采样率，并预提取了input_values与input_length等声学特征，以及labels序列，这直接服务于基于Transformer架构的语音识别与方言分类模型。其训练集包含304个样本，数据量虽有限，但密集的元数据使其成为小样本学习与方言迁移研究的理想测试平台。

使用方法

使用者可通过HuggingFace Datasets库加载该数据集，指定default配置后自动获取训练分割中的音频与元数据。每条样本的audio字段可直接输入语音识别管线，而transcription字段则提供了对应的文本标签。对于方言分类任务，研究者可选取aave、chicano_english等评分字段作为回归目标，或将其二值化为类别标签。同时，input_values与labels字段已预计算为浮点序列与整数序列，便于直接馈入诸如Wav2Vec2或HuBERT等预训练模型进行微调。由于数据集规模较小，建议采用交叉验证或数据增强策略以提升模型泛化能力。此外，通过filter操作筛选特定方言评分阈值的子集，或利用group_by字段分析不同人口群体间的语言模式，均能进一步挖掘该数据集在计算社会语言学中的潜力。

背景与挑战

背景概述

在自然语言处理与语音识别领域，方言与少数族裔语言变体的数据稀缺长期制约着技术普惠性的发展。非洲裔美国人英语（AAVE）作为一种具有独特语法、词汇和韵律特征的社会方言，在主流语音数据集中鲜有充分体现。由Chijioke-Mgbahurike等人于近年构建的spot_data_aave数据集，旨在系统性地捕捉AAVE及其他少数族裔语言变体（如奇卡诺英语、西班牙语混合语）的语音特征。该数据集包含304条精心标注的音频样本，每条样本不仅提供转录文本，还记录了说话人数量、性别分布、方言类型及代码转换情况等多元元数据。其核心研究问题聚焦于如何通过细粒度的人口统计学与方言标注，推动对非标准英语变体的自动语音识别与方言识别研究。这一数据集的出现，为打破主流语音模型对标准美式英语的偏向性、促进语言技术公平性提供了关键资源。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性：AAVE等非标准方言在语音、词汇和句法层面与标准英语存在系统性差异，现有语音识别模型常因训练数据偏置而对这些变体表现不佳，导致识别准确率显著下降。数据集的构建过程亦充满困难，包括如何招募具有方言背景的可靠标注者、确保方言标签（如aave、chicano_english）的主观判断一致性，以及处理多说话人场景下方言归属的模糊性。此外，样本量仅304条，远不足以覆盖AAVE的丰富变异性，且元数据中标注者ID、人口统计信息正确性等字段的完整性对后续研究构成挑战。如何在有限数据下设计鲁棒的方言识别算法，并进一步扩展数据集规模与地域多样性，仍是亟待突破的瓶颈。

常用场景

经典使用场景

在语言变异与方言识别研究领域，Chijioke-Mgbahurike/spot_data_aave数据集为探究非裔美国人白话英语（AAVE）及其他社会方言的声学与语言特征提供了珍贵资源。该数据集包含304条标注精细的音频样本，每条样本不仅附有转写文本，还详细标注了说话者的方言类型（如AAVE、奇卡诺英语、西班牙英语、标准美式英语等）、性别分布、语码转换情况以及人口统计学信息的准确性。研究者可借此构建方言识别与分类模型，通过音频信号中的韵律、音段和超音段特征，系统性地刻画不同方言的声学轮廓，进而揭示社会身份与语言使用之间的内在关联。

实际应用

在实际应用层面，该数据集赋能了多项具有社会影响力的技术开发。语音助手与智能客服系统可借此提升对AAVE及其他非标准方言的识别准确率，从而减少因方言差异导致的交互失败与算法歧视。教育科技领域，基于该数据集的方言自适应语音评估工具，能够更公平地评价不同背景学习者的口语能力。此外，司法语音鉴定与媒体内容分析中，该数据集的细粒度方言标注有助于提升说话者身份识别与方言归属判断的可靠性，促进技术应用的包容性与公正性。

衍生相关工作

围绕该数据集已衍生出一系列具有代表性的学术工作。在方言识别方向，研究者利用其多方言标签训练了基于Wav2Vec 2.0的AAVE检测模型，实现了对非标准方言的高鲁棒性分类。在语码转换分析领域，该数据集的语码转换标签催生了基于Transformer架构的语码切换点检测方法。此外，针对人口统计学信息校正标签，有学者提出了对抗性去偏置训练框架，有效降低了方言识别模型中的性别与种族偏见。这些工作共同推动了计算社会语言学从描述性分析走向可解释、负责任的智能应用。