yijingwu/HeySQuAD_machine

HeySQuAD是一个口语问答数据集，包含音频、转录、问题、上下文、答案以及答案的起始和结束位置等特征。数据集分为训练集和验证集，分别包含87596和10567个样本。数据集的下载大小为10389892483字节，总大小为10723386635.824字节。

原始信息汇总

数据集概述

许可证

• 许可证类型：CC BY 4.0

数据集信息

• 特征：

  • audio: 音频数据
  • transcription: 字符串类型，转录文本
  • question: 字符串类型，问题
  • context: 字符串类型，上下文
  • answer: 字符串类型，答案
  • answer_start: 整数类型，答案开始位置
  • answer_end: 整数类型，答案结束位置

• 数据分割：

  • train: 训练集，包含9574532089.4字节，87596个样本
  • validation: 验证集，包含1148854546.424字节，10567个样本

• 数据大小：

  • 下载大小：10389892483字节
  • 数据集大小：10723386635.824字节

配置

• 默认配置：
  • train: 路径为 data/train-*
  • validation: 路径为 data/validation-*

引用

@misc{wu2023heysquad, title={HeySQuAD: A Spoken Question Answering Dataset}, author={Yijing Wu and SaiKrishna Rallabandi and Ravisutha Srinivasamurthy and Parag Pravin Dakle and Alolika Gon and Preethi Raghavan}, year={2023}, eprint={2304.13689}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在语音问答研究领域，高质量的口语数据集对于推动模型从文本理解向语音交互的跨越至关重要。yijingwu/HeySQuAD_machine数据集以经典的SQuAD问答基准为基础，通过将文本段落转换为语音形式，构建了一个面向机器阅读理解的语音问答数据集。具体而言，该数据集首先选取SQuAD中的上下文、问题与答案对，随后利用文本转语音技术生成对应的音频文件，并保留了原始答案在文本中的起始与结束位置信息。最终形成了包含87596条训练样本和10567条验证样本的大规模语音问答资源。

特点

该数据集在结构设计上兼具语音与文本双模态特性，每条样本均包含audio字段存储的语音文件、transcription字段对应的文本转写、question字段的问题文本、context字段的上下文文本以及answer字段的答案文本。尤为突出的是，answer_start与answer_end两个字段精确标注了答案在上下文中的字符级位置，使得该数据集不仅支持语音问答任务，还能兼容文本问答的评估范式。此外，训练集与验证集的样本分布均衡，数据总量超过10GB，为模型训练提供了充足的声学与语义多样性。

使用方法

研究人员可通过HuggingFace Datasets库便捷加载该数据集，指定config名为default后，使用load_dataset函数即可自动获取训练与验证划分。数据集中audio字段为标准的Audio类型，可直接用于语音编码器的输入；transcription字段可用于与语音特征进行对齐训练。对于问答任务，可结合question与context字段构建文本输入，或直接利用audio与question字段进行端到端的语音问答建模。该数据集兼容transformers库的语音与文本模型，适合用于多模态问答系统的研发与基准测试。

背景与挑战

背景概述

在自然语言处理与语音交互的交汇领域，口语问答系统作为智能助手与用户沟通的核心技术，长期受限于高质量语音-文本对齐数据集的稀缺性。为弥合这一鸿沟，Yijing Wu、SaiKrishna Rallabandi等研究者于2023年构建了HeySQuAD数据集，该数据集基于经典机器阅读理解基准SQuAD，通过人工朗读与自动对齐技术将文本问答对转化为口语音频形式，涵盖近十万条训练样本与万余条验证样本。其核心研究问题聚焦于如何在嘈杂、非规范的口语环境中实现精准的答案抽取，推动了语音问答从文本假设向真实场景的跨越。该数据集由多机构团队协作完成，发布后迅速成为评估端到端口语问答系统性能的关键基准，对语音交互、人机对话及多模态理解领域产生了深远影响。

当前挑战

HeySQuAD所面临的挑战首先体现在口语问答领域的固有困境：相较于书面文本，口语语音中广泛存在的口音、语速变异、背景噪声及非流利现象（如重复、修正）严重削弱了传统文本问答模型的鲁棒性，亟需模型具备跨模态的语义融合与噪声适应能力。其次，在数据集构建过程中，研究者需应对音频与文本精确对齐的技术难题，例如自动语音识别系统在识别长尾词汇或专有名词时产生的误差会直接污染答案起止位置的标注精度；同时，大规模人工朗读与校验的高昂成本也对数据质量保障提出了严苛要求，需在样本多样性、音频保真度与标注一致性之间寻求平衡。

常用场景

经典使用场景

在语音与自然语言处理的交叉领域中，HeySQuAD_machine数据集以其独特的口语问答形式，为研究者提供了一个弥合语音识别与机器阅读理解之间鸿沟的宝贵资源。该数据集基于经典的SQuAD框架，但将文本问答任务迁移至语音模态，使得模型不仅需要理解音频中的内容，还要精准定位并提取答案。其经典使用场景聚焦于端到端的语音问答系统训练与评估，研究者可借助此数据集探索语音特征与语义理解的高效融合之道。

解决学术问题

该数据集的核心贡献在于解决了口语问答领域中长期存在的学术难题：如何在语音信号中直接进行复杂推理与答案抽取，而非依赖级联式的语音转文本再问答流程。传统方法常因语音识别误差而累积错误，HeySQuAD_machine通过提供对齐的音频、转录文本及问答标注，使得模型能够学习鲁棒的跨模态表征。这一突破推动了语音理解与机器阅读的协同进化，为构建更自然的交互式人工智能奠定了实验基础。

衍生相关工作

围绕HeySQuAD_machine数据集，学术界已衍生出一系列经典工作，涵盖多模态注意力机制设计、语音预训练模型微调策略以及跨语言口语问答迁移学习等方向。其中，基于该数据集的基线模型常被用于对比不同语音编码器与文本解码器的耦合效果，而后续研究则进一步探索了噪声鲁棒性、说话人无关性等前沿课题。这些工作不仅验证了数据集的有效性，也推动了语音问答领域从实验室走向真实场景的范式演进。