TAESOO98/meld-transcript-final_temp

--- language: - en dataset_info: features: - name: text dtype: string - name: utterance_pitch_mean dtype: float32 - name: utterance_pitch_std dtype: float32 - name: snr dtype: float64 - name: c50 dtype: float64 - name: speaking_rate dtype: string - name: phonemes dtype: string - name: speaker_id dtype: string - name: gender dtype: string - name: pitch dtype: string - name: noise dtype: string - name: reverberation dtype: string - name: speech_monotony dtype: string - name: text_description dtype: string splits: - name: train num_bytes: 4637991 num_examples: 9985 - name: test num_bytes: 1215673 num_examples: 2609 - name: valid num_bytes: 516323 num_examples: 1108 download_size: 2055646 dataset_size: 6369987 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* - split: valid path: data/valid-* ---语言： - 英语 数据集信息： 特征： - 名称：文本（text），数据类型：字符串（string） - 名称：语句基频均值（utterance_pitch_mean），数据类型：单精度浮点数（float32） - 名称：语句基频标准差（utterance_pitch_std），数据类型：单精度浮点数（float32） - 名称：信噪比（SNR），数据类型：双精度浮点数（float64） - 名称：C50指数（c50），数据类型：双精度浮点数（float64） - 名称：语速（speaking_rate），数据类型：字符串（string） - 名称：音素（phonemes），数据类型：字符串（string） - 名称：说话人ID（speaker_id），数据类型：字符串（string） - 名称：性别（gender），数据类型：字符串（string） - 名称：基频序列（pitch），数据类型：字符串（string） - 名称：噪声（noise），数据类型：字符串（string） - 名称：混响（reverberation），数据类型：字符串（string） - 名称：语音单调度（speech_monotony），数据类型：字符串（string） - 名称：文本描述（text_description），数据类型：字符串（string） 划分集： - 名称：训练集（train），字节数：4637991，样本数：9985 - 名称：测试集（test），字节数：1215673，样本数：2609 - 名称：验证集（valid），字节数：516323，样本数：1108 下载大小：2055646，总数据集大小：6369987 配置： - 配置名称：默认（default），数据文件： - 划分集：训练集，路径：data/train-* - 划分集：测试集，路径：data/test-* - 划分集：验证集，路径：data/valid-*

原始信息汇总

数据集概述

数据集特征

• text：文本，数据类型为字符串。
• utterance_pitch_mean：话语音高平均值，数据类型为浮点数32位。
• utterance_pitch_std：话语音高标准差，数据类型为浮点数32位。
• snr：信噪比，数据类型为浮点数64位。
• c50：混响测量指标，数据类型为浮点数64位。
• speaking_rate：说话速率，数据类型为字符串。
• phonemes：音素，数据类型为字符串。
• speaker_id：说话者ID，数据类型为字符串。
• gender：性别，数据类型为字符串。
• pitch：音高，数据类型为字符串。
• noise：噪音，数据类型为字符串。
• reverberation：混响，数据类型为字符串。
• speech_monotony：语音单调性，数据类型为字符串。
• text_description：文本描述，数据类型为字符串。

数据集分割

• train：训练集，包含9985个样本，总大小为4637991字节。
• test：测试集，包含2609个样本，总大小为1215673字节。
• valid：验证集，包含1108个样本，总大小为516323字节。

数据集大小

• 下载大小：2055646字节。
• 数据集总大小：6369987字节。

搜集汇总

数据集介绍

构建方式

在情感计算与语音分析交叉领域，高质量的多模态数据集是推动研究进展的关键基石。TAESOO98/meld-transcript-final_temp数据集基于MELD（Multimodal EmotionLines Dataset）原始语料进行深度加工与扩展，通过自动化脚本与人工校验相结合的方式构建而成。具体而言，数据集从MELD的对话转录文本出发，利用开源音频处理工具提取了每段话语的基频均值与标准差、信噪比、混响时间C50等声学特征，并依据预设规则计算语速、音素序列、基频轮廓、噪声水平及混响程度等感知属性。同时，每一条样本均附有由标注者撰写的自然语言描述，用以概括话语的情感与语境信息。最终形成了包含13,702个样本、覆盖训练（9,985条）、测试（2,609条）与验证（1,108条）三个标准划分的规范化数据集。

特点

该数据集的核心特色在于其多维度的声学与感知特征标注体系，超越了传统仅提供文本或单一情感标签的数据集。具体而言，每个样本不仅保留了原始转录文本，还整合了基频统计量（均值与标准差）、信噪比、混响时间C50以及语速等客观声学参数，同时提供了基频模式、噪声程度、混响程度和语音单调性等主观感知标签。这种客观与主观特征相结合的设计，使得研究者能够从不同粒度剖析语音信号中的情感表达线索。此外，数据集还包含了说话人ID、性别等元信息，以及一段自由形式的文本描述，为多模态情感识别、语音属性分析及生成式任务提供了丰富的数据支撑。

使用方法

本数据集的使用流程极为便捷，完全兼容HuggingFace Datasets库的加载规范。用户仅需通过`load_dataset('TAESOO98/meld-transcript-final_temp')`命令即可自动获取全部数据，并直接获得包含训练、测试与验证三个子集的DatasetDict对象。每条样本以字典形式组织，键名对应README中列出的14个特征字段，如'text'、'utterance_pitch_mean'、'speaker_id'、'text_description'等。研究者可基于这些结构化特征进行情感分类、语音属性回归、文本生成等任务的模型训练与评估，亦可利用其多模态特性探索语音与文本之间的联合表征学习。

背景与挑战

背景概述

在多模态情感计算与对话系统研究领域，MELD（Multimodal EmotionLines Dataset）作为一项开创性基准数据集，自2019年由南加州大学等机构的研究团队提出以来，深刻推动了对话中情感识别与情绪动态分析的发展。该数据集基于《老友记》剧集构建，融合了文本、音频与视觉模态，为细粒度情感分类提供了丰富标注。TAESOO98/meld-transcript-final_temp作为其衍生版本，专注于转录文本及声学特征（如基频均值、信噪比、语速等）的精细化处理，旨在解决原始数据中语音特征与文本描述的对齐问题，为后续研究提供更干净的语料基础。其研究核心在于探索对话语境下情感状态的连续性与交互性，对自然语言处理与情感计算交叉领域产生了广泛影响。

当前挑战

当前数据集面临的核心挑战涵盖两大层面。在领域问题层面，对话情感识别需应对情感表达的模糊性与动态演变性，单一模态信息难以捕捉情绪在话轮间的微妙转换，而跨模态特征融合的不稳定性加剧了模型泛化难度。在构建过程中，原始MELD转录文本与音频特征（如snr、c50、speaking_rate）的同步标注存在噪声，人工标注的情感标签受主观性影响，导致基频、混响等声学参数与文本描述之间的映射关系不够精准。此外，说话人身份与性别特征的稀疏性限制了上下文感知模型的训练效果，如何在高维特征空间中有效整合这些异构信息仍是技术瓶颈。

常用场景

经典使用场景

在情感计算与多模态交互研究领域，该数据集凭借其丰富的声学与语言特征，成为分析语音情感表达与韵律特性的经典资源。研究者常利用其提供的基频均值、标准差、信噪比、混响时间及语速等参数，结合文本转录与说话人属性，构建情感识别与语音质量评估模型。其结构化的标注体系为探索语音信号中情感维度的声学关联提供了标准化基准。

解决学术问题

该数据集有效解决了语音情感识别研究中特征维度单一、标注粒度粗糙的学术瓶颈。通过整合声学韵律、环境噪声与说话人属性等多层次信息，它推动了情感计算领域从单一文本或声学分析向多模态融合的范式转变。其精细化的声学描述符（如C50混响指标）为研究语音在不同声学环境中的情感传递机制提供了量化依据，显著提升了情感识别模型的鲁棒性与泛化能力。

衍生相关工作

该数据集催生了一系列经典学术工作，包括基于深度神经网络的语音情感识别架构（如CNN-LSTM混合模型）、跨语料库情感迁移学习方法以及语音增强与情感保持的联合优化算法。此外，研究者基于其声学特征开发了可解释性情感分析框架，通过注意力机制揭示基频与语速对愤怒、悲伤等情绪的差异化贡献，推动了情感计算领域从黑箱建模向因果推断的演进。