Nexdata/Emotional_Video_Data

--- YAML tags: - copy-paste the tags obtained with the tagging app: https://github.com/huggingface/datasets-tagging --- # Dataset Card for Nexdata/Emotional_Video_Data ## Table of Contents - [Table of Contents](#table-of-contents) - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** https://www.nexdata.ai/datasets/977?source=Huggingface - **Repository:** - **Paper:** - **Leaderboard:** - **Point of Contact:** ### Dataset Summary 1,003 People - Emotional Video Data. The data diversity includes multiple races, multiple indoor scenes, multiple age groups, multiple languages, multiple emotions (11 types of facial emotions, 15 types of inner emotions). For each sentence in each video, emotion types (including facial emotions and inner emotions), start & end time, and text transcription were annotated.This dataset can be used for tasks such as emotion recognition and sentiment analysis. For more details, please refer to the link: https://www.nexdata.ai/datasets/977?source=Huggingface ### Supported Tasks and Leaderboards automatic-speech-recognition, audio-speaker-identification, sentiment-recognition: The dataset can be used to train a model for Automatic Speech Recognition (ASR). ### Languages English, Chinese ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information Commerical License: https://drive.google.com/file/d/1saDCPm74D4UWfBL17VbkTsZLGfpOQj1J/view?usp=sharing ### Citation Information [More Information Needed] ### Contributions--- YAML 标签： - 复制通过标记应用获取的标签：https://github.com/huggingface/datasets-tagging --- # Nexdata/Emotional_Video_Data 数据集卡片 ## 目录 - [目录](#table-of-contents) - [数据集描述](#dataset-description) - [数据集概述](#dataset-summary) - [支持任务与排行榜](#supported-tasks-and-leaderboards) - [语言](#languages) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [数据集构建](#dataset-creation) - [数据集遴选缘由](#curation-rationale) - [源数据](#source-data) - [标注信息](#annotations) - [个人与敏感信息](#personal-and-sensitive-information) - [数据集使用注意事项](#considerations-for-using-the-data) - [数据集的社会影响](#social-impact-of-dataset) - [偏差讨论](#discussion-of-biases) - [其他已知局限性](#other-known-limitations) - [附加信息](#additional-information) - [数据集策展方](#dataset-curators) - [许可信息](#licensing-information) - [引用信息](#citation-information) - [贡献](#contributions) ## 数据集描述 - **主页**：https://www.nexdata.ai/datasets/977?source=Huggingface - **代码仓库**： - **论文**： - **排行榜**： - **联系人**： ### 数据集概述 该数据集涵盖1003名受试者的情感视频数据。数据具备多维度多样性，包含不同种族、多种室内场景、多个年龄段、多语言环境，以及11种面部情绪与15种内在情绪类型的标注。针对每段视频中的每一句台词，均已标注情绪类型（涵盖面部情绪与内在情绪）、起止时间以及文本转录内容。本数据集可用于情绪识别、情感分析等相关任务。 如需了解更多细节，请访问链接：https://www.nexdata.ai/datasets/977?source=Huggingface ### 支持任务与排行榜 自动语音识别、音频说话人识别、情感识别：本数据集可用于训练自动语音识别（Automatic Speech Recognition，ASR）模型。 ### 语言 英语、中文 ## 数据集结构 ### 数据实例 [需补充更多信息] ### 数据字段 [需补充更多信息] ### 数据划分 [需补充更多信息] ## 数据集构建 ### 数据集遴选缘由 [需补充更多信息] ### 源数据 #### 初始数据收集与标准化 [需补充更多信息] #### 源语言生成者是谁？ [需补充更多信息] ### 标注信息 #### 标注流程 [需补充更多信息] #### 标注人员是谁？ [需补充更多信息] ### 个人与敏感信息 [需补充更多信息] ## 数据集使用注意事项 ### 数据集的社会影响 [需补充更多信息] ### 偏差讨论 [需补充更多信息] ### 其他已知局限性 [需补充更多信息] ## 附加信息 ### 数据集策展方 [需补充更多信息] ### 许可信息 商业许可：https://drive.google.com/file/d/1saDCPm74D4UWfBL17VbkTsZLGfpOQj1J/view?usp=sharing ### 引用信息 [需补充更多信息] ### 贡献

原始信息汇总

数据集概述

数据集描述

数据集总结

• 名称: Nexdata/Emotional_Video_Data
• 内容: 包含1,003人的情感视频数据，涵盖多种族、多室内场景、多年龄组、多语言及多种情感（11种面部情感，15种内在情感）。每句话均标注了情感类型（包括面部情感和内在情感）、起止时间及文本转录。
• 用途: 适用于情感识别和情感分析等任务。

支持的任务和排行榜

• 任务: 自动语音识别（ASR）、音频发言人识别、情感识别。

语言

• 英语
• 中文

数据集结构

数据实例

• 信息: 待补充

数据字段

• 信息: 待补充

数据分割

• 信息: 待补充

数据集创建

来源数据

• 信息: 待补充

注释

• 信息: 待补充

个人和敏感信息

• 信息: 待补充

使用数据的考虑

数据集的社会影响

• 信息: 待补充

偏见讨论

• 信息: 待补充

其他已知限制

• 信息: 待补充

附加信息

数据集管理者

• 信息: 待补充

许可信息

• 类型: 商业许可
• 链接: 商业许可详情

引用信息

• 信息: 待补充

搜集汇总

数据集介绍

构建方式

在情感计算与多模态交互研究领域，Nexdata/Emotional_Video_Data数据集的构建体现了对多样化情感表达的深度采集。该数据集通过精心设计的采集流程，收录了来自不同种族、年龄群体及室内场景的1003段情感视频样本。每一段视频均经过系统化标注，不仅记录了语音转写的文本内容，还精确标注了每句话对应的面部情感与内心情感类别，并辅以起止时间戳，形成了多维度对齐的标注体系。

特点

该数据集在情感识别与语音分析领域展现出鲜明的多维特性。其覆盖了11种面部情感与15种内心情感类别，情感层次丰富细腻。数据样本在种族、年龄、语言及场景方面均呈现高度多样性，同时支持中英双语，为跨文化情感研究提供了宝贵资源。多模态数据的同步标注结构，使得面部表情、语音内容与情感标签得以紧密关联，为复杂情感状态的解析奠定了坚实基础。

使用方法

研究者可借助该数据集开展自动语音识别、说话人识别及情感识别等多类任务的模型训练与评估。在使用时，需依据标注的时间戳信息对齐视频、音频与文本序列，构建多模态输入管道。鉴于其商业许可属性，用户需严格遵守相关使用条款，并可通过指定链接获取完整付费数据集以拓展研究规模。该数据集适用于探索情感在语音与视觉模态中的耦合规律，推动更自然的人机交互系统发展。

背景与挑战

背景概述

在情感计算与人机交互领域，多模态情感识别已成为前沿研究方向，旨在通过整合视觉、语音及文本信息来精准捕捉人类复杂的情感状态。Nexdata/Emotional_Video_Data数据集由Nexdata机构构建，作为一项商业数据集，其核心研究问题聚焦于跨种族、跨场景、跨年龄的多语言情感视频分析。该数据集涵盖了11种面部情绪与15种内在情绪，并提供了时间戳标注与文本转录，为自动语音识别、说话人识别及情感分析等任务提供了丰富资源，对推动情感智能系统的实际应用具有显著影响力。

当前挑战

该数据集致力于解决多模态情感识别中的关键挑战，即如何从动态视频流中准确提取并融合面部表情、语音语调及语义内容，以实现对混合情绪的细粒度分类。在构建过程中，面临诸多困难：数据采集需平衡种族、年龄、语言及场景的多样性，同时确保标注一致性；情绪标注本身具有主观性，区分内在情感与外在表情需要专业心理学知识；此外，商业许可模式可能限制学术研究的广泛访问，而数据隐私保护亦需严格考量。

常用场景

经典使用场景

在情感计算与人机交互领域，Nexdata/Emotional_Video_Data数据集为多模态情感识别研究提供了关键资源。该数据集包含多种族、多场景、多年龄段人群的视频样本，并标注了面部情感与内在情感类型，结合语音转录文本，使得研究者能够构建融合视觉、听觉与文本信息的深度学习模型，以精准识别复杂情境下的情感状态。

衍生相关工作

基于该数据集的多模态特性，已衍生出一系列经典研究工作，如端到端的情感识别神经网络架构、跨模态注意力机制模型，以及情感生成对抗网络的应用。这些工作不仅推动了多模态情感分析的技术前沿，也为影视内容情感分析、虚拟角色情感合成等交叉领域提供了方法论借鉴。

数据集最近研究

最新研究方向

在情感计算与多模态人工智能领域，Nexdata/Emotional_Video_Data数据集以其涵盖多种族、多场景、多年龄段及多语言的情感视频样本，为前沿研究提供了丰富资源。当前研究聚焦于融合面部表情与内在情感的细粒度情感识别，探索跨文化情感表达的普适性模型构建，以应对人机交互中情感理解的复杂性。该数据集推动了自动语音识别与情感分析的协同优化，尤其在心理健康监测、智能客服等热点应用中，其多模态标注策略为提升模型鲁棒性与泛化能力奠定了数据基础，对促进情感智能技术的实际落地具有显著意义。