five

overflowwwww/nst-da-sentiment-unbalanced

收藏
Hugging Face2024-02-20 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/overflowwwww/nst-da-sentiment-unbalanced
下载链接
链接失效反馈
官方服务:
资源简介:
--- license: cc0-1.0 --- # Dataset Card for Dataset Name <!-- Provide a quick summary of the dataset. --> This dataset is [alexandrainst/nst-da](https://huggingface.co/datasets/alexandrainst/nst-da) with pseudo labels (sentiment) added by [alexandrainst/da-sentiment-base](https://huggingface.co/alexandrainst/da-sentiment-base) with a filter on a minimum of 24 text length ## Dataset Details ### Dataset Description <!-- Provide a longer summary of what this dataset is. --> Be aware, sentiment distribution is off balanced. Random sample of 0.1% of the dataset: ![image/png](https://cdn-uploads.huggingface.co/production/uploads/63ea8326a332618465d2ab69/PxK-m7T61pR-OHgwrLV5q.png) All audio is in 16000Hz - **Curated by:** [overflowwwww](https://huggingface.co/overflowwwww) ### Dataset Sources [optional] <!-- Provide the basic links for the dataset. --> ## Uses <!-- Address questions around how the dataset is intended to be used. --> ### Direct Use <!-- This section describes suitable use cases for the dataset. --> [More Information Needed] ### Out-of-Scope Use <!-- This section addresses misuse, malicious use, and uses that the dataset will not work well for. --> [More Information Needed] ## Dataset Structure <!-- This section provides a description of the dataset fields, and additional information about the dataset structure such as criteria used to create the splits, relationships between data points, etc. --> [More Information Needed] ## Dataset Creation ### Curation Rationale <!-- Motivation for the creation of this dataset. --> [More Information Needed] ### Source Data <!-- This section describes the source data (e.g. news text and headlines, social media posts, translated sentences, ...). --> #### Data Collection and Processing <!-- This section describes the data collection and processing process such as data selection criteria, filtering and normalization methods, tools and libraries used, etc. --> [More Information Needed] #### Who are the source data producers? <!-- This section describes the people or systems who originally created the data. It should also include self-reported demographic or identity information for the source data creators if this information is available. --> [More Information Needed] ### Annotations [optional] <!-- If the dataset contains annotations which are not part of the initial data collection, use this section to describe them. --> #### Annotation process <!-- This section describes the annotation process such as annotation tools used in the process, the amount of data annotated, annotation guidelines provided to the annotators, interannotator statistics, annotation validation, etc. --> [More Information Needed] #### Who are the annotators? <!-- This section describes the people or systems who created the annotations. --> [More Information Needed] #### Personal and Sensitive Information <!-- State whether the dataset contains data that might be considered personal, sensitive, or private (e.g., data that reveals addresses, uniquely identifiable names or aliases, racial or ethnic origins, sexual orientations, religious beliefs, political opinions, financial or health data, etc.). If efforts were made to anonymize the data, describe the anonymization process. --> [More Information Needed] ## Bias, Risks, and Limitations <!-- This section is meant to convey both technical and sociotechnical limitations. --> [More Information Needed] ### Recommendations <!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. --> Users should be made aware of the risks, biases and limitations of the dataset. More information needed for further recommendations. ## Citation [optional] <!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. --> **BibTeX:** [More Information Needed] **APA:** [More Information Needed] ## Glossary [optional] <!-- If relevant, include terms and calculations in this section that can help readers understand the dataset or dataset card. --> [More Information Needed] ## More Information [optional] [More Information Needed] ## Dataset Card Authors [optional] [More Information Needed] ## Dataset Card Contact [More Information Needed]

--- 许可协议:CC0 1.0 --- # 数据集卡片:数据集名称 <!-- 提供该数据集的快速摘要。 --> 本数据集基于[alexandrainst/nst-da](https://huggingface.co/datasets/alexandrainst/nst-da)构建,通过[alexandrainst/da-sentiment-base](https://huggingface.co/alexandrainst/da-sentiment-base)添加了伪情感标签,并对文本长度进行筛选,仅保留至少包含24个字符的样本。 ## 数据集详情 ### 数据集概述 <!-- 详细说明该数据集的具体内容。 --> 请注意,本数据集的情感分布存在不平衡问题。 数据集0.1%的随机采样样本:![image/png](https://cdn-uploads.huggingface.co/production/uploads/63ea8326a332618465d2ab69/PxK-m7T61pR-OHgwrLV5q.png) 所有音频均采用16000Hz采样率。 - **整理者:** [overflowwwww](https://huggingface.co/overflowwwww) ### 数据集来源(可选) <!-- 提供该数据集的基础链接。 --> ## 数据集用途 <!-- 说明该数据集的预期使用场景相关问题。 --> ### 直接使用场景 <!-- 本节描述该数据集的适用使用场景。 --> [需补充更多信息] ### 不适配/违规使用场景 <!-- 本节说明该数据集的误用、恶意使用以及不适用的使用场景。 --> [需补充更多信息] ## 数据集结构 <!-- 本节说明数据集的字段信息,以及数据集结构的其他相关细节,如数据集划分的标准、数据点之间的关联等。 --> [需补充更多信息] ## 数据集构建 ### 构建初衷 <!-- 说明创建该数据集的动机。 --> [需补充更多信息] ### 源数据 <!-- 本节说明源数据的具体类型,例如新闻文本与标题、社交媒体帖子、翻译语句等。 --> #### 数据收集与处理流程 <!-- 本节说明数据收集与处理的具体流程,例如数据筛选标准、过滤与归一化方法、使用的工具与库等。 --> [需补充更多信息] #### 源数据创作者 <!-- 本节说明最初创建该数据的个人或系统。若可获取源数据创作者的自我报告人口统计或身份信息,也应在此处说明。 --> [需补充更多信息] ### 标注信息(可选) <!-- 若数据集包含初始数据收集之外的标注信息,请在本节进行说明。 --> #### 标注流程 <!-- 本节说明标注流程的具体细节,例如标注过程中使用的工具、已标注的数据量、提供给标注人员的标注指南、标注者间一致性统计、标注验证方式等。 --> [需补充更多信息] #### 标注创作者 <!-- 本节说明创建标注信息的个人或系统。 --> [需补充更多信息] #### 个人与敏感信息 <!-- 说明数据集是否包含可被视为个人、敏感或隐私的数据(例如泄露地址、唯一可识别的姓名或别名、种族或族裔出身、性取向、宗教信仰、政治观点、财务或健康数据等)。若已对数据进行匿名化处理,请说明匿名化流程。 --> [需补充更多信息] ## 偏差、风险与局限性 <!-- 本节旨在说明该数据集的技术与社会技术层面的局限性。 --> [需补充更多信息] ### 建议 <!-- 本节针对数据集的偏差、风险与技术局限性提供相关建议。 --> 用户应知晓该数据集存在的风险、偏差与局限性,如需进一步的建议需补充更多信息。 ## 引用信息(可选) <!-- 若有介绍该数据集的论文或博客文章,请在此处提供其APA与BibTeX引用格式信息。 --> **BibTeX格式:** [需补充更多信息] **APA格式:** [需补充更多信息] ## 术语表(可选) <!-- 若有需要,请在本节收录有助于读者理解数据集或数据集卡片的术语与计算公式。 --> [需补充更多信息] ## 更多信息(可选) [需补充更多信息] ## 数据集卡片作者(可选) [需补充更多信息] ## 数据集卡片联系方式 [需补充更多信息]
提供机构:
overflowwwww
原始信息汇总

数据集卡片 for Dataset Name

数据集详情

数据集描述

该数据集是 alexandrainst/nst-da 带有伪标签(情感),由 alexandrainst/da-sentiment-base 添加,并过滤了最小文本长度为24。

注意,情感分布不平衡。

所有音频均为16000Hz。

数据集结构

[更多信息需要]

数据集创建

数据收集和处理

[更多信息需要]

源数据生产者

[更多信息需要]

注释 [可选]

注释过程

[更多信息需要]

注释者

[更多信息需要]

个人和敏感信息

[更多信息需要]

偏差、风险和限制

[更多信息需要]

建议

用户应了解数据集的风险、偏差和限制。更多信息需要以进一步推荐。

搜集汇总
数据集介绍
main_image_url
构建方式
该数据集基于丹麦语语音数据集alexandrainst/nst-da构建,通过预训练情感分类模型alexandrainst/da-sentiment-base为每条音频文本生成伪标签,从而赋予原始数据情感维度。为确保标签质量,对文本长度施加了至少24个字符的过滤条件,剔除过短或信息量不足的样本。音频均统一处理为16000Hz采样率,保持了原始数据的声学特性。最终形成的情感分布呈现显著不平衡状态,反映了真实语言使用中情感类别的自然偏态。
特点
数据集的核心特点在于其情感标签的不平衡分布,这一特性使得它特别适合模拟现实场景中情感分类任务面临的类别失衡挑战。所有音频均以16000Hz标准采样率存储,保证了与主流语音处理框架的兼容性。基于大规模预训练模型生成的伪标签虽然引入了一定噪声,但有效降低了人工标注成本,使得大规模情感标注成为可能。随机抽样的可视化展示也直观揭示了情感类别的长尾分布特征。
使用方法
该数据集可直接用于训练和评估丹麦语语音情感识别系统,尤其适合研究类别不平衡场景下的鲁棒性建模。使用时需注意情感标签为模型预测产生而非人工标注,可能包含系统性偏差。建议在训练过程中采用重采样、代价敏感学习或焦点损失等不平衡处理方法。数据集以标准HuggingFace格式托管,可通过datasets库直接加载,并配合transformers框架进行模型微调与评估。
背景与挑战
背景概述
在自然语言处理领域,情感分析作为一项基础任务,致力于从文本中提取主观情感倾向,其应用广泛覆盖社交媒体监控、客户反馈分析等领域。然而,低资源语言(如丹麦语)的情感分析研究长期受限于高质量标注数据的匮乏。为应对这一困境,overflowwwww 团队于近期构建了 nst-da-sentiment-unbalanced 数据集,该数据集以哥本哈根大学 Alexandra Institute 发布的丹麦语语音数据集 nst-da 为基座,借助预训练情感分类模型 alexandrainst/da-sentiment-base 生成伪标签,并筛选文本长度不低于 24 字符的样本,最终形成带有情感标注的非平衡数据集。该工作聚焦于探索弱监督方法在丹麦语情感分析中的可行性,为低资源语言的情感计算提供了可复用的数据资源,其非平衡特性亦揭示了真实场景中情感分布的固有偏斜,对推动领域内鲁棒性研究具有启发意义。
当前挑战
该数据集所面临的挑战主要体现在两个层面。其一,在领域问题层面,情感分析任务本身受制于语言表达的模糊性、语境依赖性以及文化差异,丹麦语作为小语种,缺乏大规模人工标注语料,使得模型泛化能力受限;同时,数据集的情感标签由模型自动生成而非人工校验,伪标签噪声可能引入系统性偏差,加剧模型对特定情感类别的过拟合。其二,在构建过程中,原始语音数据需经过转录与文本清洗,而语音识别误差会传播至情感标注阶段;此外,以 24 字符为阈值进行筛选虽提升了数据质量,却可能排除短文本中的情感信号,导致样本代表性不足;非平衡的情感分布虽贴近现实,却对评估指标的选择和模型训练策略提出了更高要求,需谨慎处理类别失衡带来的评价偏差。
常用场景
经典使用场景
该数据集基于丹麦语音频语料库alexandrainst/nst-da,通过预训练情感分类模型alexandrainst/da-sentiment-base生成伪标签,并筛选文本长度不低于24的样本,构建了一个面向丹麦语语音情感分析的不平衡数据集。其经典使用场景在于为低资源语言(如丹麦语)的语音情感识别研究提供训练与评估基准,尤其适用于探索类别分布不均衡条件下的模型鲁棒性。研究者可借此数据集验证重采样、代价敏感学习或合成样本生成等策略在缓解情感类别偏差中的有效性,从而推动多语言情感计算领域的纵深发展。
实际应用
在实际应用中,该数据集支持开发面向丹麦语用户的语音交互系统,如智能客服、语音助手和心理健康监测工具的情感感知模块。由于情感类别不平衡更贴近真实对话场景,基于该数据集训练的模型能够更好地适应实际部署中的长尾分布问题,提升对负面情绪或罕见情感状态的识别灵敏度。此外,该数据集还可用于教育领域的语音教学评估,通过分析学习者语音中的情感波动辅助教学效果优化,展现了在跨语言情感技术落地中的实用价值。
衍生相关工作
该数据集衍生了一系列关于低资源语言语音情感识别与不平衡学习的经典工作。研究者基于此数据探索了自监督预训练与伪标签迭代优化的结合范式,提出了针对丹麦语的情感增强特征提取方法。同时,该数据集催生了针对类别不平衡的对比学习框架与领域自适应策略,相关成果被应用于多语言情感迁移学习的研究中。此外,基于该数据集的基准测试结果,后续工作进一步构建了丹麦语多模态情感数据集,推动了语音与文本融合的情感分析技术发展。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务