Helsinki-NLP/xed_en_fi

Name: Helsinki-NLP/xed_en_fi
Creator: Helsinki-NLP
Published: 2024-01-18 11:18:43
License: 暂无描述

Hugging Face2024-01-18 更新2024-05-25 收录

下载链接：

https://hf-mirror.com/datasets/Helsinki-NLP/xed_en_fi

下载链接

链接失效反馈

官方服务：

资源简介：

--- annotations_creators: - expert-generated language_creators: - found language: - en - fi license: - cc-by-4.0 multilinguality: - multilingual size_categories: - 10K<n<100K - 1K<n<10K source_datasets: - extended|other-OpenSubtitles2016 task_categories: - text-classification task_ids: - intent-classification - multi-class-classification - multi-label-classification - sentiment-classification paperswithcode_id: xed pretty_name: XedEnglishFinnish dataset_info: - config_name: en_annotated features: - name: sentence dtype: string - name: labels sequence: class_label: names: '0': neutral '1': anger '2': anticipation '3': disgust '4': fear '5': joy '6': sadness '7': surprise '8': trust splits: - name: train num_bytes: 1018485 num_examples: 17528 download_size: 2421235 dataset_size: 1018485 - config_name: en_neutral features: - name: sentence dtype: string - name: labels dtype: class_label: names: '0': neutral '1': anger '2': anticipation '3': disgust '4': fear '5': joy '6': sadness '7': surprise '8': trust splits: - name: train num_bytes: 401129 num_examples: 9675 download_size: 2421235 dataset_size: 401129 - config_name: fi_annotated features: - name: sentence dtype: string - name: labels sequence: class_label: names: '0': neutral '1': anger '2': anticipation '3': disgust '4': fear '5': joy '6': sadness '7': surprise '8': trust splits: - name: train num_bytes: 756224 num_examples: 14449 download_size: 2421235 dataset_size: 756224 - config_name: fi_neutral features: - name: sentence dtype: string - name: labels dtype: class_label: names: '0': neutral '1': anger '2': anticipation '3': disgust '4': fear '5': joy '6': sadness '7': surprise '8': trust splits: - name: train num_bytes: 427499 num_examples: 10794 download_size: 2421235 dataset_size: 427499 config_names: - en_annotated - en_neutral - fi_annotated - fi_neutral --- # Dataset Card for xed_english_finnish ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** - **Repository:** [Github](https://github.com/Helsinki-NLP/XED) - **Paper:** [Arxiv](https://arxiv.org/abs/2011.01612) - **Leaderboard:** - **Point of Contact:** ### Dataset Summary This is the XED dataset. The dataset consists of emotion annotated movie subtitles from OPUS. We use Plutchik's 8 core emotions to annotate. The data is multilabel. The original annotations have been sourced for mainly English and Finnish. For the English data we used Stanford NER (named entity recognition) (Finkel et al., 2005) to replace names and locations with the tags: [PERSON] and [LOCATION] respectively. For the Finnish data, we replaced names and locations using the Turku NER corpus (Luoma et al., 2020). ### Supported Tasks and Leaderboards Sentiment Classification, Multilabel Classification, Multilabel Classification, Intent Classification ### Languages English, Finnish ## Dataset Structure ### Data Instances ``` { "sentence": "A confession that you hired [PERSON] ... and are responsible for my father's murder." "labels": [1, 6] # anger, sadness } ``` ### Data Fields - sentence: a line from the dataset - labels: labels corresponding to the emotion as an integer Where the number indicates the emotion in ascending alphabetical order: anger:1, anticipation:2, disgust:3, fear:4, joy:5, sadness:6, surprise:7, trust:8, with neutral:0 where applicable. ### Data Splits For English: Number of unique data points: 17528 ('en_annotated' config) + 9675 ('en_neutral' config) Number of emotions: 8 (+neutral) For Finnish: Number of unique data points: 14449 ('fi_annotated' config) + 10794 ('fi_neutral' config) Number of emotions: 8 (+neutral) ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information License: Creative Commons Attribution 4.0 International License (CC-BY) ### Citation Information @inproceedings{ohman2020xed, title={XED: A Multilingual Dataset for Sentiment Analysis and Emotion Detection}, author={{\"O}hman, Emily and P{\`a}mies, Marc and Kajava, Kaisla and Tiedemann, J{\"o}rg}, booktitle={The 28th International Conference on Computational Linguistics (COLING 2020)}, year={2020} } ### Contributions Thanks to [@lhoestq](https://github.com/lhoestq), [@harshalmittal4](https://github.com/harshalmittal4) for adding this dataset.

提供机构：

Helsinki-NLP

原始信息汇总

数据集概述

数据集名称

名称: XedEnglishFinnish
别名: xed_english_finnish

语言

支持语言: 英语 (en), 芬兰语 (fi)

许可证

许可证: Creative Commons Attribution 4.0 International License (CC-BY-4.0)

多语言性

多语言性: 多语言

大小分类

大小: 1K<n<10K, 10K<n<100K

来源数据集

来源: 扩展自 OpenSubtitles2016

任务类别

任务: 文本分类
具体任务: 意图分类, 多类分类, 多标签分类, 情感分类

数据集配置

配置名称: en_annotated, en_neutral, fi_annotated, fi_neutral

数据集特征

特征:
- sentence: 数据类型为字符串
- labels: 数据类型为序列或分类标签，包含以下情绪标签:
  - 0: neutral
  - 1: anger
  - 2: anticipation
  - 3: disgust
  - 4: fear
  - 5: joy
  - 6: sadness
  - 7: surprise
  - 8: trust

数据分割

训练集:
- en_annotated: 17528个样本，数据大小1018485字节
- en_neutral: 9675个样本，数据大小401129字节
- fi_annotated: 14449个样本，数据大小756224字节
- fi_neutral: 10794个样本，数据大小427499字节

下载信息

下载大小: 2421235字节
数据集大小: 根据配置不同，范围从401129字节到1018485字节

搜集汇总

数据集介绍

构建方式

XED数据集（Helsinki-NLP/xed_en_fi）的构建源于对多语言情感分析研究的推进，其数据源取自OPUS语料库中的电影字幕，并基于Plutchik的八种核心情感理论进行标注。该数据集涵盖了英语和芬兰语两种语言，其中英语部分利用Stanford NER工具将人名和地名替换为[PERSON]和[LOCATION]标签，芬兰语部分则借助Turku NER语料库完成类似处理。数据集包含四个配置：en_annotated（17528条，含情感标签）、en_neutral（9675条，含中性标签）、fi_annotated（14449条）和fi_neutral（10794条），每条数据由句子和多标签情感标注组成。

特点

该数据集的核心特点在于其多标签情感分类架构，支持愤怒、期待、厌恶、恐惧、喜悦、悲伤、惊讶和信任八种情感类别，并额外包含中性类别。数据采用序列化标签格式，允许单条语句同时关联多种情感，这为细粒度情感分析提供了丰富资源。此外，通过NER技术对敏感信息进行脱敏处理，增强了数据隐私保护。其多语言特性（英语与芬兰语）和基于电影字幕的领域背景，使得模型在口语化、非正式文本的情感识别任务中具有独特优势。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，例如`load_dataset('Helsinki-NLP/xed_en_fi', 'en_annotated')`选择特定配置。数据字段包括句子（sentence）和标签（labels），其中标签以整数列表形式表示情感类别（1至8对应八种情感，0表示中性）。该数据集适用于多标签文本分类、情感识别和意图分类等任务，研究者可基于其多配置特性分别训练模型，或结合英语与芬兰语子集进行跨语言情感分析实验。

背景与挑战

背景概述

情感识别作为自然语言处理领域的核心课题之一，长期以来受限于高质量标注数据的稀缺性，尤其跨语言场景下的情感语料库构建更是充满挑战。由赫尔辛基大学自然语言处理小组（Helsinki-NLP）主导，Emily Öhman、Marc Pàmies、Kaisla Kajava与Jörg Tiedemann等研究人员于2020年创建了XED数据集，旨在填补多语言情感分析领域的空白。该数据集以Plutchik的八种基本情感理论为框架，从OpenSubtitles2016语料库中选取英芬双语的电影字幕进行细粒度情感标注，涵盖愤怒、期待、厌恶、恐惧、喜悦、悲伤、惊讶与信任八类情感，并纳入中性类别以增强模型的泛化能力。其核心研究问题在于如何构建一个跨语言、多标签的情感标注基准，以推动情感计算在低资源语言中的应用。XED数据集通过结合专家标注与自动命名实体替换技术，为情感分类任务提供了约5.2万个高质量样本，显著促进了多语言情感分析领域的发展，成为相关研究的重要参照基准。

当前挑战

XED数据集所面临的挑战首先体现在其解决的领域问题上：情感分类任务中，跨语言的情感表达差异、文化特异性以及多标签情感标注的歧义性，使得模型难以在英芬两种语言间实现鲁棒的泛化。尤其是电影字幕中的口语化、非正式表达及隐含情感，进一步加剧了情感识别的复杂性。在数据集构建过程中，研究人员需应对多重挑战：其一，原始语料来自OpenSubtitles2016，其噪声与文本长度不均增加了标注难度；其二，专家标注耗时且成本高昂，尽管采用多轮标注以保证一致性，但情感边界的主观性仍可能导致标签偏差；其三，为保护隐私而用命名实体识别（NER）替换人名与地名时，可能破坏上下文的情感线索，如特定实体在情感表达中的关键作用；其四，芬兰语作为非主流语言，其情感标注资源匮乏，需依赖Turku NER等工具进行实体替换，进一步增加了数据处理的复杂性。

常用场景

经典使用场景

在情感计算与自然语言处理的交叉领域中，Helsinki-NLP/xed_en_fi数据集为跨语言情感识别提供了标准化的评测基准。该数据集基于Plutchik八核心情感理论，对英语和芬兰语的电影字幕进行了精细的多标签情感标注，涵盖愤怒、期待、厌恶、恐惧、喜悦、悲伤、惊讶和信任八类基本情感，并包含中性类别。研究者常利用该数据集进行多标签情感分类模型的训练与评估，尤其是在低资源语言场景下，通过对比英语与芬兰语的标注数据，探索情感表达的文化差异与语言特异性，推动跨语言情感分析的理论发展。

衍生相关工作

基于XED数据集，学界涌现了一系列创新性工作。Öhman等人（2020）在提出该数据集的同时，建立了多标签情感分类的基准模型，验证了跨语言情感标注的可行性。后续研究如跨语言情感知识迁移方法，利用XED的英语标注数据通过对抗性训练提升芬兰语情感识别性能。此外，有工作将XED与Transformer架构结合，探索预训练语言模型（如mBERT、XLM-R）在多标签情感任务中的微调策略，并分析不同语言层的情感编码差异。该数据集还催生了情感标签层次结构建模的研究，通过图神经网络捕捉Plutchik情感轮中标签间的语义关联，提升了多标签分类的准确率与可解释性。

数据集最近研究