allegro/klej-polemo2-out

PolEmo2.0-OUT数据集是一个包含来自四个领域（医学、酒店、产品和大学）的在线消费者评论的数据集。该数据集在完整评论和单个句子的层面上进行了人工标注，包含超过8000条评论，其中约85%来自医学和酒店领域。数据集被用于形成两个任务，其中第二个任务是测试模型在领域外评论（产品和大学领域）上的表现。由于这些领域的原始测试集较少（每个领域50条评论），因此使用了原始的领域外训练集中的900条评论进行测试，并创建了新的开发和测试集分割。最终，该任务包含1000条评论，与领域内测试数据集的1400条评论规模相当。The PolEmo2.0-OUT dataset is a collection of online consumer reviews spanning four domains: medicine, hospitality, products, and universities. This dataset is manually annotated at both the full review and individual sentence levels, with over 8,000 reviews in total, of which approximately 85% come from the medicine and hospitality domains. The dataset is used to construct two tasks, where the second one aims to evaluate model performance on out-of-domain reviews from the products and universities domains. Given the small size of the original test sets for these two domains (only 50 reviews per domain), 900 reviews from the original out-of-domain training set were repurposed for testing, and new splits for development and test sets were created. Ultimately, this task consists of 1,000 reviews, which is comparable in scale to the 1,400 reviews in the in-domain test dataset.

原始信息汇总

数据集概述

名称: PolEmo2.0-OUT

语言: 波兰语 (pl)

许可: Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)

多语言性: 单语

规模: 1K<n<10K

来源: 原始数据

任务类别: 文本分类

任务ID: 情感分类

数据集描述

PolEmo2.0是一个包含四个领域（医药、酒店、产品和大学）的在线消费者评论数据集。数据集包含超过8000条评论，其中约85%来自医药和酒店领域。数据集中的评论和句子均由人工标注。

任务详情

输入: 句子

输出: 句子情感标签（zero: 中性, minus: 负面, plus: 正面, amb: 模糊）

度量标准: 准确度

数据分割

子集	数量
训练	5783
测试	722
验证	723

类别分布

类别	情感	训练	验证	测试
minus	正面	0.379	0.334	0.368
plus	负面	0.271	0.332	0.302
amb	模糊	0.182	0.332	0.328
zero	中性	0.168	0.002	0.002

引用信息

@inproceedings{kocon-etal-2019-multi, title = "Multi-Level Sentiment Analysis of {P}ol{E}mo 2.0: Extended Corpus of Multi-Domain Consumer Reviews", author = "Koco{ }, Jan and Mi{l}kowski, Piotr and Za{s}ko-Zieli{ }ska, Monika", booktitle = "Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL)", month = nov, year = "2019", address = "Hong Kong, China", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/K19-1092", doi = "10.18653/v1/K19-1092", pages = "980--991", abstract = "In this article we present an extended version of PolEmo {--} a corpus of consumer reviews from 4 domains: medicine, hotels, products and school. Current version (PolEmo 2.0) contains 8,216 reviews having 57,466 sentences. Each text and sentence was manually annotated with sentiment in 2+1 scheme, which gives a total of 197,046 annotations. We obtained a high value of Positive Specific Agreement, which is 0.91 for texts and 0.88 for sentences. PolEmo 2.0 is publicly available under a Creative Commons copyright license. We explored recent deep learning approaches for the recognition of sentiment, such as Bi-directional Long Short-Term Memory (BiLSTM) and Bidirectional Encoder Representations from Transformers (BERT).", }

搜集汇总

数据集介绍

构建方式

PolEmo2.0数据集源自在线消费者评论，覆盖医学、酒店、产品及大学四大领域，由专家进行细粒度标注，既包含完整评论级别的标注，亦涵盖单个句子的情感判定。该数据集共计超过8000条评论，其中约85%源自医学与酒店领域。为构建跨领域情感分类任务，研究者将医学与酒店领域的评论作为训练集，而将产品与大学领域的评论作为测试集。鉴于原始测试集样本稀缺（各仅50条），研究团队决定采用原始跨领域训练集中的900条评论作为测试用途，并重新划分出开发集与测试集，最终形成包含约1000条评论的评测数据集，其规模与领域内测试集（1400条）相当。

特点

该数据集的核心特点在于其明确的跨领域（Out-of-Domain）评测设计，旨在检验模型在未见领域上的泛化能力。情感标签体系包含四类：积极（plus）、消极（minus）、中立（zero）及歧义（amb），其中歧义类别用于捕捉复杂或混合情感。数据分布显示训练集中积极与消极类别占比较高，而验证集与测试集中歧义类别比例显著上升，中立类别则极为稀少，这种不均衡分布为模型鲁棒性提出了挑战。数据集以句子为基本输入单元，任务目标为预测给定句子的情感标签，评测指标采用准确率。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，调用`load_dataset("allegro/klej-polemo2-out")`即可获取预划分的训练集（5783条）、验证集（723条）及测试集（722条）。数据包含`sentence`（文本）与`target`（标签）两列，标签以`__label__meta_plus_m`等格式编码，需通过`class_encode_column`方法转换为整数索引。模型评估可借助`load_metric`加载准确率与F1分数（宏平均）指标，通过对比预测结果与真实标签计算性能。数据集采用CC BY-NC-SA 4.0许可协议，适用于非商业研究与学术场景。

背景与挑战

背景概述

情感分析作为自然语言处理领域的核心任务，旨在自动识别文本中蕴含的主观情绪倾向。PolEmo2.0数据集由波兰弗罗茨瓦夫理工大学Jan Kocoń及其团队于2019年构建，专注于多领域消费者评论的情感分类。该数据集涵盖医疗、酒店、产品与大学四个领域，包含超过8000条评论及近20万条人工标注，采用2+1标注方案确保标注一致性，在文本和句子层面的Positive Specific Agreement分别达到0.91和0.88。本研究聚焦于其子集klej-polemo2-out，专门针对跨领域泛化能力评估，即利用医疗与酒店领域数据训练模型，测试其在产品与大学领域评论上的表现，为探索情感分析模型的领域适应性提供了重要基准。

当前挑战

数据集面临的核心挑战在于跨领域情感分类的泛化难题。不同领域在语言风格、评价对象和情感表达模式上存在显著差异，例如医疗评论常包含专业术语与谨慎措辞，而产品评论则更直接主观，导致模型在训练域（医疗、酒店）上学习到的特征难以有效迁移至测试域（产品、大学）。此外，构建过程中标注体系本身亦构成挑战：情感标签包含积极、消极、中立与模糊四类，其中模糊类别在训练集中占比18.2%，但在测试集中却高达32.8%以上，这种类别分布的不均衡性加剧了模型对模糊情感判断的困难，尤其在跨领域场景下更为突出。

常用场景

经典使用场景

PolEmo2.0-OUT数据集是情感分析领域用于评估模型跨领域泛化能力的经典基准。其核心设计在于训练集涵盖医学与酒店领域的消费者评论，而测试集则聚焦于产品和大学这两个未见领域，从而构建了一个严格的域外（Out-of-Domain）情感分类任务。研究者通常利用该数据集检验模型在训练分布之外的表现，以衡量其鲁棒性与迁移学习能力。该数据集包含约1000条域外测试样本，与域内测试集规模相当，确保了评估的统计可靠性。通过预测评论的四种情感标签（正面、负面、中立、模糊），该数据集为探索情感分类中的领域偏移问题提供了标准化平台。

解决学术问题

该数据集精准回应了自然语言处理中模型对未知领域情感表达泛化能力不足的核心学术困境。传统情感分类研究多假设训练与测试数据同分布，但现实场景中领域差异常导致性能急剧下降。PolEmo2.0-OUT通过系统性分离训练与测试领域，使研究者能够量化模型在域外数据上的鲁棒性，从而推动了对领域自适应、零样本迁移学习及对抗性训练等策略的深入探索。其意义在于为评估模型对语言变异性与语境依赖性的理解提供了可控实验环境，进而促进了通用情感分析框架的理论发展。

衍生相关工作

PolEmo2.0-OUT数据集衍生了一系列具有影响力的研究工作，这些工作主要围绕如何增强模型对领域偏移的适应性。例如，Kocoń等人（2019）在引入该数据集的同时，系统比较了BiLSTM与BERT等架构在域内外任务上的表现，揭示了预训练语言模型在跨领域泛化中的优势与局限。后续研究进一步探索了基于对抗训练、领域对抗神经网络及元学习的方法，旨在提升模型在不熟悉领域中的情感识别精度。这些工作共同塑造了当前域外情感分析的研究范式，并推动了波兰语自然语言处理社区对多领域消费者评论理解的深入发展。