lpsc-fiuba/melisa

MeLiSA数据集是一个用于西班牙语和葡萄牙语情感分析和文本分类的产品评论数据集。该数据集包含2020年8月至2021年1月期间收集的西班牙语和葡萄牙语评论。每条记录包含评论内容、标题、星级评分、发布国家和产品类别。数据集在每种语言中的星级评分分布大致平衡，每个星级评分约占评论的20%。数据集的结构包括训练、验证和测试分割，每个评论包含国家、类别、评论内容、评论标题和评分等信息。西班牙语评论来自8个不同的拉丁美洲国家，葡萄牙语评论来自巴西。数据集通过语言检测算法确保评论语言的准确性，并优先选择具有丰富语义内容的评论。

The MeLiSA Dataset is a product review dataset designed for Spanish and Portuguese sentiment analysis and text classification. It consists of reviews collected between August 2020 and January 2021. Each record contains the review content, title, star rating, publishing country, and product category. The star rating distribution is roughly balanced for each language, with each star rating accounting for approximately 20% of the total reviews. The dataset is partitioned into training, validation, and test splits, where each review includes information such as country, category, review content, review title, and rating. Spanish reviews originate from 8 distinct Latin American countries, while Portuguese reviews are sourced exclusively from Brazil. To ensure the accuracy of the review languages, the dataset employs language detection algorithms, and prioritizes reviews with rich semantic content.

原始信息汇总

数据集概述

数据集名称

MeLiSA (Mercado Libre for Sentiment Analysis)

语言

• 西班牙语 (es)
• 葡萄牙语 (pt)

许可

• 其他 (other)

多语言性

• 多语言 (multilingual)
• 西班牙语单语 (monolingual)
• 葡萄牙语单语 (monolingual)

大小分类

• 100K<n<1M (西班牙语和葡萄牙语)

源数据集

• 原始数据

任务类别

• 条件文本生成
• 序列建模
• 文本分类
• 文本评分

任务ID

• 语言建模
• 情感分类
• 情感评分
• 摘要生成
• 主题分类

数据集描述

数据集摘要

提供了一个针对西班牙语和葡萄牙语的产品评论数据集，用于文本分类。该数据集包含2020年8月至2021年1月期间收集的评论。每个记录包含评论内容、标题、星级评分、发布国家及产品类别（艺术、技术等）。每种语言的星级评分大致平衡，每种星级评分约占20%。

支持的任务和排行榜

• 情感分析
• 文本分类

数据集结构

数据实例

每个数据实例对应一条评论。每种语言的训练、验证和测试数据分别存储在不同的.csv文件中。

数据字段

• country: 国家标识符
• category: 产品类别
• review_content: 评论内容
• review_title: 评论标题
• review_rate: 星级评分（1-5）

数据分割

每种语言都有独立的训练、验证和测试集。all_languages集是所有语言相应分割的合并。

数据集创建

数据收集和规范化

作者从阿根廷、哥伦比亚、秘鲁、乌拉圭、智利、委内瑞拉和墨西哥的市场收集西班牙语评论，从巴西收集葡萄牙语评论。通过排名过滤器优先选择包含丰富语义内容的评论，并使用半自动语言检测算法确保语言正确性。

源语言生产者

原始文本来自Mercado Libre的客户，他们在市场上对各种产品类别的产品进行评论。

个人和敏感信息

评论由用户提交，知道其为公开。评论者ID已匿名化，但自由形式的文本回复可能容易被去匿名化。

搜集汇总

数据集介绍

构建方式

MeLiSA数据集源自拉丁美洲电商平台Mercado Libre在2020年8月至2021年1月期间收集的产品评论。评论分别来自西班牙语（阿根廷、哥伦比亚、秘鲁等8个拉美国家）和葡萄牙语（巴西）的站点。为确保语义丰富性，构建者依据评论文本长度和“赞减踩”差值进行排序，优先选取高质量样本，并将每件产品的评论上限设为30条。同时，借助基于Joulin等人方法的语言检测算法，剔除与目标语言不符的评论，最终形成按星级大致均衡分布的数据集，其中西班牙语训练样本442,108条，葡萄牙语253,955条。

特点

该数据集的核心特点在于其多语言与多国别的覆盖，聚焦于拉丁美洲西班牙语和葡萄牙语的细粒度情感分析。数据字段包括评论内容、标题、星级评分、来源国家及产品大类（如家居、科技、健康等）。星级评分从1到5呈近似均衡分布，避免类别不平衡问题。此外，数据集支持多种自然语言处理任务，如情感分类、主题分类、摘要生成和语言建模，为低资源语言区域的研究提供了宝贵资源。

使用方法

数据集通过HuggingFace Datasets库加载，用户可选择西班牙语（es）、葡萄牙语（pt）或全语言（all_languages）配置。每个配置均包含训练、验证和测试划分，以CSV格式存储。使用时，可提取字段如review_content和review_title作为输入文本，review_rate作为情感标签，用于训练分类模型。也可结合country和category字段进行跨领域或多任务学习。建议在应用前注意数据中可能存在的虚假评论或冒犯性语言，并考虑星级均衡带来的分布偏差。

背景与挑战

背景概述

MeLiSA（Mercado Libre for Sentiment Analysis）数据集由布宜诺斯艾利斯大学工程学院电子系信号处理与通信实验室的研究团队于2021年发布，核心成员包括Lautaro Estienne、Matías Vera和Leonardo Rey Vega。该数据集聚焦于拉丁美洲西班牙语和葡萄牙语的商品评论情感分析，旨在填补非英语及非欧洲语言在自然语言处理研究中的资源空白。数据源自Mercado Libre电商平台在阿根廷、巴西等八个拉美国家的用户评论，时间跨度为2020年8月至2021年1月，涵盖五个产品类别。其研究问题围绕多语言情感分类与文本评分展开，通过平衡星级分布（每星级约20%）确保模型训练的鲁棒性。该数据集对推动拉美地区自然语言处理技术发展具有重要影响，为低资源语言的跨领域研究提供了标准化基准。

当前挑战

该数据集面临的挑战主要体现在两大层面。在领域问题层面，情感分析需应对拉美西班牙语和葡萄牙语的方言差异与表达多样性，例如阿根廷与墨西哥用户对同一产品的评价用词可能截然不同；同时，电商评论中混合了口语化表达、拼写错误及网络用语，增加了语义理解的复杂性。在构建过程层面，研究者需处理两大难题：一是从海量评论中筛选富含语义内容的样本，通过排名算法优先保留长度较长且点赞数较高的评论，但此方法可能引入选择偏差；二是语言检测算法需准确区分西班牙语与葡萄牙语，尤其在巴西用户可能混用两种语言的场景下，误判会污染数据纯净度。此外，匿名化用户ID后仍存在通过评论文本反推个人身份的隐私风险，需谨慎处理伦理合规问题。

常用场景

经典使用场景

MeLiSA数据集（Mercado Libre for Sentiment Analysis）是专为拉丁美洲西班牙语和葡萄牙语文本分类任务而构建的大规模情感分析语料库。其经典使用场景聚焦于基于用户评论的多类别情感极性判别，涵盖1至5星级的细粒度评分预测。数据集中每个样本均包含评论文本、标题、星级评分、所属国家及产品类别等字段，为研究者提供了丰富的语义与上下文信息。该语料库在构建时通过排名过滤策略优先保留了语义密度较高的评论，并实现了星级分布的近似平衡，从而为训练鲁棒的情感分类模型奠定了坚实基础。研究者可借助该数据集进行跨语言情感分析、多标签分类以及文本表示学习的实验与评估。

衍生相关工作

MeLiSA数据集的发布催生了多项围绕拉丁美洲语言情感分析的经典研究工作。研究者基于该语料库开展了跨语言情感迁移学习实验，探索了多语言BERT模型在西班牙语与葡萄牙语变体上的微调策略。部分工作进一步引入了对抗性训练方法来消除地域偏差，提升了模型在跨国家评论数据上的泛化性能。此外，该数据集被用作评估文本增强技术（如回译、同义词替换）对低资源语言情感分类效果影响的基准。还有学者将其与欧洲西班牙语数据集进行对比分析，揭示了词汇与句法层面的地域性差异对情感分析系统鲁棒性的挑战。

数据集最近研究

最新研究方向

在拉丁美洲西班牙语和葡萄牙语的低资源情感分析领域，MeLiSA数据集正成为推动跨语言文本分类研究的重要基石。该数据集源自Mercado Libre电商平台的用户评论，覆盖阿根廷、巴西等八个拉美国家，并创新性地通过语义丰富度排序与语言检测算法，构建了星级评分均衡的多语料库。当前前沿研究方向聚焦于利用该数据集探索多语言预训练模型在拉美方言上的迁移学习能力，以及结合产品类别与地理信息进行细粒度情感评分预测。相关热点事件包括拉美电商市场的爆发式增长与多语言NLP公平性讨论，MeLiSA的出现填补了该区域情感分析基准的空白，为开发更具文化包容性的自然语言处理系统提供了关键资源，其影响力正从学术研究延伸至商业智能与跨文化用户理解领域。