ltg/norec

NoReC（挪威评论语料库）是一个用于训练和评估文档级情感分析模型的官方数据集。该数据集包含超过43,000篇来自主要挪威新闻来源的全文评论，涵盖文学、电影、视频游戏、餐厅、音乐和戏剧等多个领域，以及各类产品评论。每篇评论都带有原始作者提供的1-6分的手动评分。数据集由奥斯陆大学语言技术组（LTG）与挪威广播公司（NRK）、Schibsted媒体集团和Aller媒体合作创建，并由挪威研究理事会资助。数据集以Creative Commons Attribution-NonCommercial许可证（CC BY-NC 4.0）发布，禁止第三方将原始评论用于商业目的，但基于该数据集创建的机器学习模型、词典、嵌入等资源可以自由用于商业用途。

原始信息汇总

NoReC: The Norwegian Review Corpus

数据集概述

• 语言: 挪威语
• 许可证: Creative Commons Attribution-NonCommercial (CC BY-NC 4.0)
• 数据量: 10K<n<100K
• 名称: NoReC

数据集配置

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*

数据集信息

• 特征:
  • id: 字符串
  • split: 字符串
  • rating: 整数 (int64)
  • category: 字符串
  • day: 整数 (int64)
  • month: 整数 (int64)
  • year: 整数 (int64)
  • excerpt: 字符串
  • language: 字符串
  • source: 字符串
  • authors: 字符串
  • title: 字符串
  • url: 字符串
  • text: 字符串
• 分割:
  • 训练集:
    • 字节数: 94334212
    • 样本数: 34749
  • 验证集:
    • 字节数: 13597517
    • 样本数: 4348
  • 测试集:
    • 字节数: 13787751
    • 样本数: 4340
• 下载大小: 77286913 字节
• 数据集大小: 121719480 字节

数据集来源

• 版本: 2.1
• 来源: 从八个不同的挪威新闻源提取的43,436篇全文评论，涵盖多个领域。

数据集用途

• 目的: 用于文档级情感分析，预测text中的rating。
• 领域: 通过过滤category值，可以检查模型的跨领域性能。

数据集统计

• 年份和出版源分布:
  • 数据主要覆盖2003-2019年，包括少量1998年的评论。
• 分割和评分分布:
  • 训练集、验证集和测试集的评分分布。
• 分割和类别分布:
  • 训练集、验证集和测试集的类别分布。

引用

@InProceedings{VelOvrBer18, author = {Erik Velldal and Lilja {O}vrelid and Eivind Alexander Bergem and Cathrine Stadsnes and Samia Touileb and Fredrik J{o}rgensen}, title = {{NoReC}: The {N}orwegian {R}eview {C}orpus}, booktitle = {Proceedings of the 11th edition of the Language Resources and Evaluation Conference}, year = {2018}, address = {Miyazaki, Japan}, pages = {4186--4191} }

搜集汇总

数据集介绍

构建方式

NoReC（挪威语评论语料库）是专为文档级情感分析任务构建的高质量数据集。其构建过程始于从挪威八家主流新闻媒体（包括Dagbladet、VG、Aftenposten等）系统性地采集超过43,000篇全文评论，覆盖文学、电影、电子游戏、餐厅、音乐、戏剧及多类产品领域。每篇评论均保留了原始作者手工赋予的1至6分评分标签，作为情感强度的真实标注。数据集由奥斯陆大学语言技术组主导的SANT项目创建，并与挪威广播公司、Schibsted媒体集团及Aller Media合作完成，最终以CC BY-NC 4.0许可协议发布，确保学术研究的合规使用。

特点

该数据集的核心特点在于其规模与多样性。总计43,436篇评论文本被划分为训练集（34,749篇）、验证集（4,348篇）和测试集（4,340篇），时间跨度主要覆盖2003年至2019年。每条样本包含14个字段，其中'text'字段作为输入文本，'rating'字段作为情感评分输出，而'category'字段则标识领域类别（如游戏、文学、音乐等），支持跨领域性能分析。此外，数据还保留了来源、作者、标题、URL等元信息，便于进行细粒度过滤与多维度研究。评分分布呈现以4分和5分为主的中高倾向，反映了真实评论环境中用户评分的自然偏态。

使用方法

数据集主要面向文档级情感分析任务，典型用法是以'text'为输入特征，以'rating'为预测目标，构建回归或分类模型。通过利用'category'字段，研究者可以筛选特定领域子集，评估模型在不同领域间的迁移能力与鲁棒性。其他元数据字段（如年份、来源）可用于进一步的分析过滤，例如考察时间漂移或媒体来源对情感表达的影响。数据集在HuggingFace上以标准格式提供，支持通过datasets库直接加载，用户可指定split参数获取训练、验证或测试子集，或使用'default'配置加载完整数据。

背景与挑战

背景概述

NoReC（挪威评论语料库）由奥斯陆大学语言技术组（LTG）主导，在SANT项目框架下与挪威广播公司、Schibsted传媒集团及Aller Media合作创建，于2018年在LREC会议上首次发布。该数据集旨在填补非英语语言在文档级情感分析领域的高质量标注资源空白，收录了来自八家挪威主流媒体的超过43,000篇全文评论，涵盖文学、电影、电子游戏、餐饮、音乐、戏剧及多类产品领域。每篇评论附有原作者提供的1至6分人工评分，为基于文本的细粒度情感倾向预测提供了坚实的训练与评估基础。作为挪威语自然语言处理领域的里程碑式资源，NoReC显著推动了低资源语言情感分析技术的研究进展，并为跨领域情感建模提供了标准化基准。

当前挑战

NoReC所解决的领域问题在于文档级情感分析中挪威语标注语料的稀缺性，尤其是多领域、多源头的细粒度情感倾向预测任务。构建过程中面临的核心挑战包括：其一，需从八家新闻机构的海量历史数据中筛选并获取授权，涉及复杂的版权协商与隐私合规问题，最终采用CC BY-NC 4.0许可证以平衡学术研究与商业限制；其二，确保跨领域评论（如文学与电子产品）的评分标准一致性，人工标注需克服领域间情感表达差异带来的偏差；其三，数据时间跨度从1998年至2019年，语言风格随年代演变，增加了模型对时序漂移的鲁棒性要求；其四，语料包含书面挪威语（Bokmål）和新挪威语（Nynorsk）两种标准形式，需处理方言与词汇变体对情感分析系统的影响。

常用场景

经典使用场景

NoReC语料库作为挪威语领域规模最大的文档级情感分析基准数据集，其经典使用场景聚焦于基于全文评论文本对1至6星级的评分进行预测。该数据集整合了来自挪威八大主流新闻媒体的逾四万三千篇真实评论，覆盖文学、电影、电子游戏、餐饮、音乐、戏剧及多品类商品等十余个领域，为跨领域情感分析模型的训练与评估提供了丰富且均衡的数据支撑。研究者通常以‘text’字段为输入特征、‘rating’字段为监督标签，构建端到端的深度学习模型，并借助‘category’字段进行跨领域性能诊断，从而深入探究模型在不同领域间的泛化能力与偏好差异。

实际应用

在实际应用层面，NoReC为挪威语市场的媒体监测、舆情分析与消费洞察提供了核心数据基础设施。媒体机构可借助基于该数据集训练的情感模型，自动抓取并量化用户对影视、音乐及文学作品的综合评价，辅助内容推荐与编辑决策。电商平台与餐饮点评系统能够利用模型实时解析产品评论的情感倾向，生成可视化的评分摘要，从而优化用户体验与服务质量。同时，该数据集的非商业许可条款允许基于其训练的模型与词向量等衍生产品用于商业目的，极大降低了企业部署挪威语自然语言处理技术的门槛，加速了北欧地区智能应用落地的进程。

衍生相关工作

NoReC的发布催生了一系列挪威语自然语言处理领域的标志性工作。Velldal等人（2018）在LREC会议上首次提出该语料库，奠定了文档级情感分析的基础框架。随后，研究者基于NoReC开发了挪威语情感词典与预训练词向量，并催生了诸如‘NoReC_fine’等细粒度情感数据集，将评分预测任务拓展至句子级与方面级。此外，该语料库被广泛用于挪威语BERT模型（如NB-BERT）的微调与评估，成为衡量挪威语预训练语言模型情感理解能力的标准测试床。这些衍生工作共同构筑了北欧情感分析研究的完整生态，显著提升了挪威语在自然语言处理领域的国际影响力。