ltg/norec

NoReC（挪威评论语料库）是一个用于训练和评估文档级情感分析模型的官方数据集。该数据集包含超过43,000篇来自主要挪威新闻来源的全文评论，涵盖文学、电影、视频游戏、餐厅、音乐和戏剧等多个领域，以及各类产品评论。每篇评论都带有原始作者提供的1-6分的手动评分。数据集由奥斯陆大学语言技术组（LTG）与挪威广播公司（NRK）、Schibsted媒体集团和Aller媒体合作创建，并由挪威研究理事会资助。数据集以Creative Commons Attribution-NonCommercial许可证（CC BY-NC 4.0）发布，禁止第三方将原始评论用于商业目的，但基于该数据集创建的机器学习模型、词典、嵌入等资源可以自由用于商业用途。

原始信息汇总

NoReC: The Norwegian Review Corpus

数据集概述

• 语言: 挪威语
• 许可证: Creative Commons Attribution-NonCommercial (CC BY-NC 4.0)
• 数据量: 10K<n<100K
• 名称: NoReC

数据集配置

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*

数据集信息

• 特征:
  • id: 字符串
  • split: 字符串
  • rating: 整数 (int64)
  • category: 字符串
  • day: 整数 (int64)
  • month: 整数 (int64)
  • year: 整数 (int64)
  • excerpt: 字符串
  • language: 字符串
  • source: 字符串
  • authors: 字符串
  • title: 字符串
  • url: 字符串
  • text: 字符串
• 分割:
  • 训练集:
    • 字节数: 94334212
    • 样本数: 34749
  • 验证集:
    • 字节数: 13597517
    • 样本数: 4348
  • 测试集:
    • 字节数: 13787751
    • 样本数: 4340
• 下载大小: 77286913 字节
• 数据集大小: 121719480 字节

数据集来源

• 版本: 2.1
• 来源: 从八个不同的挪威新闻源提取的43,436篇全文评论，涵盖多个领域。

数据集用途

• 目的: 用于文档级情感分析，预测text中的rating。
• 领域: 通过过滤category值，可以检查模型的跨领域性能。

数据集统计

• 年份和出版源分布:
  • 数据主要覆盖2003-2019年，包括少量1998年的评论。
• 分割和评分分布:
  • 训练集、验证集和测试集的评分分布。
• 分割和类别分布:
  • 训练集、验证集和测试集的类别分布。

引用

@InProceedings{VelOvrBer18, author = {Erik Velldal and Lilja {O}vrelid and Eivind Alexander Bergem and Cathrine Stadsnes and Samia Touileb and Fredrik J{o}rgensen}, title = {{NoReC}: The {N}orwegian {R}eview {C}orpus}, booktitle = {Proceedings of the 11th edition of the Language Resources and Evaluation Conference}, year = {2018}, address = {Miyazaki, Japan}, pages = {4186--4191} }