eraser-benchmark/movie_rationales

MovieRationales数据集包含电影评论的人类注释理由，主要用于文本分类任务，特别是情感分类。数据集是单语言的（英语），包含训练、验证和测试三个部分，分别有1600、200和199个样本。数据集的字段包括评论（review）、标签（label）和证据（evidences）。

The MovieRationales dataset contains human-annotated rationales for movie reviews, and is primarily used for text classification tasks, especially sentiment classification. It is an English-only monolingual dataset that includes three splits: training, validation, and test sets, with 1600, 200, and 199 samples respectively. The dataset consists of three fields: review, label, and evidences.

原始信息汇总

数据集概述

基本信息

• 数据集名称: MovieRationales
• 语言: 英语
• 许可证: 未知
• 多语言性: 单语种
• 数据集大小: 1K<n<10K
• 源数据集: 原始数据
• 任务类别: 文本分类
• 任务ID: 情感分类

数据结构

数据字段

• review: 字符串类型，表示电影评论。
• label: 分类标签，可能的值包括 NEG (0) 和 POS (1)。
• evidences: 字符串列表，表示评论的证据。

数据分割

• 训练集: 1600 条数据
• 验证集: 200 条数据
• 测试集: 199 条数据

数据示例

json { "evidences": ["Fun movie"], "label": 1, "review": "Fun movie " }

引用信息

bibtex @inproceedings{deyoung-etal-2020-eraser, title = "{ERASER}: {A} Benchmark to Evaluate Rationalized {NLP} Models", author = "DeYoung, Jay and Jain, Sarthak and Rajani, Nazneen Fatema and Lehman, Eric and Xiong, Caiming and Socher, Richard and Wallace, Byron C.", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2020.acl-main.408", doi = "10.18653/v1/2020.acl-main.408", pages = "4443--4458", } @InProceedings{zaidan-eisner-piatko-2008:nips, author = {Omar F. Zaidan and Jason Eisner and Christine Piatko}, title = {Machine Learning with Annotator Rationales to Reduce Annotation Cost}, booktitle = {Proceedings of the NIPS*2008 Workshop on Cost Sensitive Learning}, month = {December}, year = {2008} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，可解释性研究日益受到重视，MovieRationales数据集的构建正是为了推动这一方向的发展。该数据集源自电影评论的情感分析任务，通过众包方式收集人工标注的理性依据。原始评论数据经过筛选与整理，标注者针对每条评论识别出支持情感判断的关键证据片段，从而形成包含评论文本、情感标签及证据列表的结构化数据。整个构建过程注重数据的代表性与标注质量，为模型的可解释性评估提供了坚实基础。

特点

MovieRationales数据集的核心特点在于其融合了情感分类与理性依据的双重标注。数据集包含约2000条英文电影评论，每条评论均标注了正面或负面的情感极性，并附有支撑该判断的具体文本证据。这种设计使得数据集不仅适用于传统的情感分析任务，更能服务于可解释性模型的训练与评估。数据划分为训练集、验证集和测试集，规模适中，结构清晰，便于研究者进行模型开发与性能比较。

使用方法

使用MovieRationales数据集时，研究者可将其加载至常见的机器学习框架中，如Hugging Face的datasets库。数据集可直接用于训练情感分类模型，通过评论文本预测情感标签。更重要的是，其附带的证据信息可用于开发或评估可解释性模型，例如训练模型在预测的同时输出理性依据，或衡量模型输出与人工标注证据的一致性。数据集的标准化格式确保了与现有NLP工具链的无缝集成，支持广泛的实验设计与分析。

背景与挑战

背景概述

在自然语言处理领域，模型的可解释性一直是推动人工智能透明化与可信赖性的核心议题。MovieRationales数据集作为ERASER基准测试的重要组成部分，由Jay DeYoung、Sarthak Jain等研究人员于2020年联合构建，旨在为情感分类任务提供人类标注的理性依据。该数据集源自电影评论，通过众包方式标注了支持情感判断的关键文本片段，不仅促进了可解释性NLP模型的发展，也为评估模型决策的合理性提供了标准化的测试平台，对提升机器学习模型的透明度和可靠性产生了深远影响。

当前挑战

MovieRationales数据集致力于解决情感分类中模型决策可解释性的挑战，要求模型不仅预测情感倾向，还需识别支撑该判断的文本证据，这对现有算法的细粒度理解与推理能力提出了更高要求。在构建过程中，数据收集面临众包标注的一致性难题，不同标注者对理性依据的界定可能存在主观差异，影响标注质量；同时，数据规模相对有限，涵盖的语境与语言变化不够丰富，可能限制模型在多样化场景下的泛化能力。

常用场景

经典使用场景

在自然语言处理领域，可解释性研究日益受到重视，MovieRationales数据集为这一方向提供了关键支撑。该数据集最经典的使用场景在于训练和评估具有可解释性的情感分类模型，通过提供电影评论及其对应的人类标注理性依据，研究者能够构建模型不仅预测情感极性，还能识别文本中支持该判断的具体证据片段。这种设置使得模型决策过程变得透明，有助于深入理解神经网络在情感分析任务中的内部工作机制。

解决学术问题

MovieRationales数据集有效解决了自然语言处理中模型可解释性这一核心学术难题。传统黑盒模型虽在情感分类等任务上表现优异，但其决策逻辑往往晦涩难懂。该数据集通过引入人类标注的理性依据，为构建自解释模型提供了监督信号，使得研究能够聚焦于如何让模型生成与人类认知相符的解释。这推动了可解释人工智能的发展，增强了人们对复杂模型决策的信任，并为评估解释质量建立了客观基准。

衍生相关工作

围绕MovieRationales数据集，学术界衍生了一系列探索模型可解释性的经典工作。其作为ERASER基准的核心组成部分，催生了众多针对理性提取和联合训练的模型架构研究。例如，一些工作专注于改进基于注意力的理性提取器，另一些则探索如何将理性生成与主任务预测更紧密地耦合。这些研究不仅深化了对可解释NLP模型设计的理解，其提出的评估框架和方法论也广泛影响了后续在医疗文本、法律文档等更多领域构建可信赖AI系统的努力。