anthonychen/mocha

MOCHA数据集是一个用于训练和评估生成式阅读理解指标的基准数据集。它包含了来自6个不同问答数据集的40K人类评分，以及一组用于评估的最小对。MOCHA将阅读理解实例（包括段落、问题和参考答案）与候选答案和人类评分配对。通过MOCHA，研究人员训练了一个名为LERC的学习评估指标，以模仿人类评分。LERC在保留的注释上比基线指标高出10到36个绝对皮尔逊点，在最小对上的评估中达到了80%的准确率，比基线高出14到26个绝对百分点。MOCHA为开发准确和鲁棒的生成式阅读理解指标提供了一个具有挑战性的问题。

The MOCHA dataset is a benchmark dataset for training and evaluating generative reading comprehension metrics. It contains 40K human ratings from 6 distinct question answering datasets, along with a set of minimal pairs for evaluation. MOCHA pairs reading comprehension instances comprising passages, questions, and reference answers with candidate answers and their corresponding human ratings. Through MOCHA, researchers trained a learning-based evaluation metric named LERC to mimic human ratings. LERC outperforms baseline metrics by 10 to 36 absolute Pearson points on held-out annotations, and achieves 80% accuracy in evaluations on the minimal pairs, which is 14 to 26 absolute percentage points higher than baseline models. MOCHA provides a challenging problem for developing accurate and robust generative reading comprehension metrics.

原始信息汇总

数据集概述

数据集基本信息

• 名称: MOCHA
• 标注创建者: 众包
• 语言创建者: 发现
• 语言: 英语
• 许可证: CC BY-SA 4.0
• 多语言性: 单语
• 大小类别: 10K<n<100K
• 源数据集: 原始
• 任务类别: 问答
• Papers with Code ID: mocha
• 标签: generative-reading-comprehension-metric

数据集结构

特征

• constituent_dataset: 字符串，原始QA数据集
• id: 字符串
• context: 字符串，文章内容
• question: 字符串，相关问题
• reference: 字符串，正确答案
• candidate: 字符串，由source生成的答案
• score: 浮点数，人类判断分数（测试集默认值为-1）
• metadata: 结构体
  • scores: 整数序列，不同评判者的分数列表，平均后得到最终score（默认值为空列表）
  • source: 字符串，生成candidate的生成模型
• candidate2: 字符串（用于最小对评估）
• score2: 浮点数（用于最小对评估）

数据分割

• 训练集: 31,069个实例
• 验证集: 4,009个实例
• 测试集: 6,321个实例
• 最小对集: 200个实例

数据集创建

数据集摘要

MOCHA包含40K人类判断分数，来自6个多样化的问答数据集，以及一组用于评估的最小对。MOCHA将阅读理解实例（包括文章、问题和参考答案）与候选答案和人类判断分数配对。

数据集大小

• 下载大小: 14,452,311字节
• 数据集大小: 44,490,444字节

搜集汇总

数据集介绍

构建方式

在生成式机器阅读理解领域，传统评估指标因过度依赖词元重叠而难以捕捉答案的语义正确性。为突破这一瓶颈，MOCHA（建模正确性的人工注释）数据集应运而生，其构建过程严谨而系统。该数据集整合了来自六个不同问答数据集的模型输出结果，通过众包方式征集人工评判分数，共计收集约四万条评分数据。每个样本包含篇章、问题、参考答案、候选答案及其对应的人类评分，并额外构建了200组最小对样本用于鲁棒性评估。训练集、验证集与测试集分别包含31,069、4,009和6,321个实例，确保了数据划分的科学性与代表性。

特点

MOCHA数据集以其独特的双重属性在众多评估资源中脱颖而出。首先，它兼具训练与评估功能，既可用于训练生成式阅读理解指标（如LERC），又可作为基准测试平台，为模型性能提供量化标尺。其次，数据集涵盖六个多样化问答来源，极大增强了其泛化能力与领域覆盖度。此外，最小对样本的引入使得评估不再局限于单一分数，而是能够检验模型对细微语义差异的敏感度，为衡量评估指标的鲁棒性提供了关键视角。这些特征共同构成了MOCHA在生成式阅读理解评估领域中的标杆地位。

使用方法

使用MOCHA数据集时，研究者可将其直接加载至基于HuggingFace Datasets库的流程中。数据集提供标准化字段，包括语境（context）、问题（question）、参考答案（reference）及候选答案（candidate），并附有对应的人工评分（score）用于监督学习。在训练阶段，可基于训练集拟合评估模型以模仿人类判断；验证集与测试集则用于调参和性能评估。最小对子集可用于测试模型的鲁棒性，通过比较两个候选答案的评分差异来检验评估指标对语义变异的敏感性。整个使用过程简洁高效，适合嵌入各类评估指标开发流程。

背景与挑战

背景概述

在机器阅读理解领域，将问答任务建模为生成式问题虽赋予模型回答开放性问题的灵活性，却长期受困于现有评估指标的局限性——这些基于词元重叠的度量方式无法捕捉答案在语义正确性、信息完整性及推理合理性上的细微差异。为填补这一空白，Anthony Chen、Gabriel Stanovsky、Sameer Singh与Matt Gardner于2020年在EMNLP上提出了MOCHA（Modeling Correctness with Human Annotations）数据集。该数据集汇聚了来自六个不同问答数据集的模型输出结果，包含约4万条人工评判分数，并额外构建了200对最小差异样本用于鲁棒性评估。MOCHA的诞生为生成式阅读理解评估指标的训练与基准测试提供了标准化平台，其衍生指标LERC（Learned Evaluation metric for Reading Comprehension）在皮尔逊相关系数上较传统基线提升10至36个绝对百分点，显著推动了该领域的量化研究进程。

当前挑战

MOCHA所应对的核心挑战在于生成式阅读理解评估中度量标准的缺失：传统指标如BLEU、ROUGE仅依赖表面词汇匹配，无法判别答案是否真正基于上下文推理得出，导致模型在生成流畅但语义偏差的答案时仍获高分。构建过程中，研究者面临多重困难：首先需从六个异质数据集（如SQuAD、NarrativeQA等）中统一采样，确保候选答案覆盖不同难度与错误类型；其次，人工标注需设计精细的评分指南以消除主观歧义，每位标注员需对同一答案独立评分以获取可靠均值；此外，最小差异对的构造需人工编写语义相近但正确性迥异的答案对，这对标注者的语言敏感性要求极高。这些挑战不仅考验数据集的规模与多样性，更对评估指标的鲁棒性提出了严苛要求。

常用场景

经典使用场景

在自然语言处理领域，生成式阅读理解任务因答案的开放性与灵活性而备受关注，然而现有评估指标多依赖词汇重叠，难以捕捉答案在语义层面的正确性。MOCHA数据集应运而生，其核心用途在于训练与评估生成式阅读理解的自动评估指标。该数据集汇集了来自六个不同问答系统的模型输出，并附带约四万条人工标注的正确性评分，为度量生成答案的质量提供了可靠基准。研究者可借助MOCHA训练如LERC这样的学习型评估器，使其模仿人类判断，从而更精准地衡量模型生成的答案是否真正理解了文本内涵。

解决学术问题

MOCHA数据集精准回应了生成式阅读理解评估中长期存在的学术困境：传统指标如BLEU或ROUGE仅关注字面重叠，无法区分正确答案与似是而非的表述。该数据集通过大规模人工标注，首次构建了一个专门用于训练与验证评估指标的标准平台，使研究者能够量化评估器的准确性与鲁棒性。实验表明，基于MOCHA训练的LERC指标在皮尔逊相关系数上超越基线方法10至36个绝对值点，在最小对偶测试中准确率达80%，显著推动了评估方法的科学化与精细化发展。

衍生相关工作

MOCHA数据集的发布催生了一系列围绕生成式阅读理解评估的经典研究。最直接的成果是LERC（Learned Evaluation metric for Reading Comprehension），该模型利用MOCHA的人工标注数据学习人类评分模式，在多项基准上取得突破。后续工作进一步探索了更鲁棒的评估框架，例如结合对比学习或对抗训练来提升评估器对噪声与歧义的抵抗能力。此外，MOCHA也为其他自然语言生成任务的评估研究提供了方法论借鉴，推动了从单一词汇匹配向语义理解导向的评估范式转变。