jaredfern/codah

CODAH（COmmonsense Dataset Adversarially-authored by Humans）是一个用于常识问答的评估集，采用人类对抗性创作的方式构建。与自动生成的NLI数据集不同，CODAH由人类作者设计，他们可以查看预训练模型的反馈信息，并利用这些信息设计出具有挑战性的常识问题。数据集包含多个配置，每个配置都有不同的数据分割（训练、验证、测试），并且每个数据实例包含问题类别、问题提示、候选答案和正确答案索引等字段。

原始信息汇总

数据集概述

数据集名称: COmmonsense Dataset Adversarially-authored by Humans (CODAH)

语言: 英语 (en)

许可证: Open Data Commons Attribution License (odc-by)

多语言性: 单语

大小类别: 1K<n<10K

源数据集: 原创

任务类别: 问答

任务ID: 多项选择问答 (multiple-choice-qa)

论文代码ID: codah

美观名称: COmmonsense Dataset Adversarially-authored by Humans

数据集结构

数据字段

• id: 整数32位
• question_category: 分类标签，包括 Idioms, Reference, Polysemy, Negation, Quantitative, Others
• question_prompt: 字符串
• candidate_answers: 字符串序列
• correct_answer_idx: 整数32位

数据分割

• 训练集 (train):

  • 配置名称: codah
    • num_examples: 2776
    • num_bytes: 571196
  • 配置名称: fold_0, fold_1, fold_2, fold_3, fold_4
    • num_examples: 1665
    • num_bytes: 344900, 340978, 342281, 342832, 342832
  • 下载大小: 352902, 379179, 379728, 379126, 379178, 379178
  • 数据集大小: 571196

• 验证集 (validation):

  • 配置名称: fold_0, fold_1, fold_2, fold_3, fold_4
    • num_examples: 556
    • num_bytes: 114199, 114199, 114199, 114199, 114165

• 测试集 (test):

  • 配置名称: fold_0, fold_1, fold_2, fold_3, fold_4
    • num_examples: 555
    • num_bytes: 112097, 116019, 114716, 114165, 114199

搜集汇总

数据集介绍

构建方式

CODAH数据集通过一种创新的方式构建，即由人类对抗性地设计问题，以挑战预训练模型的能力。具体而言，数据集的创建过程中，人类标注者能够查看预训练模型的反馈，并利用这些信息设计出更具挑战性的常识问题。这种对抗性设计确保了数据集的难度和多样性，从而为模型提供了更为严格的测试环境。

特点

CODAH数据集的主要特点在于其对抗性设计和多样化的常识问题类型。数据集包含了多种问题类别，如成语、指代、多义词、否定、数量和其他类型，这些问题旨在测试模型的常识推理能力。此外，数据集的结构包括多个配置，每个配置都有训练、验证和测试集，便于模型在不同数据子集上的评估和比较。

使用方法

CODAH数据集适用于多种自然语言处理任务，特别是多选题问答任务。用户可以通过加载数据集的不同配置（如codah、fold_0至fold_4）来获取训练、验证和测试数据。每个数据实例包含问题提示、候选答案和正确答案的索引，用户可以利用这些信息训练和评估模型。数据集的灵活结构使得用户能够根据具体需求选择合适的数据子集进行实验和研究。

背景与挑战

背景概述

CODAH（COmmonsense Dataset Adversarially-authored by Humans）数据集是一个专门用于常识问答评估的数据集，其设计灵感来源于SWAG数据集的句子补全风格。与自动生成的自然语言推理（NLI）数据集不同，CODAH由人类对抗性地构建，研究人员可以利用预训练模型的反馈来设计更具挑战性的常识问题。该数据集的核心研究问题是如何通过对抗性的人类设计，提升模型在常识推理任务中的表现。CODAH由Michael Chen等人于2019年提出，其研究成果发表在ACL 2019的Workshop上，对推动常识推理领域的研究具有重要意义。

当前挑战

CODAH数据集的主要挑战在于其对抗性构建过程，研究人员需要通过不断调整问题设计，以突破现有模型的性能瓶颈。这一过程不仅要求对模型弱点有深入理解，还需具备高水平的常识推理能力。此外，数据集的构建过程中还面临如何确保问题多样性和难度平衡的挑战，以避免模型过度拟合特定类型的常识问题。尽管CODAH在提升模型常识推理能力方面展现了潜力，但其对抗性设计也带来了数据标注和验证的复杂性，进一步增加了数据集构建的难度。

常用场景

经典使用场景

CODAH数据集的经典使用场景主要集中在常识推理任务中，特别是在多选题问答（multiple-choice question-answering）领域。该数据集通过人类对抗性设计的问题，挑战现有的预训练模型，以评估其在处理复杂常识性问题时的表现。研究者通常利用CODAH数据集来测试和改进模型的常识推理能力，尤其是在面对具有挑战性的情境时，模型的表现如何。

实际应用

在实际应用中，CODAH数据集可用于开发和测试智能问答系统、教育辅助工具以及自然语言处理应用中的常识推理模块。通过使用CODAH数据集，开发者可以构建更加智能和准确的问答系统，这些系统能够在复杂的常识情境中提供正确的答案，从而提升用户体验和系统的实用性。此外，CODAH还可用于评估和改进现有的自然语言处理模型，使其在实际应用中表现更加出色。

衍生相关工作

CODAH数据集的推出激发了大量相关研究工作，特别是在常识推理和对抗性数据生成领域。许多研究者基于CODAH的设计理念，开发了新的对抗性数据生成方法，以进一步挑战现有的自然语言处理模型。此外，CODAH的成功也启发了其他领域，如教育数据集的对抗性设计，以及在其他语言和文化背景下的常识推理数据集的构建。这些衍生工作不仅丰富了数据集的多样性，也推动了相关领域的技术进步。