sileod/probability_words_nli

该数据集用于测试语言模型在正确捕捉表示概率的词汇（WEP，也称为口头概率）含义方面的能力，例如probably、maybe、surely、impossible等词汇。我们使用概率软逻辑结合了用WEP表达的概率陈述（WEP-Reasoning），并使用了UNLI数据集直接检查模型是否能检测到与人类标注概率匹配的WEP。数据集可用作自然语言推理数据（上下文、前提、标签）或多选题回答（上下文、有效假设、无效假设）。

原始信息汇总

数据集概述

基本信息

• 名称: probability_words_nli
• 语言: 英语 (en)
• 许可证: Apache-2.0
• 多语言性: 单语种
• 数据集大小: 1K<n<10K
• 数据来源: 原始数据

任务与应用

• 任务类别:
  • 文本分类
  • 多选题
  • 问答
• 具体任务:
  • 开放领域问答 (open-domain-qa)
  • 多选题问答 (multiple-choice-qa)
  • 自然语言推理 (natural-language-inference)
  • 多输入文本分类 (multi-input-text-classification)

数据集结构

• 训练与评估配置:
  • 配置: usnli, reasoning-1hop, reasoning-2hop
  • 任务: 文本分类
  • 任务ID: 多类分类 (multi-class-classification)
  • 数据分割:
    • 训练集: train
    • 评估集: validation
  • 列映射:
    • sentence1: context
    • sentence2: hypothesis
    • label: label
  • 评估指标:
    • 准确率 (Accuracy)
    • F1 二分类 (F1 binary)

数据集用途

• 测试语言模型对表示概率的词汇（如“可能”、“也许”、“肯定”、“不可能”）的理解能力。
• 使用概率软逻辑结合概率陈述，以及使用UNLI数据集直接检查模型是否能检测到与人类注释概率匹配的WEP。
• 可用作自然语言推理数据或多选题问答。