sled-umich/TRIP

TRIP（Tiered Reasoning for Intuitive Physics）是一个新颖的常识推理数据集，包含密集的注释，支持对机器推理过程的多层次评估。该数据集包括对每个故事的密集注释，这些注释捕捉了超越最终任务的多层次推理。通过这些注释，我们提出了一个分层次的评估方法，其中给定一对高度相似的故事（仅因一个句子不同而使其中一个故事变得不可信），系统必须共同识别（1）可信的故事，（2）不可信故事中的一对冲突句子，以及（3）这些句子中导致冲突的潜在物理状态。TRIP的目标是使机器在最终任务预测的可信度方面具有系统性评估能力，特别是评估高层次的预测是否可以通过低层次的理解（例如支持预测的物理状态变化）来验证。

原始信息汇总

数据集概述

基本信息

• 名称: TRIP: Tiered Reasoning for Intuitive Physics
• 语言: 英语 (en)
• 语言创建方式: 众包 (crowdsourced)
• 多语言性: 单语 (monolingual)
• 规模: 1K<n<10K
• 数据来源: 原始 (original)

任务与应用

• 任务类别: 文本分类 (text-classification)
• 任务ID: 自然语言推理 (natural-language-inference)

数据集特性

• 注释创建者: 专家生成 (expert-generated)
• 许可证: 未指定

数据集描述

TRIP是一个新颖的常识推理数据集，具有密集注释，支持对机器推理过程进行多层次评估。数据集包含每个故事的密集注释，捕捉超出最终任务的多层次推理。通过这些注释，提出了一种分层评估方法，要求系统识别高度相似的故事对中的合理故事、冲突句对及导致冲突的底层物理状态。

下载与引用

• 下载: 可通过HuggingFace和GitHub获取
• 引用: 参考文献中提供了详细的引用信息