Compositional Reasoning

kaggle2026-04-03 更新2026-05-09 收录

组合推理

元认知基准

数据链接：

https://www.kaggle.com/datasets/russcore/decomposedbench 数据链接链接失效反馈

官方服务：

资源简介：

3-task metacognition benchmark

三任务元认知（metacognition）基准测试

创建时间：

2026-03-25

Generalized Associative Recall (GAR)

视觉语言模型

组合推理

Generalized Associative Recall (GAR)数据集由北京邮电大学提出，旨在评估大型语言模型在组合关系推理（CRR）任务中的表现。该数据集包含192个生成任务和192个分类任务，共计4608个示例，涵盖多种形式和难度级别。数据集通过自动生成任务，结合不同的语义和句法变体，确保任务的多样性和挑战性。GAR数据集主要用于系统性研究LLMs在CRR任务中的机制和性能，揭示其在复

arXiv2024-12-17 更新300

tasksource/PLANE-ood

文本分类

组合推理

PLANE（短语级形容词-名词蕴含）是一个用于测试模型在细粒度组合推理上表现的基准数据集。当前数据集包含五个采样分割，用于监督实验。每个样本包含六个特征：seq（测试序列）、label（真实标签）、Adj_Class（形容词类别）、Adj（形容词）、Nn（名词）和Hy（名词的上位词）。每个样本的seq可以采取三种形式之一：形容词-名词是名词、形容词-名词是上位词（名词）、形容词-名词是形容词-上位

Hugging Face2023-06-02 更新200

supergoose/flan_source_qasc_qa_with_combined_facts_1_216

复杂问答系统

组合推理

该数据集包含字符串类型的输入和目标字段，以及其他辅助信息字段。数据集被划分为训练集，大小为28188309字节，共有34091个示例。提供了默认配置，指定了训练集数据文件的路径。

Hugging Face2025-02-25 更新90

Cola

视觉语言模型

组合推理

Cola数据集是由波士顿大学的研究团队开发的，用于评估大型视觉语言模型在组合对象定位与属性方面的能力。该数据集包含约1236个组合查询，涉及168个对象和197个属性，分布在约30K张图像上。创建过程中，模型必须从包含相同对象和属性但配置错误的干扰图像中检索出正确配置的图像。Cola数据集主要应用于测试和改进视觉语言模型在组合推理方面的性能，特别是在辅助代理等实际应用中，需要理解细粒度差异的场景。

arXiv2023-11-03 更新270

Compositional Reasoning Under Uncertainty (CURI)

机器学习

组合推理

CURI数据集是由Facebook AI Research创建，用于评估机器学习系统在不确定条件下的组合推理能力。该数据集包含14,929个概念，涵盖了抽象理解、生产性泛化、布尔运算学习、变量绑定等多个方面，旨在模拟人类在无限概念空间中的学习和推理能力。CURI通过一系列元学习任务，评估模型在处理复杂概念和不确定性时的表现，推动了机器学习在组合性推理方面的研究进展。

arXiv2020-10-07 更新140

Compositional Reasoning

资源简介：

相关数据集