jiangmingchen/CGQA_and_COBJ

---
license: cc-by-4.0
---
The Official Dataset for CGQA, COBJ in **NeurIPS2023** Paper ["Does Continual Learning Meet Compositionality? New Benchmarks and An Evaluation Framework"](https://openreview.net/pdf?id=38bZuqQOhC).
Official Github Repository: [Click Here](https://github.com/NTU-LANTERN/CFST?tab=readme-ov-file)

许可证：CC-BY-4.0
本数据集为**NeurIPS 2023（国际神经信息处理系统大会2023）**论文《持续学习与组合性？全新基准与评估框架》（Does Continual Learning Meet Compositionality? New Benchmarks and An Evaluation Framework）中CGQA与COBJ的官方数据集，论文链接：https://openreview.net/pdf?id=38bZuqQOhC。
官方GitHub仓库：[点击此处](https://github.com/NTU-LANTERN/CFST?tab=readme-ov-file)

原始信息汇总

数据集概述

数据集名称

• CGQA, COBJ

发布机构

• 未明确提及

发布时间

• 未明确提及

数据集用途

• 用于 NeurIPS2023 论文 "Does Continual Learning Meet Compositionality? New Benchmarks and An Evaluation Framework"

数据集许可证

• CC BY 4.0

官方GitHub仓库

• 点击访问

搜集汇总

数据集介绍

构建方式

在持续学习与组合性研究的交叉领域，CGQA与COBJ数据集的构建遵循了严谨的学术范式。该数据集源自NeurIPS 2023的官方研究，旨在系统评估模型在持续学习任务中处理组合性概念的能力。其构建过程基于精心设计的组合性基准，通过结构化采样与组合规则，生成了涵盖多样化视觉概念与关系的样本集合，为量化模型组合泛化性能提供了标准化数据基础。

特点

该数据集的核心特点在于其鲜明的组合性评估导向。它突破了传统持续学习数据集的局限，专门设计了可分解的概念与关系结构，使得每个样本均蕴含明确的组合语义。数据集中任务序列的编排模拟了渐进式知识积累场景，同时保持了组合要素的可控性与可解释性，为深入探究模型组合推理的失效模式提供了精准的实验载体。

使用方法

使用本数据集时，研究者可依据官方指南加载预设的任务流序列。典型流程包括按顺序在划分的任务上进行训练与评估，以观测模型在遭遇新概念组合时的性能演变。数据集兼容主流持续学习框架，支持对遗忘、泛化及组合推理能力的多维度度量，其结构化标签便于进行细粒度的错误分析与归因。

背景与挑战

背景概述

在人工智能的持续学习领域，模型需在不断涌现的新任务中积累知识，同时避免灾难性遗忘。然而，现有基准常忽视组合性这一核心认知能力，即从有限基元中泛化出新组合的潜力。为此，NeurIPS 2023会议上，研究团队推出了CGQA与COBJ数据集，旨在构建一个评估框架，以检验持续学习模型在处理组合性泛化时的效能。该数据集的创立标志着持续学习与组合推理交叉研究的重要进展，为模型评估提供了更为严谨和贴近现实认知场景的基准。

当前挑战

CGQA与COBJ数据集致力于应对持续学习中的组合性泛化挑战，即模型需在任务序列中识别并重组已知概念以应对新颖组合。这一领域问题要求模型不仅避免遗忘，还需展现类似人类的创造性推理能力。在构建过程中，挑战集中于设计具有清晰组合结构的任务流，确保基元与组合间的平衡，以及生成高质量、多样化的视觉或符号数据以模拟真实世界复杂性。这些挑战共同推动了评估框架的精细化，促使研究社区深入探索持续学习的本质界限。

常用场景

经典使用场景

在持续学习与组合性研究的交叉领域，CGQA和COBJ数据集为评估模型在动态环境中的知识整合与泛化能力提供了标准基准。其经典使用场景聚焦于模拟现实世界中的增量学习过程，通过精心设计的任务序列，考察模型在面对新概念组合时的表现。研究者利用该数据集训练和测试各类持续学习算法，旨在揭示模型是否能够有效避免灾难性遗忘，同时保持对已学概念的组合推理能力。

实际应用

在现实应用中，CGQA和COBJ数据集的设计理念可直接映射到需要系统持续适应新信息的场景。例如，在智能助理或机器人领域，系统需在不断接触新物体、新指令或新环境的同时，保留并组合运用已有知识。该数据集为开发此类终身学习系统提供了关键的评估工具，助力实现能够在开放世界中稳健进化、理解复杂指令并执行组合任务的实用人工智能。

衍生相关工作

自该数据集与配套框架发布以来，已催生了一系列围绕持续学习与组合性评估的后续研究。相关经典工作主要沿着两个方向展开：一是提出新的算法或架构改进，以在该基准上取得更优的性能；二是基于其设计哲学，构建更复杂或面向特定领域（如视觉推理、机器人操作）的新基准。这些衍生工作共同深化了社区对学习系统组合泛化与持续适应机制的理解。