kaist-ai/DepthQA

DepthQA是一个新颖的问答数据集，旨在评估语言模型在图基推理能力上的表现。它基于Webb的知识深度（DOK）层次结构，将问题分为三个深度：D1（事实和概念）、D2（程序性）和D3（战略性）。数据集通过自上而下的方法构建，将复杂的D3问题分解为相关的D2和D1问题，形成图状结构，边表示不同知识深度之间的推理过程。DepthQA涵盖多个领域和推理类型，问题设计确保全面性、隐式性和非二元响应。这种结构挑战模型展示复杂的认知能力，包括知识合成、隐式推理和跨各种科学和数学概念的战略问题解决。