MRiabov/IntersectionQA-15K

IntersectionQA是一个仅包含代码的CAD空间推理基准数据集。每个示例为模型提供两个可执行的CadQuery对象构建函数和装配变换，然后要求模型推断由该代码引起的几何关系。核心问题是代码模型是否能够在心理上跟踪CAD程序的空间后果：正体积干涉、接触、接近未命中、间隙、包含和重叠量。数据集不旨在替代CAD内核。官方标签是通过CadQuery/OpenCASCADE布尔和距离查询离线生成的，然后存储在行中，以便训练和评估可以在不执行CAD代码的情况下运行。基准测试从代码中测量闭书几何基础；工具辅助的CAD代理可以单独评估作为上限设置。这是一个以基准测试为先的发布，而不是传统的以训练为主的有监督数据集。`test_near_boundary`分割特意较大，因为它是接触、接近未命中、微小重叠和反事实案例的主要诊断挑战集。IntersectionQA以两种公共大小发布：`IntersectionQA-15K`用于快速检查和烟雾实验，`IntersectionQA-90K`用于更大的基准测试/训练发布。此存储库包含来自IntersectionQA `v0.1`的`15,000`个公共任务行。IntersectionQA is a code-only CAD spatial-reasoning benchmark. Each example gives a model two executable CadQuery object-construction functions plus assembly transforms, then asks it to infer the geometric relation induced by that code. The central question is whether a code model can mentally track the spatial consequences of CAD programs: positive-volume interference, contact, near misses, clearance, containment, and overlap magnitude. The dataset is not intended to replace a CAD kernel. Official labels are produced offline with CadQuery/OpenCASCADE Boolean and distance queries, then stored in the rows so training and evaluation can run without executing CAD code. The benchmark measures closed-book geometric grounding from code; tool-assisted CAD agents can be evaluated separately as an upper-bound setting. This is a benchmark-first release rather than a conventional train-heavy supervised dataset. The `test_near_boundary` split is intentionally large because it is the main diagnostic challenge set for touching, near-miss, tiny-overlap, and counterfactual cases. IntersectionQA is published in two public sizes: `IntersectionQA-15K` for quick inspection and smoke experiments, and `IntersectionQA-90K` for the larger benchmark/training release. This repository contains `15,000` public task rows from IntersectionQA `v0.1`.

搜集汇总

数据集介绍

构建方式

IntersectionQA-15K数据集面向代码驱动的CAD空间推理任务而构建，其核心流程始于从CADEvolve语料库中选取可执行的CadQuery程序，并在隔离工作单元内执行与验证，确保生成有限且非退化的实体几何体。通过将合格程序标准化为独立的对象构造函数，结合边界框引导、接触目标、近边界以及反事实等变换策略，提出两两对象装配方案。借助CadQuery与OpenCASCADE引擎，精确计算布尔交集体积与实体间距离，并以此为基准生成多种任务标注，最终结构化存储为训练与评估可用的数据集行。

使用方法

用户可通过Hugging Face的datasets库便捷加载数据集，例如使用load_dataset函数指定所需划分，如训练集、验证集或各类测试集。在封闭书评估模式下，仅需将字段中的prompt输入模型，并将模型输出与存储的answer进行比对，即可衡量模型对CAD代码几何后果的推理能力。值得注意的是，labels、diagnostics等字段仅供分析使用，不应暴露于模型输入之中。此外，数据集支持根据难度标签、关系类型或装配分组进行切片，便于开展定制化诊断实验。

背景与挑战

背景概述

IntersectionQA-15K数据集由研究人员于近期构建，专注于计算机辅助设计（CAD）领域的空间推理能力评估。该数据集围绕一个核心研究问题展开：代码模型能否从CAD程序代码中推断出几何体之间的空间关系，例如正体积干涉、接触、近距、间隙、包含及重叠程度。相较于传统文本到CAD系统的最终形状相似性评估，IntersectionQA通过受控的几何问题，揭示了模型在无需执行CAD代码的情况下进行封闭式空间推理的能力。其发布在HuggingFace平台，为评估代码模型、微调模型以及基于CAD内核的工具辅助Agent提供了基准，对推动几何智能与程序理解交叉领域的发展具有重要影响力。

当前挑战

该数据集解决的领域问题挑战在于，现有CAD系统评估多依赖最终形状或代码可执行性，缺乏对模型从代码中推断装配体实际几何关系的细粒度度量。具体挑战包括：其一，模型需精准区分正体积干涉与仅接触（面、边、点）的细微差别，这对几何定义的理解要求极高；其二，构建过程中需通过CadQuery/OpenCASCADE引擎生成精确的几何标签，同时设计多样化的转换策略（如边界接触、空腔目标、反事实对比）以覆盖边界复杂情形，确保标签的鲁棒性；其三，数据集故意过采样困难边界案例，使测试集大于训练集，挑战了传统独立同分布假设，要求评估方法适应非均匀分布的数据结构。

常用场景

经典使用场景

在计算几何与程序合成交汇的前沿领域，IntersectionQA-15K作为一款专注代码驱动CAD空间推理的基准数据集，其经典使用场景集中于评估代码模型对三维装配体几何关系的闭卷推理能力。研究者通过向模型提供两个可执行的CadQuery对象构造函数及其装配变换，要求其在不运行CAD内核的前提下，直接推断实体间是否存在正体积干涉、接触、近邻、间隙、包含关系以及重叠程度等多类几何交互状态。该数据集精心设计了二分类干涉检测、间隙分箱、关系分类、容差适配、体积分箱及反事实比较等七项任务，形成了一个从二元判断到细粒度排序的完整评估体系，尤其强调接触与干涉的精确区分及边界情况的诊断。

解决学术问题

该数据集针对性解决了长期困扰程序合成社区的“代码几何理解”这一核心学术难题——即语言模型能否从CAD程序代码中抽象出实际的几何空间语义，而非仅仅依赖语法模式或表面特征。传统评估方法多聚焦于生成代码的可执行性或最终形状的相似度，而IntersectionQA-15K首次将注意力引导至程序执行前的“闭卷几何推理”能力，揭示了模型在零几何反馈下对干涉、容差、包含等空间关系的认知边界。这一突破性设计不仅为比较不同编码器架构、微调策略及工具辅助智能体的几何推理上限提供了标准化标尺，更推动了学界对神经符号模型中空间表示学习与几何常识内化机制的系统性探索。

实际应用

在工业界与学术界的实际应用中，该数据集为构建具备空间智能的CAD辅助系统提供了关键的评估基线。它可被直接用作闭卷几何问答的基准测试，用于筛选和优化在代码补全、参数化建模及装配验证等场景下的大语言模型。特别是在自动化概念设计阶段，模型若能通过该数据集的诊断任务，则意味着其已具备从程序代码中预判几何冲突与装配可行性的能力，这显著降低了传统物理仿真验证的时间成本。此外，数据集中刻意设计的近边界、微小重叠及反事实样本，为开发高鲁棒性的容差分析工具和接触检测算法提供了丰富的错误案例与诊断线索，有望加速生成式设计在实际生产流程中的安全部署。

数据集最近研究

最新研究方向

当前，IntersectionQA-15K数据集正引领计算机辅助设计（CAD）与代码智能融合的前沿探索，聚焦于大型语言模型对CAD程序空间几何关系的闭卷推理能力。该数据集通过构建由CadQuery代码驱动的两物体装配问题，要求模型在不依赖外部几何引擎辅助的情况下，精准判断物体间的干涉、接触、近距、包容及重叠度等复杂空间关系，从而推动代码模型从表面语法理解迈向深层的几何因果推理。这一研究方向与近期多模态大模型在专业工程领域落地的热点事件紧密相连，不仅揭示了纯代码表示中隐含的几何知识瓶颈，也为构建具身智能中的空间感知与操纵能力提供了关键的基准测试。其深远意义在于弥合了自然语言编程与物理世界模拟之间的鸿沟，为下一代智能设计自动化与CAD代理系统奠定了坚实的评估基础。