MRiabov/IntersectionQA-90K

IntersectionQA-90K是一个专注于CAD空间推理的代码基准测试数据集。每个示例提供两个可执行的CadQuery对象构建函数及装配变换，要求模型推断代码所诱导的几何关系。核心问题是评估代码模型能否在心理上追踪CAD程序的空间后果，包括体积干涉、接触、接近未命中、间隙、包含和重叠量等。数据集旨在测量代码的闭书几何基础，而非替代CAD内核。官方标签通过CadQuery/OpenCASCADE布尔和距离查询离线生成，存储在行中以便训练和评估无需执行CAD代码。数据集包含90,000个任务行，分为训练、验证和测试集，以及针对边界/反事实案例的挑战套件。IntersectionQA-90K is a code-only CAD spatial-reasoning benchmark. Each example provides two executable CadQuery object-construction functions plus assembly transforms, then asks the model to infer the geometric relation induced by that code. The central question is whether a code model can mentally track the spatial consequences of CAD programs: positive-volume interference, contact, near misses, clearance, containment, and overlap magnitude. The dataset is not intended to replace a CAD kernel. Official labels are produced offline with CadQuery/OpenCASCADE Boolean and distance queries, then stored in the rows so training and evaluation can run without executing CAD code. The benchmark measures closed-book geometric grounding from code. This release contains 90,000 public task rows, split into training, validation, and test sets, plus named diagnostic suites for boundary/counterfactual cases.

搜集汇总

数据集介绍

构建方式

IntersectionQA-90K数据集依托CADEvolve大型语料库，通过一套严谨的流水线构建而成。首先，从该语料库中加载可执行的CadQuery程序，并在隔离环境中验证其生成有限、非退化的实体几何。随后，将经筛选的程序标准化为自包含的对象函数，通过边界框引导、接触目标、边界邻近、空腔目标及反事实变换等多维策略，将两个对象配对组合为装配体。最终，借助CadQuery/OpenCASCADE引擎进行精确的布尔交集与实体间距离计算，为每个装配体生成多种任务标签，并将这些标签及原始几何值直接存入数据行。

特点

该数据集以基准测试为首要目标，而非传统的训练集。其核心特色在于拥有一个占比极大的`test_near_boundary`诊断子集，专门用于评估模型在接触、微小重叠、接近失误及反事实场景下的空间推理能力。数据集设计了七项挑战性任务，涵盖二元干扰、间隙分桶、关系分类、体积分桶等，从不同维度考察模型对代码几何后果的推理深度。所有标签均基于精确的CAD内核计算，而非近似估计，确保了评估标准的严谨性。同时，通过精心设计的分组与哈希机制，严格防止了数据泄露。

使用方法

用户可通过Hugging Face的`datasets`库便捷加载数据集，例如`load_dataset("IntersectionQA-90K", split="train")`。在封闭书本评估模式下，仅应将每行中的`prompt`字段输入模型，并将其输出与标准`answer`字段进行比对。数据集推荐的标准使用路径为`train`用于训练，`validation`用于开发调优，`test_random`作为主要的分布内测试集。同时建议将`test_object_pair_heldout`和`test_near_boundary`作为独立的挑战套件分别报告结果，以全面评估模型在泛化能力与边界案例上的表现。

背景与挑战

背景概述

IntersectionQA-90K数据集由研究机构于2024年创建，旨在评估代码模型对计算机辅助设计（CAD）程序空间几何关系的推理能力。随着文本生成CAD和代码驱动设计系统的兴起，现有基准多关注最终形状相似性或代码可执行性，却忽略了模型在未见代码时对装配体几何关系的闭卷推理。该数据集通过90,000个任务样本，涵盖二值干涉、间隙分类、关系分类等七类问题，利用CadQuery/OpenCASCADE引擎离线生成精确标签，避免了运行时执行代码的需求。其影响力在于为CAD空间推理提供了首个标准化测试平台，尤其强调接触、近距、微小重叠等边界情况的诊断价值，推动了代码模型在几何基础理解领域的研究进展。

当前挑战

IntersectionQA-90K所解决的领域挑战在于，现有CAD系统依赖内核进行几何验证，而模型需在闭卷条件下仅凭代码推断空间关系，这要求模型具备超越语法匹配的深层几何推理能力。数据构建面临三大挑战：一是确保生成的装配案例覆盖接触、干涉、包含等细微差异，特别是边界情况（如正体干涉与面接触的区分）的充分采样，这催生了专门设计的近边诊断集（test_near_boundary）和对象对留出集（test_object_pair_heldout）；二是标签生成依赖精确的几何计算，需在有限容差下（如epsilon_volume_ratio=1e-6）保持一致性，微小参数变动即可改变分类结果；三是防止数据泄露，通过分组标识符和哈希保证同一装配系列的不同变体在训练、验证和测试集中严格分离，以客观评估模型的泛化能力。

常用场景

经典使用场景

IntersectionQA-90K作为面向计算机辅助设计（CAD）领域空间推理能力的专项基准，其经典使用场景聚焦于评估代码模型对CAD程序几何语义的闭卷推理能力。研究者通常利用该数据集中的二元干涉判断、间隙分类、关系识别等多任务设置，测试模型在仅阅读可执行的CadQuery代码与装配变换后，能否准确推断实体间是否发生体干涉、接触、临近或包含等空间关系，从而衡量模型对程序几何效果的深层心智追踪与理解水平。

实际应用

在实际应用中，IntersectionQA-90K主要服务于CAD智能代理的开发与验证环节，用于诊断和提升程序生成模型的空间几何基础能力。工业界可借助该基准评估自动编程工具在组装干涉检测、间隙配合分析等工程场景中的可靠性，避免因模型对几何语义理解偏差导致的设计缺陷。此外，该数据集支持快捷基线对比与工具辅助上限分析，为工程自动化流程中闭卷推理与CAD内核校验的协同工作提供性能参照，尤其在预装配阶段的智能化验证、数字化孪生中的空间冲突预警等方面具有显著的实用价值。

衍生相关工作

IntersectionQA-90K的推出激发了一系列围绕CAD代码空间推理的衍生工作。一方面，研究人员基于其边界困难分集（test_near_boundary）发展出针对接触与微小重叠的诊断分析方法，探索模型在AABB（轴对齐包围盒）与精确几何计算分歧处的行为规律。另一方面，数据集的分组元数据体系支持了对象对泛化挑战与反事实推理研究，催生了针对程序变形与参数变化敏感度的对比实验。此外，其闭卷评估框架与工具辅助上限设定的对比思路，已被后续工作借鉴以构建更复杂的多对象装配推理与CAD代理工作流评估体系。