AEC-Geometric-Bench

从建筑图纸中提取几何和符号数据：一个用于读取建筑图纸上的门、窗、固定装置、工程量清单价格以及墙壁和封闭区域的基准。Extracting Geometric and Symbolic Data from Architectural Drawings: A Benchmark for Extracting and Reading Doors, Windows, Fixtures, Bill of Quantities Prices, Walls and Enclosed Spaces

原始信息汇总

AEC-Geometric-Bench 数据集概述

AEC-Geometric-Bench 是一个用于评估从建筑施工图纸中提取几何与符号信息能力的基准数据集，涵盖门、窗、固定装置等对象的识别，以及墙体、封闭区域面积的量测。

数据集构成

• 完整语料库（AEC-Geometric-Bench-312）：包含 312 张单页建筑施工图纸，共标注 24,771 个对象实例、59,328 个墙体形状和 16,112 个面积形状。
• 发布子集（AEC-Geometric-Bench-15）：公开发布其中 15 张图纸及其对应的真实标注（ground truth），以便他人可重算评测结果。

评测任务与规则

• 对象检测：涵盖 8 个类别，使用 IoU 0.50 进行一对一匹配，按最高 IoU 优先，无置信度阈值，F1 分数按所有图纸池化计算。
• 墙体分割：以像素掩码形式评分，仅包含 Wall 和 Railing 类别。
• 区域分割与实例识别：区域类别包括 Room、Shaft、Balcony、Elevator 和 Stairs，相邻且接触的实例合并为单个封闭空间多边形。区域实例需正确分辨为独立房间。

系统性能对比（完整语料库）

系统	F1（对象）	墙体像素 F1	区域像素 F1	区域实例 F1
Kamai	0.929	0.935	0.983	0.924
Gemini 3.7 Flash	0.062	0.265	0.799	0.078
Claude Opus 5	0.049	0.268	0.764	0.227
Claude Fable 5	0.037	0.254	0.756	0.181
Gemini 3.1 Pro	0.023	0.159	0.612	0.125
GPT-5.6 Sol	0.015	0.071	0.788	0.168

结果显示，Kamai 系统在对象检测上显著优于其他模型，而其他模型虽能部分恢复区域像素，但难以将区域分解为离散房间实例。

发布内容与复现方式

• dataset/ 目录包含 15 张原始图纸（PDF）、CVAT 1.1 格式的标注文件、评分就绪版标注、冻结的类别映射（taxonomy.json）、逐张图纸的系统得分以及清单文件（manifest.json）。
• scoring/score.py 提供评分脚本，可对预测结果文件夹进行评分，并附带 Kamai 的示例预测输出用于验证。
• 运行 python3 score.py --pred example-predictions/kamai --name "Kamai v1 Aug26" 可复现发布子集的评分结果（对象、墙体像素、区域像素均完全一致，区域实例仅第三位小数有差异）。

许可协议

• 数据：CC BY-NC 4.0 许可，允许非商业用途的共享与改编，商业用途需另行许可。
• 代码：Apache 2.0 许可，评测软件不受数据许可限制，商业系统亦可使用该基准进行评测。

局限性说明

• 真实标注由单一标注者完成。
• 发布子集仅 15 张图纸，样本量较小，部分类别在子集中的统计依赖少量实例，建议引用完整语料库的数据。
• 部分系统通过代理框架运行，未记录 token 消耗或延迟，因此缺少成本数据。
• 该基准由被评测系统之一的供应商创建，但评测协议预先固定、类别映射已哈希冻结、所有系统使用相同匹配器与真实标注，且标注由专业团队而非作者完成，以降低偏差风险。

搜集汇总

数据集介绍

构建方式

该数据集针对建筑施工图纸的几何与符号信息提取任务，构建了一套系统化的评估基准。其核心语料库AEC-Geometric-Bench-312包含312张单页建筑施工图，并配有24,771个对象实例、59,328个墙体形状及16,112个面积形状的精细标注。标注工作由专业团队完成，确保了数据质量。本基准公开了其中15张图纸及其真值（AEC-Geometric-Bench-15），并提供了完整的评分规则、冻结的分类体系（taxonomy.json）以及基于CVAT 1.1格式的标注文件。所有数据均经过脱敏处理，以平衡研究需求与版权限制。

特点

该数据集的特点在于其统一的评分协议与细粒度的任务划分。评分规则涵盖三类任务：对象检测（八类，IoU≥0.5，一对一匹配）、墙体分割（像素级掩码）以及面积实例分割（合并相邻多边形）。数据集明确区分了性能度量的粒度，例如面积实例匹配需将重叠区域合并，以避免描绘风格造成的误差。此外，数据集提供了六种系统的基准结果，其中专用系统（Kamai）的F1分数达0.929，而通用大模型（如Gemini 3.7 Flash）仅为0.062，凸显了任务的专业性与挑战性。

使用方法

使用者可通过下载公开的15张图纸与真值，在scoring/目录下运行评分脚本复现基准结果。预测需按指定JSON格式提交，每张图纸一个文件，包含对象边界框、面积多边形和墙体多边形，坐标依据manifest.json中的尺寸定义。评分脚本基于numpy、shapely和Pillow库，支持统一计算对象F1、像素级分割精度及面积实例F1，并严格遵循冻结的分类体系，任何未定义类别均视为误报。该基准适用于评估建筑信息提取算法的性能，并为后续研究提供可比较的参照。

背景与挑战

背景概述

建筑、工程与施工（AEC）领域长期依赖二维施工图纸作为信息传递的核心媒介，其中蕴含的几何与符号信息——如门窗、固定装置、墙体及围合区域——是工程量估算与空间测量的根本依据。然而，将这些非结构化的图纸内容转化为结构化数据，传统上依赖人工解读，效率低下且易错。为系统评估自动化提取技术的性能，Kamai公司于2025年发布了AEC-Geometric-Bench基准数据集。该数据集包含312张真实施工图纸，标注了24,771个对象实例、59,328个墙体形状和16,112个面积形状，并公开其中15张图纸及标注，旨在推动从图纸到建筑信息模型（BIM）的自动化转换研究。该基准的发布填补了AEC领域缺乏标准化评估协议的空白，为比较不同系统（包括专业软件与通用大语言模型）在图纸理解任务上的表现提供了统一平台，对领域内技术迭代与落地应用具有重要参考价值。

当前挑战

AEC-Geometric-Bench的构建与所应对的领域问题均面临显著挑战。领域层面，核心难点在于图纸理解的综合性与精确性：系统需同时识别八类常见对象（如门、窗）并进行实例级匹配（IoU≥0.5），还需对墙体进行像素级分割，并将开放区域正确划分为独立房间，后者对工程量估算至关重要。当前通用模型在此任务上表现欠佳（对象F1仅0.062），而专业系统可达0.929，揭示出模型在细粒度符号解析与空间推理上的巨大鸿沟。构建层面，挑战包括：标注一致性难以保证，因单标注员可能导致主观偏差；图纸来源为真实施工文件，需进行脱敏处理以保护敏感信息；面积形状标注需合并相邻多边形以避免度量绘图风格而非性能；此外，基准由被评估系统之一的生产商发布，存在潜在利益冲突，需通过预定义协议、哈希分类法及统一评分规则来缓解。这些挑战不仅影响基准的可靠性与泛化能力，也反映了AEC数据自动提取任务的复杂性。

常用场景

经典使用场景

AEC-Geometric-Bench数据集作为建筑图纸几何与符号信息提取的基准，其核心使用场景在于评估和比较不同系统从建筑施工图中自动识别门窗、墙体及面积区域等元素的能力。研究者通常利用该基准对对象检测、像素分割及实例分割等计算机视觉任务进行统一评分，通过严格定义的评估协议（如IoU阈值、类别映射和合并规则）确保结果的可复现性与公平性，从而推动建筑信息模型（BIM）自动化领域的进步。

解决学术问题

该数据集解决了建筑图纸理解领域中缺乏标准化大规模基准的学术难题。传统方法多依赖私有数据集或主观评估，难以客观衡量算法性能。AEC-Geometric-Bench通过提供312张标注详尽的图纸（含24,771个对象实例、59,328个墙体形状和16,112个面积形状），并定义明确的评分规则（如对象匹配、类别合并、区域融合等），为学术研究提供了一个可量化、可对比的测试平台，显著促进了图纸语义解析、空间关系推理和文档图像分析等方向的研究，其严谨的评估体系成为后续工作的重要参照。

衍生相关工作

AEC-Geometric-Bench的发布催生了一系列衍生研究。一方面，其评估框架被广泛借鉴，促进了更鲁棒的图纸解析算法的开发，例如改进的区域实例分割模型和墙体像素分类网络。另一方面，该数据集公开的高质量标注（15张图纸及其真值）成为训练和微调下游模型的宝贵资源，类似CubiCasa5K和FloorPlanCAD的许可模式也引导了后续数据集的构建标准。此外，其严格的评分机制启发了对多系统公平比较的讨论，推动了透明、可复现的基准测试方法在AEC领域的发展。