cadgenbench-submissions

CADGenBench Submissions数据集是CADGenBench排行榜的提交记录和评估结果集合，专门用于存储和展示CAD（计算机辅助设计）和3D建模领域的生成模型在CADGenBench基准测试中的表现结果。数据集核心包含三个部分：results.jsonl文件存储每个提交的评估结果，排行榜表格直接从此文件读取数据；submissions目录下的压缩文件保存原始提交内容，支持重新生成单个提交报告和多模型比较报告；schema.md文件提供完整的数据字段说明。数据集通过自动化流程构建：提交者将模型输出打包为zip文件上传至排行榜空间，系统运行cadgenbench评估工具后，将结果追加到本数据集。该数据集与CADGenBench基准测试生态系统紧密集成，包括独立的测试输入数据集和私有的地面真值数据集，共同支持CAD生成任务的标准化评估。The CADGenBench Submissions dataset is a collection of submission records and evaluation results for the CADGenBench leaderboard. It is specifically designed to store and display the performance results of generative models in the CAD (Computer-Aided Design) and 3D modeling fields within the CADGenBench benchmark test. The dataset core consists of three parts: the results.jsonl file stores evaluation results for each submission, with the leaderboard table directly reading data from this file; compressed files in the submissions directory preserve the original submission content, supporting the regeneration of individual submission reports and multi-model comparison reports; the schema.md file provides complete data field descriptions. The dataset is built through an automated process: submitters package model outputs as zip files and upload them to the leaderboard space, the system runs the cadgenbench evaluation tool, and then appends the results to this dataset. This dataset is tightly integrated with the CADGenBench benchmarking ecosystem, including independent test input datasets and private ground truth datasets, collectively supporting standardized evaluation for CAD generation tasks.

原始信息汇总

数据集概述：CADGenBench Submissions

• 许可证：CC-BY-4.0
• 语言：英语
• 名称：CADGenBench Submissions
• 标签：leaderboard, cad, 3d, benchmark

数据集内容

该数据集包含用于 CADGenBench 排行榜的提交和评估结果。数据集的结构如下：

路径	说明
results.jsonl	每行对应一个已提交并评估的提交项，排行榜表格从中读取数据。
submissions/<uuid>.zip	原始上传的压缩包，用于排行榜空间重新渲染每个提交项及多模型对比报告。
schema.md	完整的行数据模式及字段说明。

数据集的生成方式

提交者通过排行榜空间的“Submit”选项卡上传压缩包。排行榜空间在CPU上运行 cadgenbench evaluate 命令，构建结果行，并通过 huggingface_hub.HfApi 将结果追加到该数据集中。

相关资源

• 排行榜空间：https://huggingface.co/spaces/HuggingAI4Engineering/CADGenBench
• 基准测试代码：https://github.com/huggingface/cadgenbench
• 输入数据：https://huggingface.co/datasets/HuggingAI4Engineering/cadgenbench-data
• 真实标签数据：https://huggingface.co/datasets/HuggingAI4Engineering/cadgenbench-data-gt （私有）

搜集汇总

数据集介绍

构建方式

该数据集专为CADGenBench排行榜设计，用于存储和追踪三维计算机辅助设计（CAD）生成任务的提交与评估结果。数据通过用户在排行榜空间上传ZIP压缩包触发，空间内执行cadgenbench评估流水线，自动在中央处理器（CPU）上完成指标计算。评估完成后生成一条结构化记录，借助huggingface_hub库的HfApi接口追加至results.jsonl文件中，同时保留原始上传压缩包于submissions目录，确保后续可针对单个提交或多模型对比报告进行可视化重渲染。

特点

数据集核心特点在于其双层存储架构：results.jsonl以每行一条记录的形式存储提交编号与评估指标，供排行榜表格实时读取；submissions目录保管原始ZIP文件，支持动态生成可视化对比报告。每个提交附有完整列模式文档（schema.md），明确定义各字段含义，保障数据解析的标准化与可复现性。数据集遵循CC-BY-4.0许可协议，在公开基准输入（HuggingAI4Engineering/cadgenbench-data）与私有真值（HuggingAI4Engineering/cadgenbench-data-gt）的配合下，为CAD生成模型的公平评估提供了透明、可追溯的基础设施。

使用方法

使用者可通过HuggingFace数据集加载API直接读取results.jsonl文件，获取所有提交的评估指标与元数据，用于排行榜展示或二次分析。若需深入分析某一方法的具体生成结果，可通过存储的UUID映射至submissions目录下的对应ZIP文件，解压后即可复现该提交的完整输出。相关基准代码与输入数据均开源托管于GitHub与HuggingFace仓库，便于研究者扩展自身算法并与排行榜结果进行严格比对。

背景与挑战

背景概述

CADGenBench Submissions数据集由Hugging Face与HuggingAI4Engineering团队于近期创建，旨在为计算机辅助设计（CAD）领域的生成式模型提供标准化评估平台。该数据集聚焦于三维CAD模型的生成质量评价，通过收录多模型提交结果与自动化评估指标，推动生成式CAD算法从定性展示向量化比较的范式转变。作为CADGenBench排行榜的核心数据源，它标志着CAD生成任务首次拥有公开、可复现的基准测试体系，对学术研究中的模型创新与工业界的工具选型均具有重要参考价值。

当前挑战

该数据集面临的首要挑战是解决CAD生成领域长期缺乏统一评价标准的问题。传统上，不同研究使用的模型格式、指标计算方法和数据集划分方式各异，导致结果难以横向对比。在数据构建过程中，挑战集中于自动化评估流程的可靠性——需确保上传的CAD文件能被稳定解析，并且在CPU环境下高效完成几何特征提取与质量打分。此外，维护私有真值数据（ground truth）的保密性以防止数据泄露，也是确保评价公正性的关键难题。

常用场景

经典使用场景

CADGenBench Submissions 数据集作为计算机辅助设计（CAD）生成领域的标准化评测基准，其核心使用场景在于评估和比较不同三维CAD模型生成算法的性能。研究者通过上传生成的CAD模型至该数据集的提交系统，利用预设的夹具输入（fixture inputs）与真实标注（ground truth）进行定量对比，从而衡量模型在几何精度、拓扑合理性及功能完整性等方面的表现。该数据集为CAD生成任务提供了统一的评测协议，使得不同方法之间的公平比较成为可能，是推动该领域研究进展的关键基础设施。

解决学术问题

该数据集解决了CAD自动生成领域长期缺乏标准化评测框架的学术难题。在传统研究中，不同工作往往采用私有数据集和自定义评价指标，导致结果难以复现与方法间的横向对比。CADGenBench Submissions 通过公开的基准代码、统一的输入模板和隐藏的Ground Truth，构建了严谨的评测闭环，有效消除了数据泄露和过拟合风险。其在几何保真度、可制造性约束等维度的多维评估体系，推动了对生成模型深层能力的解构分析，显著提升了该领域研究的科学严谨性与可重复性。

衍生相关工作

围绕CADGenBench Submissions 数据集，衍生了一系列具有影响力的研究工作。基于该基准，研究者提出了针对CAD生成任务的条件扩散模型与基于图神经网络的结构推理方法，显著提升了对工程设计约束的建模能力。同时，该数据集的leaderboard机制催生了多篇旨在打破记录的高效算法论文，包括利用Transformer架构进行序列化建模的新范式。此外，围绕该基准的评估协议，学术界还发展出面向CAD模型可编辑性与装配兼容性的扩展指标，进一步丰富了生成式设计方法的研究生态。