CircuitSense

CircuitSense是一个综合性的视觉电路理解评估基准，包含超过8006个问题，涵盖了从组件级原理图到系统级框图的不同层次，测试了感知、分析和设计三个任务类别。数据集由精心挑选的问题和合成的电路系统组成，强调符号推导，并通过层次化的合成生成流程确保了数据的质量和多样性。CircuitSense旨在评估人工智能系统在电路设计和分析中的视觉到数学推理能力，以帮助加速设计周期并防止在昂贵的制造过程中出现关键故障。

CircuitSense is a comprehensive visual circuit understanding evaluation benchmark, containing over 8006 questions covering different levels ranging from component-level schematics to system-level block diagrams, and testing three task categories: perception, analysis, and design. The dataset comprises carefully selected questions and synthesized circuit systems, with an emphasis on symbolic reasoning, and ensures data quality and diversity via a hierarchical synthetic generation pipeline. CircuitSense aims to evaluate the visual-to-mathematical reasoning capabilities of AI systems in circuit design and analysis, to help accelerate design cycles and prevent critical failures during costly manufacturing processes.

原始信息汇总

CircuitSense 数据集概述

基本信息

• 标题: CircuitSense: A Hierarchical Circuit System Benchmark Bridging Visual Comprehension and Symbolic Reasoning in Engineering Design Process
• arXiv ID: 2509.22339
• 提交日期: 2025年9月26日
• 学科分类: Computer Vision and Pattern Recognition (cs.CV)

作者信息

• Arman Akbari
• Jian Gao
• Yifei Zou
• Mei Yang
• Jinru Duan
• Dmitrii Torbunov
• Yanzhi Wang
• Yihui Ren
• Xuan Zhang

数据集描述

CircuitSense是一个用于评估电路理解的综合基准测试，通过8,006多个问题跨越从组件级原理图到系统级框图的层次结构。该基准独特地考察了完整的工程工作流程：感知、分析和设计，特别强调从视觉输入推导符号方程的关键但尚未充分探索的能力。

核心特征

• 层次结构: 涵盖组件级原理图到系统级框图
• 问题规模: 8,006多个问题
• 工程流程: 感知、分析、设计三个完整阶段
• 重点能力: 从视觉输入推导符号方程

技术实现

• 引入分层合成生成流水线，包括基于网格的原理图生成器和带有自动推导符号方程标签的框图生成器

评估结果

对六个最先进的多模态大语言模型（包括闭源和开源模型）的综合评估显示：

• 感知任务: 闭源模型在组件识别和拓扑识别方面准确率超过85%
• 符号推导和分析推理: 性能低于19%，暴露了视觉解析和符号推理之间的关键差距
• 设计任务: 具有更强符号推理能力的模型始终获得更高的准确率

关键发现

• 确认数学理解在电路综合中的基础作用
• 建立符号推理作为工程能力的关键指标

资源链接

• PDF文档: https://arxiv.org/pdf/2509.22339
• HTML版本: https://arxiv.org/html/2509.22339
• TeX源码: https://arxiv.org/format/2509.22339
• DOI: https://doi.org/10.48550/arXiv.2509.22339

搜集汇总

数据集介绍

构建方式

在电子工程领域，电路系统的层次化抽象设计需要视觉理解与数学推理的深度融合。CircuitSense数据集通过分层合成生成流程构建，包含基于网格的电路图生成器和自动推导符号方程标签的框图生成器。该流程整合了2986个来自权威教材的精选问题和5020个合成生成电路，确保从电阻网络到系统级框图的六层复杂度覆盖。合成生成采用电气有效性约束和SPICE仿真验证，通过符号分析工具Lcapy提取精确的传递函数和节点方程，构建了8006个问题的完整评估体系。

特点

该数据集在电路理解评估领域具有突破性特征，其核心在于系统化测试从视觉到符号数学的推理能力。通过感知、分析和设计三大任务类别，全面覆盖工程工作流程，特别强调从视觉输入推导符号方程的关键能力。数据集跨越六个层次复杂度，从基础元件到系统架构，实现了对多模态大语言模型在跨层次数学推理能力的精细评估。其独特价值体现在合成电路与精选问题的互补设计，既保证了教育有效性，又避免了数据集污染风险，为评估真正的电路理解能力提供了可靠基准。

使用方法

在工程人工智能研究领域，CircuitSense为评估视觉到数学推理能力提供了标准化框架。研究人员可通过该数据集系统测试模型在电路感知、符号推导和设计任务中的表现。评估采用多策略框架：对选择题使用精确答案匹配，对开放式问题采用LLM作为评判器，通过数学等价性而非字符串匹配确定正确性。针对符号数学表达式评估，数据集实现了基于SymPy的严格符号比较流程，包括表达式树解析、代数简化、符号减法和数值验证四步验证，确保不同代数等价形式的正确识别。设计任务还集成了Ngspice仿真验证，完整再现工程实践流程。

背景与挑战

背景概述

在工程设计的演进历程中，从系统规范到组件实现的分层抽象过程始终是核心技术范式，其中视觉理解与数学推理的深度融合构成了设计流程的基石。CircuitSense数据集于2025年由美国东北大学与布鲁克海文国家实验室联合团队创建，旨在填补多模态大语言模型在技术图表数学建模能力评估方面的研究空白。该数据集通过8,006个涵盖从组件级原理图到系统级框图的层次化问题，首次系统性地考察了工程工作流中的感知、分析与设计三大核心环节，特别聚焦于从视觉输入推导符号方程这一关键能力的研究。

当前挑战

该数据集致力于解决电路设计领域视觉到数学推理的转化难题，具体挑战在于突破现有模型在符号推导与分析推理方面的性能瓶颈。构建过程中面临双重挑战：在领域问题层面，需要克服传统基准测试局限于识别任务而忽视数学建模能力的缺陷；在技术实现层面，需开发能够保证符号方程真实值的分层合成生成流水线，同时应对电路复杂度增加导致的符号推导计算成本激增问题，确保生成样本既具有组件级深度又具备系统级广度。

常用场景

经典使用场景

在电子工程领域，CircuitSense数据集主要应用于评估多模态大语言模型在电路视觉理解与符号推理方面的能力。该数据集通过包含8006个问题的分层结构，系统性地测试模型在电路感知、分析和设计三个关键环节的表现。特别是在符号方程推导这一核心任务中，CircuitSense能够精确衡量模型从电路拓扑结构中提取数学关系的能力，为研究视觉到数学的跨模态推理提供了标准化评估平台。

衍生相关工作

CircuitSense的推出催生了一系列相关研究工作的发展。基于该数据集的分析方法，研究者开发了更精确的电路理解评估框架，推动了多模态模型在工程技术领域的专业化发展。该数据集的分层生成管道为后续的电路合成基准测试提供了技术借鉴，而其强调的符号推理能力评估标准已成为工程AI系统性能评价的重要指标，引导了后续研究向数学建模能力的深度探索。

数据集最近研究

最新研究方向

在电子设计自动化领域，CircuitSense数据集正推动多模态大语言模型在视觉-符号推理能力方面的前沿探索。该数据集通过构建包含8006个问题的层次化基准测试，系统评估从系统级框图到元件级原理图的跨抽象层级理解能力，特别聚焦于从电路拓扑中提取符号方程这一核心工程能力。当前研究热点集中于破解闭源模型在感知任务中超过85%准确率与符号推导任务中低于19%准确率之间的能力断层，这一矛盾揭示了当前人工智能系统在视觉解析与数学建模之间的本质鸿沟。该数据集通过分层合成生成流水线产生具有符号真值方程的创新电路，为评估模型在瞬态响应、传递函数分析等关键任务中的真实数学理解能力提供了 rigorous 测试平台，其研究成果将直接影响人工智能辅助电路设计的可靠性与实用化进程。

相关研究论文

• CircuitSense: A Hierarchical Circuit System Benchmark Bridging Visual Comprehension and Symbolic Reasoning in Engineering Design Process

  东北大学, 马萨诸塞州, 美国; 布鲁克海文国家实验室, 纽约州, 美国 · 2025年