MMCircuitEval

MMCircuitEval是一个全面的多模态电路聚焦基准，专门用于评估多模态大语言模型在电子设计自动化领域的性能。该数据集包含3614个精心策划的问答对，涵盖数字和模拟电路在EDA各个关键阶段的内容，包括通用知识、规范、前端设计和后端设计。问题来源于教科书、技术题库、数据手册和真实文档，并经过专家严格审查。数据集按设计阶段、电路类型、测试能力（知识、理解、推理、计算）和难度级别进行分类，支持多种问题类型和难度级别。MMCircuitEval is a comprehensive multimodal circuit-focused benchmark specifically designed to evaluate the performance of multimodal large language models (LLMs) in the field of electronic design automation (EDA). This dataset comprises 3614 meticulously curated question-answer pairs, covering content related to digital and analog circuits across all critical stages of EDA, including general knowledge, specifications, front-end design, and back-end design. The questions are sourced from textbooks, technical question banks, datasheets, and real-world documents, and have undergone rigorous expert review. The dataset is classified according to design stages, circuit types, testing capabilities (knowledge, comprehension, reasoning, and calculation), and difficulty levels, supporting multiple question types and difficulty levels.

原始信息汇总

MMCircuitEval 数据集概述

数据集基本信息

• 数据集名称：MMCircuitEval
• 论文地址：https://arxiv.org/abs/2507.19525
• HuggingFace地址：https://huggingface.co/datasets/charlie314159/MMCircuitEval
• 数据规模：3614个精心筛选的电路相关问答对

数据集定位与特点

• 首个专门用于全面评估多模态大语言模型在电子设计自动化领域性能的多模态基准
• 涵盖数字电路和模拟电路
• 覆盖EDA流程的关键阶段：通用知识、规范、前端设计和后端设计

问题分类维度

• 设计阶段：通用知识、规范、前端设计、后端设计
• 电路类型：数字电路、模拟电路
• 测试能力：知识、理解、推理、计算
• 问题类型：单选、多选、填空、开放性问题
• 难度级别：简单、中等、困难

数据来源与质量

• 来源包括教科书、技术题库、数据手册和真实文档
• 每个问答对都经过专家严格审查，确保准确性和相关性

数据结构

每个问题包含以下字段：

• 问题陈述
• 集成电路类型
• 来源
• 附加信息
• 问题列表
• 问题类型
• 图像
• 答案
• 解释
• 难度级别
• 能力类型

使用方式

• 可通过HuggingFace datasets库直接加载
• 支持按EDA阶段分别加载：general、spec、frontend、backend
• 提供数据增强脚本：问题改写、新问题生成、问题标注
• 提供基准测试评估脚本

搜集汇总

数据集介绍

构建方式

在电子设计自动化领域，多模态大语言模型的评估长期缺乏系统性基准。MMCircuitEval通过整合教科书、技术题库、数据手册及真实工程文档等权威资源，构建了涵盖数字与模拟电路的3614个问答对。每个问题均经过领域专家严格审核，确保技术准确性与工程相关性，并依据设计阶段、电路类型、能力维度与难度等级进行多层级分类标注，形成结构化的评估体系。

特点

该数据集以多模态架构为核心特征，融合文本描述与电路图像的双重信息载体。其问题体系覆盖从通用知识、设计规范到前后端设计的完整EDA流程，囊括单选、多选、填空及开放回答四类题型。通过知识理解、逻辑推理、数值计算等能力维度的交叉设计，配合易中难三级难度梯度，精准刻画模型在复杂电路场景下的认知边界。

使用方法

研究者可通过HuggingFace平台直接加载完整数据集或按设计阶段分模块调用。每个问题单元包含陈述文本、附属图像、问题链及标准答案等结构化字段，支持端到端的模型性能测评。配套工具链提供问题增强与元数据生成功能，基准测试脚本支持分领域自动化评估，为EDA领域大语言模型的迭代优化提供标准化验证环境。

背景与挑战

背景概述

随着多模态大语言模型在电子设计自动化领域的快速发展，MMCircuitEval基准数据集于2024年由科研团队正式构建，旨在系统评估模型在电路设计全流程中的综合能力。该数据集涵盖数字与模拟电路两大类型，通过3614组专家审校的问题-答案对，贯穿从通用知识、规格定义到前后端设计的完整EDA流程，其多维度分类体系为模型能力诊断提供了重要依据，显著推动了智能电路设计工具的发展进程。

当前挑战

在领域问题层面，现有模型面临后端设计任务中物理约束优化与复杂计算推理的双重挑战，尤其在跨模态电路图分析与数值仿真环节表现薄弱。构建过程中需攻克多源异构数据的知识融合难题，包括从技术文档、教材及实际案例中提取专业内容，并建立兼顾难度梯度与能力维度的标准化标注体系，这对领域专家的协同标注与质量验证提出了极高要求。

常用场景

经典使用场景

在电子设计自动化领域，MMCircuitEval数据集作为首个多模态电路设计基准，其经典应用场景聚焦于系统评估多模态大语言模型在数字与模拟电路设计全流程中的综合能力。该数据集通过涵盖前端设计、后端实现、规格定义及通用知识等关键环节的3614道专家级问答对，为模型性能提供了跨阶段、多粒度的标准化测试框架，尤其擅长揭示模型在电路拓扑分析、功耗计算及布局布线等专业任务中的认知边界。

解决学术问题

该数据集有效解决了电子设计自动化研究中长期存在的评估体系碎片化问题。通过构建覆盖知识理解、逻辑推理、数值计算等多维能力的分类体系，研究者可精准识别模型在频域分析、晶体管级优化等复杂场景中的能力缺陷。其分层难度机制进一步推动了面向专业领域的认知建模理论发展，为构建具备工程思维的人工智能系统提供了关键验证基础。

衍生相关工作

基于该数据集衍生的经典研究主要集中于异构信息融合架构的创新。多项工作通过引入电路知识图谱增强模型语义理解，或开发面向SPICE仿真的符号推理模块。另有研究借鉴其分级评估理念，构建了面向FPGA编程、射频电路设计等垂直领域的专项基准，形成了以多模态认知为核心的EDA技术演进脉络。