MMCircuitEval

MMCircuitEval是一个全面的多模态电路专注的评估基准，旨在评估MLLM在多种EDA任务中的性能。它包括3614对针对数字和模拟电路的问题和答案，涵盖从一般知识到前端和后端设计的关键阶段。该数据集测试了多种机器学习模型的技能，包括知识、理解、推理和计算，并分为不同的难度级别。

MMCircuitEval is a comprehensive multimodal circuit-focused evaluation benchmark designed to assess the performance of Multimodal Large Language Models (MLLMs) across a wide range of Electronic Design Automation (EDA) tasks. It includes 3,614 question-answer pairs targeting both digital and analog circuits, covering critical stages from general circuit-related knowledge to key phases of front-end and back-end design. This benchmark evaluates multiple capabilities of various machine learning models, including knowledge acquisition, comprehension, reasoning and computational ability, and is categorized into different difficulty levels.

原始信息汇总

MMCircuitEval数据集概述

数据集基本信息

• 数据集名称: MMCircuitEval
• 发布地址: https://huggingface.co/datasets/charlie314159/MMCircuitEval
• 任务类别: 问答任务
• 规模级别: 1K<n<10K

数据集规模

• 总样本数: 2871个示例
• 总大小: 197,021,107字节
• 下载大小: 192,496,358字节

数据划分

划分名称	样本数量	数据大小
general	604	657,146字节
spec	205	76,619,045字节
frontend	1227	69,316,609字节
backend	835	50,428,307字节

数据结构特征

• statement: 问题陈述文本
• questions: 问题列表
• images: 图像列表
• answers: 答案列表
• explanations: 解释列表
• question_types: 问题类型列表
• difficulties: 难度级别列表
• abilities: 能力类型列表
• ic_type: 集成电路类型
• source: 数据来源
• extra: 额外信息

数据集特点

• 多模态基准: 专门用于评估多模态大语言模型在EDA任务中的表现
• 覆盖范围: 包含3614个精心策划的问答对
• 电路类型: 涵盖数字和模拟电路
• EDA阶段: 从通用知识、规格说明到前端和后端设计
• 能力评估: 测试知识、理解、推理、计算等多种能力
• 难度分级: 包含简单、中等、困难三个难度级别

使用方式

可通过datasets.load_dataset加载完整数据集或特定EDA阶段的数据划分，有效划分包括general、spec、frontend、backend。

相关资源

• 论文: https://arxiv.org/abs/2507.19525
• 代码仓库: https://github.com/cure-lab/MMCircuitEval

搜集汇总

数据集介绍

构建方式

在电子设计自动化领域，MMCircuitEval数据集通过系统化采集与标注流程构建而成，涵盖数字与模拟电路的全设计周期。该数据集整合了3614组经过严格筛选的多模态问答对，依据EDA工作流划分为通用知识、规格定义、前端设计与后端实现四个专业子集。每个数据样本均包含电路描述文本、关联图示、问题序列及标准答案，并标注了问题类型与难度层级，确保数据在电路设计知识体系中的全面性与专业性。

使用方法

研究者可通过HuggingFace数据集库直接加载MMCircuitEval，使用标准接口即可访问四个专业子集。数据加载后呈现结构化字典格式，包含陈述文本、问题列表、图像数据、标准答案及解析说明等关键字段。用户既可完整加载所有EDA阶段数据进行全面评估，也可按需选取特定设计阶段子集进行针对性测试，为多模态大语言模型在电路设计领域的性能评估提供标准化实验平台。

背景与挑战

背景概述

随着电子设计自动化技术的快速发展，多模态大语言模型在电路设计领域的应用需求日益增长。MMCircuitEval基准数据集由CURE实验室于2025年创建，旨在系统评估多模态大语言模型在电子设计自动化全流程中的综合能力。该数据集涵盖数字与模拟电路两大领域，贯穿从通用知识、设计规范到前后端设计的完整设计链条，通过3,614个精心构建的问答对推动智能电路设计辅助系统的发展。

当前挑战

该数据集致力于解决多模态电路问答任务中存在的模型泛化能力评估难题，需应对不同难度层级与能力维度的综合测评。在构建过程中面临多源异构数据融合的挑战，包括技术文档与电路图的跨模态对齐、专业术语的语义一致性维护，以及涵盖前端架构设计与后端物理实现的全流程知识表示。

常用场景

经典使用场景

在电子设计自动化领域，MMCircuitEval数据集被广泛用于评估多模态大语言模型在电路设计任务中的综合能力。该数据集通过涵盖数字与模拟电路、从规范定义到前后端设计的完整EDA流程，为研究者提供了系统性的测试平台。模型需要同时处理文本描述、电路图像和计算问题，展现其在复杂工程场景下的理解与推理能力。

解决学术问题

该数据集有效解决了多模态模型在专业工程领域评估标准缺失的学术难题。通过构建覆盖知识理解、逻辑推理、数值计算等多维能力的评估体系，填补了传统基准在电路设计专业场景的空白。其精心设计的难度分级和问题类型划分，为量化模型在专业领域的认知水平提供了可靠依据，推动了领域专用评估方法论的发展。

实际应用

在实际工程应用中，该数据集为EDA工具智能化提供了重要支撑。芯片设计企业可基于此基准优化辅助设计系统，提升自动化布线、电路验证等环节的效率。教育机构也能借助这些真实场景问题训练学生的工程思维，缩短理论学习与产业实践的差距。其多模态特性尤其契合现代集成电路设计中对图文协同处理的现实需求。

数据集最近研究

最新研究方向

在电子设计自动化领域，MMCircuitEval数据集正推动多模态大语言模型在电路设计评估中的前沿研究。该数据集通过整合数字与模拟电路的全流程设计阶段，为模型在知识理解、逻辑推理和数值计算等核心能力的评估提供了标准化基准。当前研究聚焦于开发能够协同处理电路原理图与自然语言描述的跨模态推理框架，特别是在高频电路优化和低功耗设计等热点场景中验证模型的工程适用性。这类研究不仅加速了智能EDA工具的开发进程，更为半导体产业迈向自主化设计提供了关键的技术支撑。