CIRCUIT

CIRCUIT数据集是由麻省理工学院创建的，包含510个关于模拟电路相关主题的问题和答案对。这些问题和答案对涵盖了从基础到高级的模拟电路知识，旨在评估大型语言模型在模拟电路解释和推理方面的能力。数据集的问题设计为可扩展性，能够轻松地整合和自动评估更先进的模拟电路设计任务。每个问题都可能包含电路图和网表，以及一个数值设定，要求模型给出一个数值答案。该数据集的应用领域是模拟集成电路设计，旨在解决模型在理解电路拓扑结构方面的多级别推理问题。The CIRCUIT dataset was created by the Massachusetts Institute of Technology (MIT), comprising 510 question-answer pairs focused on analog circuit-related topics. These pairs cover basic to advanced analog circuit knowledge, aiming to evaluate the capabilities of large language models (LLMs) in analog circuit interpretation and reasoning. The questions in this dataset are designed to be scalable, enabling easy integration and automated evaluation of more advanced analog circuit design tasks. Each question may include circuit diagrams, netlists, and numerical specifications, requiring the model to provide a numerical answer. The dataset targets analog integrated circuit design applications, and is intended to solve multi-level reasoning problems encountered by models when understanding circuit topologies.

搜集汇总

数据集介绍

构建方式

CIRCUIT数据集的构建旨在评估大型语言模型（LLMs）在模拟电路设计领域的推理能力。数据集包含510个问题-答案对，涵盖了从基础到高级的模拟电路相关主题。每个问题模板都对应5个不同的数值设置，用于创建类似单元测试的评估。为了帮助LLMs理解电路拓扑，数据集还包含了电路图和网表。通过这种方式，CIRCUIT数据集不仅测试了LLMs对电路知识的掌握，还评估了它们在不同数值设置下的泛化能力。

特点

CIRCUIT数据集的主要特点在于其独特的评估方式，它采用了类似单元测试的结构，将问题分为多个数值设置，每个设置都是一个独立的单元测试。这种设计允许对LLMs的理解和推理能力进行更细致的评估。此外，数据集涵盖了从基础到高级的模拟电路问题，包括电路图、网表和数值设置，为LLMs提供了一个全面的评估框架。CIRCUIT数据集还强调了数据同质性的重要性，通过将模板结构和数值变化分离，为模型评估提供了更深入的洞察。

使用方法

使用CIRCUIT数据集时，研究者可以采用单元测试的方式进行评估，这有助于揭示LLMs在不同电路拓扑和数值设置下的表现。数据集的评估指标包括全局准确性和模板准确性，后者通过pass@k/n指标进行衡量，能够提供比全局准确性更细致的性能分析。研究者还可以利用数据集中的电路图和网表来辅助LLMs的理解，并可以通过调整数值设置来测试LLMs的泛化能力。此外，CIRCUIT数据集的设计还可以用于其他需要深入理解复杂主题的领域，为LLMs的评估提供了一个可扩展的框架。

背景与挑战

背景概述

CIRCUIT数据集是专为评估大型语言模型（LLMs）在模拟电路解释和推理能力方面而创建的。该数据集由麻省理工学院电子工程与计算机科学系的研究人员以及Analog Devices公司的Analog Garage团队共同开发，旨在解决传统优化技术在模拟电路设计中的应用局限性。CIRCUIT数据集包含510个问答对，涵盖了模拟电路相关的不同层次的问题。该数据集的创建标志着LLMs在模拟电路设计领域的首次应用尝试，为推动这一领域的研究和应用提供了重要的基准和工具。

当前挑战

CIRCUIT数据集的主要挑战在于评估LLMs对模拟电路的理解和推理能力。尽管LLMs在处理文本和代码等任务上表现出色，但在理解和解释复杂电路拓扑结构方面仍然存在困难。此外，构建过程中遇到的挑战包括如何设计有效的评估指标，以揭示LLMs在不同数值设置下的推理能力，以及如何确保数据集的多样性和平衡性，以促进LLMs的泛化能力。

常用场景

经典使用场景

CIRCUIT数据集被设计用来评估大型语言模型（LLMs）在模拟电路设计中的推理能力。该数据集包含510个问答对，涵盖了从基础到高级的模拟电路相关主题。通过评估LLMs在CIRCUIT数据集上的表现，研究人员可以深入了解这些模型在理解电路拓扑结构和推理能力方面的局限性，从而为模拟集成电路设计中的AI应用提供有价值的见解。

衍生相关工作

CIRCUIT数据集的衍生相关工作包括使用LLMs进行模拟电路设计自动化的研究和开发。例如，一些研究人员正在探索如何利用LLMs的推理能力来生成模拟电路的Verilog代码，以及如何将LLMs集成到模拟电路设计流程中。此外，CIRCUIT数据集的设计和评估指标也可以应用于其他需要深入理解复杂主题的领域，为LLMs在这些领域的应用提供新的思路和方法。

数据集最近研究

最新研究方向

CIRCUIT数据集的创建旨在评估大型语言模型（LLMs）在模拟电路设计中的推理能力，该领域长期以来一直依赖人类专家的直觉和经验。该数据集包含510个问答对，涵盖模拟电路相关主题的不同层次。研究结果表明，尽管LLMs在语言和数学等领域取得了显著进展，但在理解模拟电路方面仍存在局限性。例如，GPT-4o模型在最终数值答案上的准确率仅为48.04%，且在单元测试中仅能通过27.45%。这表明LLMs在处理电路拓扑等需要多级推理的任务时仍面临挑战。CIRCUIT数据集为LLMs在模拟集成电路设计中的应用提供了宝贵的见解，并指出了其局限性，为进一步研究和改进LLMs在电路设计中的应用奠定了基础。

相关研究论文

• CIRCUIT: A Benchmark for Circuit Interpretation and Reasoning Capabilities of LLMs

  麻省理工学院 · 2025年