Razavi-bench

Razavi-bench是一个专家策划的基准测试，用于模拟设计推理。它将Behzad Razavi的《Analog Design Experiments With AI》第一部分和第二部分的问答评估打包成清晰的每个目录一个任务的基准测试。这些任务探究模型是否能对MOS器件、小信号电路、反馈、振荡器、比较器、分压器、LNA、TIA和LC振荡器进行推理。Razavi-bench is an expert-curated benchmark for analog design reasoning. It packages the question-and-answer assessments from Parts 1 and 2 of Behzad Razavi's *Analog Design Experiments With AI* into a well-structured benchmark where each directory corresponds to one task. These tasks examine whether models can perform reasoning on MOS devices, small-signal circuits, feedback, oscillators, comparators, voltage dividers, LNAs, TIAs, and LC oscillators.

原始信息汇总

数据集概述：Razavi-bench

Razavi-bench 是一个由专家整理的基准测试，专门用于评估人工智能在模拟电路设计领域的推理能力。

核心信息

• 任务数量：共计 50 个任务。
• 数据来源：源自 Behzad Razavi 在 IEEE Solid-State Circuits Magazine 上发表的系列文章《Analog Design Experiments With AI》Part 1 和 Part 2。
• 评估主题：涵盖 MOS 器件、小信号电路、反馈、振荡器、比较器、分频器、低噪声放大器（LNA）、跨阻放大器（TIA）以及 LC 振荡器等模拟设计核心知识点。
• 数据格式：采用 Markdown 格式，每个任务独立为一个目录。

数据集布局

数据集根目录包含以下结构：

• tasks/ 目录：包含所有任务子目录，命名规则为 tasks/<part>-<number>-<semantic-slug>/。每个任务目录内含：
  • instruction.md：仅包含基准测试的提示词和可能的本地图片引用。
  • golden_solution.md：包含经过审核的预期推理过程和最终答案。
  • figure-xx.png（可选）：任务附带的电路图图片。
• manifest.json：机器可读的任务索引文件。
• evaluation_rubric.md：根据 Razavi 的评论和得分解构的 0-4 分评分标准。

数据规模与组成部分

• Part 1：包含 30 个问题（Q1-Q30）。
• Part 2：包含 20 个问题（Q1-Q20）。
• 总计：50 个任务。

数据特点与限制

• 内容精炼：数据集仅保留每个任务的提示词、图片及标准答案，不包含历史模型（如 ChatGPT/Gemini）的回答及其文章评分。
• 无补充数据：未添加任何合成问题。
• 无任务配置文件：目录中不包含 task.toml 文件。
• 源文件状态：不追踪原始的 PDF 文章。

参考文献

• B. Razavi, "Analog Design Experiments With AI—Part 1 [The Analog Mind]," in IEEE Solid-State Circuits Magazine, vol. 17, no. 4, pp. 11-15, Fall 2025.
• B. Razavi, "Analog Design Experiments With AI—Part 2 [The Analog Mind]," in IEEE Solid-State Circuits Magazine, vol. 18, no. 2, pp. 8-13, Spring 2026.

搜集汇总

数据集介绍

构建方式

Razavi-bench数据集源自Behzad Razavi在IEEE固态电路杂志上发表的两篇专栏文章《Analog Design Experiments With AI》中精心设计的问答评估内容。构建过程中，将原始文章中的50道题目逐一提取，并为每道题目创建独立的目录，每个目录包含仅含提示文本与相关电路图的instruction.md、记录标准答案推理过程与最终结果的golden_solution.md，以及必要时附带的电路图文件。历史ChatGPT与Gemini模型的回答及其评分数据被明确排除，确保基准测试纯净且聚焦于模型自身的模拟设计推理能力。

特点

该数据集以专家精心策划为核心特色，覆盖MOS器件、小信号电路、反馈、振荡器、比较器、分频器、低噪声放大器、跨阻放大器及LC振荡器等模拟集成电路设计的关键主题。所有题目均采用Markdown格式存储，结构简洁统一，每个任务独立成目录，便于自动化评估与扩展。数据集中不包含源PDF文件及任何模型历史回答，仅保留标准答案，从而保证评估的客观性与可重复性。此外，提供了machine-readable的任务索引文件manifest.json与从Razavi评论中推导的0-4分制评估标准，为量化模型表现提供了清晰依据。

使用方法

使用时，可通过遍历tasks/目录下的各任务子目录获取题目信息。每个任务包含instruction.md作为输入提示，golden_solution.md作为参照答案。评估时，将instruction.md内容与对应电路图一同提供给待测模型，收集模型输出后，依据evaluation_rubric.md中定义的0-4分评分标准对回答进行逐题打分。manifest.json文件可用于程序化地读取所有任务元数据，支持批量评估与结果统计。研究人员还可自行扩展评估脚本，结合模型输出与标准答案进行自动化对比分析。

背景与挑战

背景概述

Razavi-bench数据集由集成电路设计领域的权威学者Behzad Razavi在其发表于《IEEE Solid-State Circuits Magazine》的系列文章《Analog Design Experiments With AI》基础上构建，于2025年至2026年间推出。该基准测试由专家精心策划，旨在评估人工智能模型在模拟集成电路设计中的推理能力，涵盖MOS器件、小信号电路、反馈、振荡器、比较器、分频器、低噪声放大器、跨阻放大器及LC振荡器等多个核心子领域。通过将50个问答任务（第一部分30题，第二部分20题）组织为清晰的目录结构，该数据集提供了一个无偏、可重复的评估平台，对推动人工智能在模拟设计自动化领域的发展具有重要影响。

当前挑战

Razavi-bench所面临的挑战聚焦于模拟电路设计推理的固有复杂性：模型需理解非线性器件行为、小信号等效模型、反馈拓扑及稳定性判据等深层次物理概念，而非简单的模式匹配。在构建过程中，挑战在于从原文中精准提取并格式化答案，避免引入源元数据或历史模型回答的偏差，确保每个任务的指令、图表与黄金答案形成严谨的评估闭环。此外，由于原始文章仅包含30道题而非预期的40道，强制约束了数据集的规模，进一步考验了任务设计的代表性和领域覆盖的完备性。

常用场景

经典使用场景

在模拟集成电路设计领域，Razavi-bench作为一个由专家精心策划的基准测试平台，主要用于评估人工智能模型在模拟电路推理任务中的表现。该数据集涵盖了MOS器件、小信号电路、反馈系统、振荡器、比较器、分频器、低噪声放大器、跨阻放大器及LC振荡器等核心模拟设计主题，共包含50个经过严格审核的问题。通过统一的单任务单目录结构，每个任务均提供清晰的指令说明、关键图表与权威的标准答案，为研究者提供了一个标准化的测试环境，以衡量AI系统对模拟电路原理的理解深度与推理能力。

解决学术问题

Razavi-bench有效解决了模拟电路设计中AI推理能力难以定量评估的学术难题。传统基准测试多聚焦于数字电路或自然语言处理任务，缺乏针对模拟电路设计这一高度依赖领域知识与物理直觉的专业评测体系。该数据集通过Razavi教授多年教学与研究中积累的经典问题，构建了一个覆盖广泛模拟电路主题的评估框架，使得学术界能够系统性地研究AI模型在电路拓扑分析、小信号等效建模、反馈机制理解等关键环节的强弱表现，为后续算法优化提供了明确的方向指引。

衍生相关工作

Razavi-bench的发布催生了一系列相关研究工作。其原始来源基于Razavi教授发表于IEEE固态电路杂志的《Analog Design Experiments With AI》系列文章，这些工作首次系统性地记录了大语言模型与电路问答场景的交互过程与评分结果。数据集的标准化格式与评测样例如同一面镜子，促使研究者开发出针对模拟电路领域的专业化微调方案，并衍生出基于该基准的模型对比图，直观展示了不同AI系统在模拟设计任务中的表现差异，为后续构建更复杂的多层级模拟设计评估体系奠定了坚实基础。