PICBench

PICBench是一个针对 photonic integrated circuits (PICs)设计的开源综合评估框架，旨在利用大型语言模型(LLM)自动化PIC设计生成。该数据集包含了精心设计的24个PIC设计问题，涵盖了从基本设备设计到复杂电路级别设计的各种复杂度和规模。每个问题都有清晰的描述，并伴有专家创建的地面真实设计，作为评估的金标准。利用开源仿真器SAX，PICBench能够高效自动地评估任何LLM生成的结果。PICBench is an open-source comprehensive evaluation framework tailored for photonic integrated circuits (PICs), aiming to leverage Large Language Models (LLMs) to automate PIC design generation. This dataset includes 24 meticulously crafted PIC design problems, covering diverse complexity levels and scales ranging from basic device-level designs to complex circuit-level designs. Each problem is accompanied by a clear and detailed description, along with expert-created ground-truth designs that serve as the gold standard for evaluation. Leveraging the open-source simulator SAX, PICBench enables efficient and automated evaluation of outputs generated by any LLM.

搜集汇总

数据集介绍

构建方式

PICBench,作为首个专门用于自动化光子集成电路(PIC)设计的语言模型基准测试和评估框架，旨在通过自然语言生成模拟就绪的网表。该基准包含数十个精心设计的PIC设计问题，涵盖从基础设备设计到更复杂的电路级设计。利用开源模拟器，PICBench自动评估生成的PIC设计的语法和功能，通过将模拟输出与专家编写的解决方案进行比较。

使用方法

使用PICBench，用户可以通过自然语言描述他们的PIC设计任务，LLM根据描述生成模拟就绪的网表。生成的网表随后直接输入到模拟器中进行模拟。如果模拟器报告错误，错误信息将被反馈给LLM以进行修正。同时，错误信息被人类审查并总结为限制条件，然后集成到初始系统提示中。这个过程会重复进行，直到语法和功能测试都通过。

背景与挑战

背景概述

在光子集成电路(PICs)设计的自动化领域，尽管大型语言模型(LLMs)在数字芯片设计中展现了巨大的潜力，但PICs领域却相对未被探索。PICs设计因其代码的广泛性和重复性而耗时且易出错。本文介绍了PICBench，这是第一个专为使用LLMs自动化PIC设计生成而设计的基准测试和评估框架，生成的输出形式为网表。PICBench基准包括数十个精心设计的PIC设计问题，从基本设备设计到更复杂的电路级设计。它通过将仿真输出与专家编写的解决方案进行比较，自动评估生成的PIC设计的语法和功能，利用开源仿真器。我们对一系列现有的LLMs进行了评估，同时也在各种提示工程技术上进行了比较测试，以提高LLMs在自动化PIC设计方面的性能。结果表明，LLMs在PIC设计领域面临的挑战和潜力，为优化该领域的自动化提供了关键研究和发展领域的见解。我们的基准和评估代码可在https://github.com/PICDA/PICBench上获得。

当前挑战

PICs设计面临的主要挑战包括语法和功能正确性、缺乏自动化测试框架、数据集和标准化基准的限制，以及LLMs在PIC设计任务上的性能和可扩展性问题。构建过程中遇到的挑战包括LLMs在生成PIC网表时的错误分类和反馈，以及如何有效地利用LLMs的上下文学习能力来提高代码生成质量和可靠性。

常用场景

经典使用场景

在光子集成电路（PIC）设计领域，PICBench 数据集被广泛应用于评估和比较大型语言模型（LLM）在自动化设计生成方面的能力。该数据集通过自然语言描述生成模拟就绪的网络表，为研究者提供了一个全面的评估框架，用于测试 LLM 在生成 PIC 设计代码方面的准确性和功能性。PICBench 中的设计问题涵盖了从基础设备设计到复杂电路设计，使得研究者能够全面评估 LLM 在不同复杂度设计任务中的表现。

解决学术问题

PICBench 数据集解决了光子设计自动化（PDA）工具发展滞后的学术问题。传统的光子电路设计依赖于手动输入，过程耗时且容易出错。PICBench 的引入为研究者提供了一个可靠且自动化的测试框架，通过比较生成的 PIC 设计与专家编写的解决方案，减少了测试过程中的主观差异，并明确了解决方案的正确性和效率。这有助于推动光子设计自动化工具的发展，并提高设计过程的效率和准确性。

实际应用

PICBench 数据集的实际应用场景包括光子集成电路设计的自动化流程。通过使用 PICBench，工程师可以利用 LLM 自动生成光子电路设计代码，从而减少手动编码的时间和错误。此外，PICBench 还可用于评估和选择最适合特定设计任务的 LLM，帮助工程师优化设计流程并提高生产效率。PICBench 的实际应用还有助于推动光子集成电路技术在高速数据传输和通信系统中的应用。

数据集最近研究

最新研究方向

PICBench的引入标志着光子集成电路（PIC）设计自动化领域的重大进展。该数据集为大型语言模型（LLM）在PIC设计生成中的应用提供了一个全面的基准和评估框架。PICBench涵盖了从基础设备设计到复杂电路级设计的多个设计问题，旨在通过自然语言生成模拟就绪的网络列表，以自动化PIC设计过程。该框架利用开源模拟器自动评估LLM生成的PIC设计的语法和功能，通过与专家编写的解决方案进行比较。此外，PICBench还评估了现有LLM的性能，并进行了各种提示工程技术的比较测试，以提高LLM在自动化PIC设计方面的性能。这些研究成果揭示了LLM在PIC设计领域所面临的挑战和潜力，为未来进一步研究和开发提供了有价值的见解。

相关研究论文

• PICBench: Benchmarking LLMs for Photonic Integrated Circuits Design

  香港科技大学 · 2025年