MetRex

MetRex数据集由布朗大学工程学院创建，包含25,868个Verilog HDL设计及其对应的合成后指标，如面积、延迟和静态功耗。数据集内容丰富，涵盖了从简单到复杂的多种设计，旨在评估大型语言模型（LLMs）在硬件设计任务中的推理能力。数据集的创建过程包括自动化的数据收集、清洗和合成，确保了数据的高质量和可重复性。MetRex数据集主要应用于硬件设计领域，旨在解决LLMs在Verilog代码合成后指标推理中的挑战，提升模型在硬件设计中的实用性和准确性。The MetRex dataset was developed by the School of Engineering at Brown University, consisting of 25,868 Verilog HDL designs and their corresponding post-synthesis metrics including area, latency, and static power consumption. The dataset covers a diverse range of designs spanning from simple to complex configurations, aiming to evaluate the reasoning capabilities of Large Language Models (LLMs) in hardware design tasks. The dataset creation process includes automated data collection, cleaning, and synthesis procedures, ensuring high data quality and reproducibility. Primarily applied in the field of hardware design, the MetRex dataset is designed to address the challenges of LLMs in reasoning about post-synthesis metrics of Verilog code, and improve the practicality and accuracy of models in hardware design applications.

搜集汇总

数据集介绍

构建方式

MetRex数据集的构建始于广泛收集多种来源的HDL设计，包括RTL-Coder、VeriGen、ISCAS、OpenCores和NVLDA等。这些设计经过严格的清洗流程，去除重复项、非可综合元素及错误，确保数据集的纯净性和可用性。随后，通过自动化流程结合Verilog编译器、综合工具和LLM代理，进一步检测并修正语法和综合错误。最终，使用Yosys和OpenSTA工具对设计进行综合，生成并记录面积、延迟和静态功率等后综合指标。此外，引入Chain of Thought（CoT）模板，详细描述计算这些指标的逻辑步骤，以增强LLM对这些指标的理解和推理能力。

特点

MetRex数据集的显著特点在于其大规模和多样性，包含25,868个Verilog设计，每个设计均附有详细的后综合指标注释。数据集不仅涵盖了从简单到复杂的多种设计，还通过CoT模板提供了详细的推理步骤，这有助于LLM更好地理解和推理这些指标。此外，数据集的构建过程中采用了自动化和严格的质量控制流程，确保了数据的准确性和可靠性。这些特点使得MetRex成为评估和提升LLM在Verilog代码后综合指标推理能力的重要基准。

使用方法

MetRex数据集主要用于评估和提升大型语言模型（LLM）在Verilog代码后综合指标推理任务中的表现。研究者可以通过该数据集进行监督微调（SFT）实验，利用CoT模板提升LLM的推理能力。具体使用方法包括：首先，利用数据集中的训练部分进行模型微调，优化LLM对面积、延迟和静态功率等指标的预测能力；其次，使用测试部分评估模型的性能，通过Mean Relative Error（MRE）和acc@k等指标量化模型的准确性和鲁棒性。此外，数据集还可用于开发新的提示技术和推理策略，进一步推动LLM在硬件设计领域的应用和发展。

背景与挑战

背景概述

近年来，大型语言模型（LLMs）在硬件设计领域的应用日益广泛，涵盖了Verilog代码生成、EDA工具脚本编写、RTL错误修复等多个任务。然而，LLMs在硬件设计后合成指标的推理和估计方面的应用尚未得到充分探索。为此，Brown大学的Manar Abdelatty、Jingxiao Ma和Sherief Reda于2025年提出了MetRex数据集，旨在评估LLMs对Verilog设计后合成指标的推理能力。MetRex数据集包含了25,868个Verilog HDL设计及其对应的后合成指标，如面积、延迟和静态功耗。该数据集的引入不仅填补了LLMs在硬件设计后合成指标推理领域的空白，还为推动LLM在该领域的应用奠定了基础。

当前挑战

MetRex数据集的构建面临多重挑战。首先，如何确保数据集中的Verilog设计在合成后能够准确反映实际硬件性能，这是一个复杂的过程，涉及设计清理、错误检测与修复。其次，LLMs在处理后合成指标推理时，需要理解复杂的逻辑关系和数值计算，这对模型的推理能力提出了高要求。此外，尽管监督微调（SFT）显著提升了LLMs的推理能力，但在处理复杂问题时仍难以达到最优结果。最后，与传统的回归模型相比，LLMs在直接处理Verilog代码时，虽然避免了预处理步骤，提高了分析速度，但在面对复杂设计时，其准确性仍需进一步提升。

常用场景

经典使用场景

MetRex数据集的经典使用场景主要集中在利用大型语言模型（LLMs）进行Verilog代码的后合成指标推理和估计。通过该数据集，研究人员可以评估LLMs在处理硬件设计任务中的表现，特别是对于区域、延迟和静态功率等关键后合成指标的推理能力。MetRex通过引入思维链（Chain of Thought, CoT）模板，增强了LLMs对这些指标的理解和推理能力，从而提升了其在硬件设计优化中的应用潜力。

解决学术问题

MetRex数据集解决了在硬件设计领域中，大型语言模型（LLMs）对于后合成指标推理和估计的学术研究问题。传统上，LLMs主要用于代码生成和修复，而缺乏对后合成指标的深入理解和推理能力。MetRex通过提供大规模的Verilog设计及其对应的后合成指标数据，填补了这一研究空白，推动了LLMs在硬件设计中的应用，特别是在复杂设计选择对后合成指标影响的理解上，具有重要的学术意义和影响。

衍生相关工作

MetRex数据集的引入催生了一系列相关的经典工作，特别是在利用大型语言模型（LLMs）进行硬件设计优化的研究中。例如，基于MetRex的研究工作开发了新的监督微调（Supervised Fine-Tuning, SFT）方法，显著提升了LLMs在推理和估计后合成指标方面的性能。此外，MetRex还启发了对LLMs在硬件设计中应用的深入探讨，包括如何通过思维链（Chain of Thought, CoT）模板增强模型的推理能力，以及如何将LLMs与传统机器学习方法结合，以提高设计优化的效率和准确性。