RTLLM 2.0, AssertEval, RTLCoder-Data

RTLLM 2.0是一个用于评估大语言模型在设计RTL生成方面的性能的开放数据集，包含50个手工设计的RTL设计，每个设计都提供了设计描述、测试用例和正确的RTL代码。AssertEval是一个用于评估大语言模型在RTL验证方面生成断言能力的开放源代码基准，包括18个设计。RTLCoder-Data是一个用于训练RTL生成的大语言模型的开放数据集，包含80K条指令代码数据样本。

RTLLM 2.0 is an open dataset for evaluating the performance of large language models (LLMs) in RTL design generation. It contains 50 manually designed RTL designs, each provided with design descriptions, test cases, and the correct RTL code. AssertEval is an open-source benchmark for evaluating the assertion generation capability of large language models in RTL verification, including 18 designs. RTLCoder-Data is an open dataset for training large language models for RTL generation, which contains 80,000 instruction-code data samples.

搜集汇总

数据集介绍

构建方式

RTLLM 2.0、AssertEval和RTLCoder-Data数据集的构建基于大规模语言模型（LLM）在硬件设计中的应用需求。RTLLM 2.0通过手工设计了50个RTL设计，每个设计包含功能描述、测试用例和正确的RTL代码。AssertEval则专注于RTL验证中的断言生成，包含18个设计，每个设计提供规格文档、信号定义和正确的RTL代码。RTLCoder-Data是一个包含80K指令-代码对的扩展数据集，并通过验证方法生成了7K高质量样本。这些数据集的构建旨在为LLM在RTL生成和验证中的开发与评估提供标准化支持。

特点

RTLLM 2.0的特点在于其多样化的设计覆盖，涵盖了从简单到复杂的多种RTL设计，能够全面评估LLM在不同设计场景下的表现。AssertEval则专注于断言生成，提供了丰富的规格文档和信号定义，便于评估LLM在RTL验证中的能力。RTLCoder-Data的显著特点在于其大规模和高数据质量，80K样本提供了广泛的训练数据，而7K验证样本则确保了数据的正确性，为LLM的训练提供了可靠的基础。

使用方法

RTLLM 2.0可用于评估LLM在RTL生成任务中的表现，用户可以通过提供的功能描述和测试用例验证生成的RTL代码的正确性。AssertEval则用于评估LLM在断言生成中的能力，用户可以通过规格文档生成断言，并使用提供的FPV脚本进行验证。RTLCoder-Data则主要用于训练LLM进行RTL生成，用户可以通过指令-代码对进行模型训练，并通过验证样本提升模型的生成质量。这些数据集为LLM在硬件设计中的应用提供了全面的支持。

背景与挑战

背景概述

RTLLM 2.0、AssertEval和RTLCoder-Data是由香港科技大学的研究团队于2024年发布的开源数据集和基准测试，旨在推动基于大语言模型（LLM）的硬件设计自动化研究。这些数据集的核心研究问题是如何通过自然语言指令自动生成和验证硬件描述语言（HDL）代码，特别是Verilog代码。RTLLM 2.0是一个包含50个手工设计的基准测试，用于评估LLM在RTL生成中的能力；AssertEval则专注于评估LLM在RTL验证中的断言生成能力；RTLCoder-Data则提供了80K的指令-代码对数据样本，并进一步通过验证方法生成了7K高质量样本。这些数据集为LLM在硬件设计中的应用提供了重要的数据支持，推动了电子设计自动化（EDA）领域的研究进展。

当前挑战

RTLLM 2.0、AssertEval和RTLCoder-Data在构建和应用过程中面临多重挑战。首先，RTL生成的复杂性使得LLM在处理复杂设计时表现不佳，难以生成功能正确的代码。其次，自然语言描述的详细程度对LLM生成代码的质量有显著影响，过于模糊或过于详细的描述都会影响生成结果的有效性。此外，数据泄露问题也是一个重要挑战，训练数据与测试数据的重叠可能导致模型过拟合，影响其泛化能力。在数据集构建过程中，如何自动验证代码的功能正确性是一个技术难点，尽管通过断言生成和形式验证方法部分解决了这一问题，但仍无法完全保证样本的绝对正确性。这些挑战限制了LLM在硬件设计中的广泛应用，仍需进一步研究和技术突破。

常用场景

经典使用场景

RTLLM 2.0、AssertEval和RTLCoder-Data数据集在硬件设计自动化领域具有广泛的应用场景。RTLLM 2.0主要用于评估大语言模型（LLM）在生成寄存器传输级（RTL）代码时的能力，涵盖了50个手工设计的电路模块，每个模块均提供了设计描述、测试用例和正确的RTL代码。AssertEval则专注于评估LLM在生成RTL验证断言方面的表现，包含18个设计，每个设计均提供了规格文档、信号定义和正确的RTL代码。RTLCoder-Data则是一个包含80K指令-代码样本的开源数据集，用于训练LLM生成RTL代码，并通过验证方法确保数据样本的功能正确性。

解决学术问题

这些数据集解决了硬件设计自动化中的多个关键学术问题。首先，RTLLM 2.0和RTLCoder-Data为LLM在RTL代码生成任务中的性能评估提供了标准化的基准，填补了该领域公开数据集和基准测试的空白。其次，AssertEval通过提供断言生成的评估框架，解决了RTL验证中高质量断言生成困难的挑战。此外，RTLCoder-Data通过引入验证方法，确保了训练数据的功能正确性，提升了LLM在RTL生成任务中的表现。这些数据集共同推动了LLM在硬件设计自动化中的应用研究。

衍生相关工作

基于RTLLM 2.0、AssertEval和RTLCoder-Data数据集，衍生了许多经典的研究工作。例如，RTLCoder-Data的发布推动了LLM在RTL生成任务中的性能提升，相关研究通过扩展数据集规模和优化训练方法，进一步提升了模型的生成能力。AssertEval的提出激发了LLM在RTL验证中的应用研究，许多工作尝试通过改进断言生成算法和评估方法，提升验证的自动化水平。此外，RTLLM 2.0的扩展版本RTLLM 2.0为更多复杂设计提供了评估基准，推动了LLM在硬件设计自动化中的广泛应用。这些衍生工作共同推动了LLM在EDA领域的研究进展。