HPAI-BSC/NotSoTiny-25-12-CVDP

NotSoTiny-25-12-CVDP数据集是NotSoTiny-25-12基准测试的修改版本，专为与Nvidia的CVDP框架配合使用而设计。该数据集专注于硬件设计和代码生成，特别是针对Verilog，并用于评估大型语言模型（LLMs）。数据集包含多个子集，对应于不同的Tiny Tapeout航天飞机，所有子集共包含1,114个任务。数据集采用Apache 2.0许可证，并提供了使用CVDP框架运行基准测试的详细说明。README还包含了引用信息和致谢，感谢Tiny Tapeout社区和NVIDIA的CVDP团队的贡献。

The NotSoTiny-25-12-CVDP dataset is a modified version of the NotSoTiny-25-12 benchmark, designed to work with Nvidias CVDP framework. It focuses on hardware design and code generation, specifically for Verilog, and is used for evaluating large language models (LLMs). The dataset includes multiple subsets corresponding to different Tiny Tapeout shuttles, with a total of 1,114 tasks across all subsets. It is licensed under Apache 2.0 and provides detailed instructions for running benchmarks using the CVDP framework. The README also includes citation information and acknowledges contributions from the Tiny Tapeout community and NVIDIAs CVDP team.

搜集汇总

数据集介绍

构建方式

NotSoTiny-25-12-CVDP数据集是原始NotSoTiny-25-12基准测试的适配版本，专为兼容NVIDIA的CVDP框架而设计。该数据集从Tiny Tapeout社区收集了多个批次的Verilog硬件设计任务，将来自不同时间的六个批次（tt06至tt10及ttsky）的RTL级设计问题整合为统一的评测集合。每个任务均以JSON Lines格式存储，保留了原始基准中的设计规范和验证逻辑，同时通过标准化接口确保了与CVDP基准框架的无缝对接。

特点

该数据集的核心特色在于其时效性与规模性的结合。默认配置下，它汇集了总计1114个硬件设计任务，覆盖了从2024年1月至2025年6月期间Tiny Tapeout项目发布的六次不同批次，时间跨度长达一年半，真实反映了社区驱动下硬件设计演进脉络。各批次的规模从108到250个任务不等，合理分布了从基础到复杂的难度梯度。与此同时，数据集维护了原始基准中设计任务的全部规格，使其成为评估大语言模型在寄存器传输级(RTL)代码生成能力上的权威测试标准。

使用方法

用户可通过两种途径使用本数据集。一种直接使用CVDP框架运行评测：克隆框架仓库后，使用git lfs下载数据集，通过run_benchmark.py验证参考答案，再利用run_samples.py配合指定的大语言模型（如Codestral）和推理工厂（通过OpenRouter API）完成推理与评估，支持多线程以加速处理。另一种则利用HuggingFace的datasets库进行数据加载，可直接加载完整数据集或通过config参数选取如tt06等特定批次，每条JSON Lines记录均包含完整的Verilog描述任务，便于二次开发与基准测试。

背景与挑战

背景概述

NotSoTiny-25-12-CVDP数据集由HPAI-BSC团队与NVIDIA CVDP框架合作创建，于2025年发布，旨在评估和提升大语言模型在硬件描述语言（特别是Verilog）代码生成方面的能力。该数据集基于Tiny Tapeout社区的开源芯片设计项目，整合了从tt06到ttsky共六个批次的1114个RTL设计任务，覆盖了从2024年至2025年期间真实、多样化的数字电路实现场景。核心研究问题在于探索LLM在寄存器传输级代码生成中的准确性、完整性和功能性验证，推动了AI辅助硬件设计自动化的发展，对EDA领域的智能化转型具有重要影响。

当前挑战

该数据集所解决的领域问题包括：Verilog代码生成任务中，LLM生成的RTL代码常存在语法错误、功能不完全或不符合时序约束等缺陷，现有基准缺乏覆盖多批次、真实工艺环境的评估标准。构建过程中面临的挑战则在于：从分散的Tiny Tapeout批处理项目中收集并统一格式、确保设计任务的可重复评估，以及与CVDP框架的集成要求——需要设计标准的仿真验证接口和环境变量配置，使得自动化评估能够兼容不同批次的制造参数和工艺节点差异，确保基准的公平性与实用性。

常用场景

经典使用场景

NotSoTiny-25-12-CVDP数据集专门用于评估和验证大语言模型在寄存器传输级（RTL）硬件描述语言（如Verilog）代码生成任务上的表现。该数据集汇集了来自Tiny Tapeout多个流片批次（shuttle）的1114项设计任务，涵盖从简单模块到复杂数字系统的广泛硬件设计问题。通过将任务与NVIDIA的CVDP（Code Verification and Design Performance）框架集成，研究者能够自动化执行从代码生成到仿真验证的完整评估流程，从而系统性地衡量模型在硬件设计领域的代码正确性、功能完整性以及设计效率。这一标准化的评估范式使得该数据集成为硬件代码生成领域最经典的基准测试平台之一。

解决学术问题

该数据集有效解决了硬件设计自动化领域中缺乏大规模、多样性且持续更新的评估基准这一关键学术问题。传统的RTL代码生成评估往往局限于少量人工构造的例题或特定领域的简单电路，难以全面反映模型在真实工业设计场景中的泛化能力。NotSoTiny-25-12-CVDP通过整合来自六个不同流片批次的真实硬件设计项目，提供了跨越不同设计风格、复杂度级别和工艺节点的丰富测试用例。这不仅填补了现有基准在广度和时效性上的空白，还为研究者提供了一个能够动态演进的评估生态，使得对LLM在硬件代码生成能力上的量化比较成为可能，推动了硬件自动生成领域从定性评价向定量分析的范式转变。

衍生相关工作

基于NotSoTiny-25-12-CVDP数据集衍生出多项具有深远影响力的经典研究工作。原始NotSoTiny-25-12基准的提出者构建了一个大规模、持续更新的RTL代码生成评估体系，并利用该数据集系统分析了多个主流大语言模型在硬件设计任务上的能力边界，揭示了当前模型在复杂逻辑控制与时序推理方面的局限性。NVIDIA团队进一步将其适配至CVDP框架，形成了面向硬件代码生成验证的标准化评估流水线，该工作被广泛引用于后续的硬件AI辅助设计研究中。此外，该数据集还催生了一系列关于指令微调、上下文学习及多模态提示策略在硬件生成任务中应用效果的研究，这些衍生工作共同推动了将大语言模型应用于芯片前端设计的可行性与可信度评估，为人工智能赋能集成电路设计奠定了坚实的实验基础。