SOL-ExecBench

SOL (Speed Of Light) ExecBench 是一个现实世界的 CUDA 内核基准测试数据集，包含 235 个从开源 HuggingFace 模型架构中提取的内核级计算工作负载规范。这些工作负载涵盖了广泛的 AI 模型任务，包括文本、视觉和语音模型的前向和后向传播，以及核心算法如矩阵乘法、卷积、注意力变体、专家混合和跨不同数据类型（FP32、BF16、FP16、FP8 和 NVFP4）的规范化。数据集通过从 HuggingFace Transformers 和 Diffusers 仓库中抓取模型架构，并使用 LLM 代理提取与内核相关的计算子图来构建，最终转化为结构化的 JSON 定义。每个条目定义了一个计算内核工作负载，包括符号轴定义、张量输入/输出规范、PyTorch 参考实现和工作负载实例化。数据集以 Parquet 格式提供，分为四个子集（FlashInfer-Bench、L1、L2 和 Quant），适用于研究人员和工程师开发基于 AI 的内核生成系统、编译器代理和自动化性能优化工具。