LLM-Inference-Bench

LLM-Inference-Bench是由阿贡国家实验室创建的一个综合基准测试套件，旨在评估大型语言模型在多种AI加速器上的推理性能。该数据集涵盖了从7亿到70亿参数的多种LLM模型，包括LLaMA、Mistral和Qwen系列，并分析了不同硬件平台（如Nvidia和AMD的GPU以及Intel Habana和SambaNova的AI加速器）上的性能。数据集的创建过程包括对多种推理框架（如vLLM、TensorRT-LLM、llama.cpp和Deepspeed-MII）的全面评估，旨在为研究人员提供优化LLM性能和硬件选择的参考。该数据集主要应用于自然语言处理、内容生成和决策支持系统等领域，旨在解决LLM在不同硬件平台上的性能瓶颈问题。LLM-Inference-Bench is a comprehensive benchmark suite developed by Argonne National Laboratory, designed to evaluate the inference performance of large language models across various AI accelerators. This suite covers a diverse range of LLM models with parameter sizes from 700 million to 7 billion, including the LLaMA, Mistral and Qwen model families, and analyzes performance across different hardware platforms such as NVIDIA and AMD GPUs, as well as AI accelerators from Intel Habana and SambaNova. The development of this benchmark suite involves comprehensive evaluations of multiple inference frameworks including vLLM, TensorRT-LLM, llama.cpp and DeepSpeed-MII, aiming to provide researchers with valuable references for optimizing LLM performance and selecting appropriate hardware. This benchmark suite is primarily applied in fields such as natural language processing, content generation and decision support systems, with the core goal of addressing performance bottlenecks of LLMs across different hardware platforms.

原始信息汇总

LLM-Inference-Bench

数据集概述

LLM-Inference-Bench 是一个用于在AI加速器上对大型语言模型（LLM）进行推理基准测试的数据集。

评估的框架和硬件

框架/硬件	NVIDIA A100	NVIDIA H100	NVIDIA GH200	AMD MI250	AMD MI300X	Intel Max1550	Habana Gaudi2	Sambanova SN40L
vLLM	Yes	Yes	Yes	Yes	Yes	Yes	No	N/A
llama.cpp	Yes	Yes	Yes	Yes	Yes	Yes	N/A	N/A
TensorRT-LLM	Yes	Yes	Yes	N/A	N/A	N/A	N/A	N/A
DeepSpeed-MII	Yes	No	No	No	No	No	Yes	N/A
Sambaflow	N/A	N/A	N/A	N/A	N/A	N/A	N/A	Yes

引用信息

@INPROCEEDINGS{####, author={Krishna Teja Chitty-Venkata and Siddhisanket Raskar and Bharat Kale and Farah Ferdaus and Aditya Tanikanti and Ken Raffenetti and Valerie Taylor and Murali Emani and Venkatram Vishwanath}, booktitle={2024 IEEE/ACM International Workshop on Performance Modeling, Benchmarking and Simulation of High Performance Computer Systems (PMBS)}, title={LLM-Inference-Bench: Inference Benchmarking of Large Language Models on AI Accelerators}, year={2024}, volume={}, number={}, pages={}, keywords={Large Language Models, AI Accelerators, Performance Evaluation, Benchmarking }, doi={}}

搜集汇总

数据集介绍

构建方式

LLM-Inference-Bench 数据集通过在多种 AI 加速器上评估大型语言模型（LLMs）的推理性能来构建。研究团队选择了包括 LLaMA、Mistral 和 Qwen 系列在内的多个模型，涵盖了从 7B 到 70B 参数的不同规模。这些模型在 Nvidia、AMD 和 Intel Habana 等不同硬件平台上进行了测试，使用了如 TensorRT-LLM、vLLM、llama.cpp 和 Deepspeed-MII 等多种推理框架。数据集的构建过程中，研究团队详细记录了各模型在不同硬件和框架下的性能指标，如吞吐量、功耗和困惑度等，以全面评估 LLMs 在不同配置下的表现。

使用方法

LLM-Inference-Bench 数据集的使用方法包括下载数据集和相关代码，设置所需的推理框架和硬件环境，然后运行基准测试以收集性能数据。用户可以通过提供的交互式仪表盘分析不同模型、硬件平台和推理框架的性能表现，从而选择最适合其应用场景的配置。数据集的代码库中包含了详细的安装和使用指南，以及用于生成性能报告的脚本，方便用户进行定制化分析和优化。

背景与挑战

背景概述

LLM-Inference-Bench 数据集由 Argonne 国家实验室的研究人员开发，旨在评估大型语言模型（LLMs）在不同硬件加速器上的推理性能。该数据集的创建旨在解决LLMs在文本生成应用中的计算需求问题，这些问题需要高效的硬件加速。通过评估LLMs在多种硬件平台上的性能，包括Nvidia和AMD的GPU以及专门的AI加速器（如Intel Habana和SambaNova），研究团队希望揭示这些模型在不同硬件平台上的可扩展性和吞吐量特征。数据集的评估涵盖了多个LLM推理框架和模型，包括LLaMA、Mistral和Qwen系列，参数规模从7B到70B不等。研究结果揭示了不同模型、硬件平台和推理框架的优缺点，并提供了一个交互式仪表板，帮助用户根据特定的硬件平台识别最佳性能配置。

当前挑战

LLM-Inference-Bench 数据集面临的挑战主要集中在解决领域问题和构建过程中遇到的困难。首先，图像分类领域的挑战在于如何有效地处理和分类大规模的图像数据。其次，构建过程中遇到的挑战包括如何在不同的硬件平台上实现高效的模型推理，以及如何优化推理框架以提高性能和减少延迟。此外，数据集还需要解决模型在不同硬件平台上的可扩展性问题，确保模型在各种硬件配置下都能保持高效的推理性能。最后，数据集的构建还需要考虑如何提供一个易于使用的交互式仪表板，以便用户能够方便地分析和比较不同硬件平台和推理框架的性能。

常用场景

经典使用场景

LLM-Inference-Bench 数据集的经典使用场景主要集中在大型语言模型（LLMs）在各种硬件加速器上的推理性能评估。该数据集通过评估不同硬件平台（如 Nvidia 和 AMD 的 GPU，以及 Intel Habana 和 SambaNova 的 AI 加速器）上的 LLMs 推理性能，帮助研究人员和开发者理解这些模型在不同硬件上的可扩展性和吞吐量特性。具体应用包括文本生成、问答系统和语言翻译等领域的性能优化。

解决学术问题

LLM-Inference-Bench 数据集解决了在不同硬件平台上评估大型语言模型推理性能的常见学术研究问题。通过提供详细的性能评估和交互式仪表板，该数据集帮助研究人员识别不同模型、硬件平台和推理框架之间的性能瓶颈，从而优化 LLMs 的推理效率。这对于推动 AI 加速器技术的发展和理解 LLMs 在实际应用中的性能表现具有重要意义。

实际应用

在实际应用中，LLM-Inference-Bench 数据集为企业和研究机构提供了优化大型语言模型推理性能的实用工具。通过该数据集，用户可以根据特定的硬件平台选择最优的模型和推理框架，以实现高效的文本生成、问答和语言翻译等任务。此外，该数据集还支持在生产环境中部署 LLMs，确保在有限的计算资源下实现最佳性能。

数据集最近研究

最新研究方向

在自然语言处理领域，大型语言模型（LLMs）的推理性能评估成为一个关键的研究方向。LLM-Inference-Bench数据集的最新研究聚焦于在多种AI加速器上对LLMs进行全面的推理性能基准测试。研究不仅涵盖了Nvidia和AMD的GPU，还包括Intel Habana和SambaNova等专用AI加速器。通过评估不同硬件平台上的推理性能，研究揭示了各种模型、硬件平台和推理框架的优缺点，为优化LLMs的性能和选择合适的硬件提供了宝贵的见解。此外，研究还开发了一个交互式仪表板，帮助研究人员根据特定硬件平台识别最佳性能配置，从而推动LLMs在实际应用中的高效部署。

相关研究论文

• LLM-Inference-Bench: Inference Benchmarking of Large Language Models on AI Accelerators

  阿贡国家实验室 · 2024年