MLPerf Tiny

MLPerf Tiny是由哈佛大学等超过50个学术和工业组织合作开发的首个行业标准基准套件，专为超低功耗微型机器学习系统设计。该数据集包含四个基准：关键词识别、视觉唤醒词、图像分类和异常检测，旨在评估机器学习推理的准确性、延迟和能耗，以公平可重复的方式展示不同系统间的权衡。数据集的应用领域广泛，从智能门铃到工业异常检测，旨在推动微型机器学习技术的发展和标准化。MLPerf Tiny is the first industry-standard benchmark suite developed in collaboration with over 50 academic and industrial organizations including Harvard University, specifically designed for ultra-low-power tiny machine learning systems. This dataset includes four benchmarks: keyword spotting, visual wake words, image classification, and anomaly detection, which aim to evaluate the accuracy, latency, and energy consumption of machine learning inference and demonstrate the trade-offs between different systems in a fair and reproducible manner. The dataset covers a wide range of application scenarios, from smart doorbells to industrial anomaly detection, and is intended to promote the development and standardization of tiny machine learning technologies.

搜集汇总

数据集介绍

构建方式

在超低功耗微型机器学习系统快速发展的背景下，MLPerf Tiny 基准测试套件应运而生，旨在为这一新兴领域提供标准化评估工具。该数据集的构建凝聚了超过50家学术与工业机构的协作智慧，通过精心筛选四个代表性应用场景——关键词唤醒、视觉唤醒词、图像分类及异常检测，并为其分别配置了标准化的数据集、模型与精度目标。每个基准测试均提供了从训练脚本到预训练模型的完整参考实现，并采用TensorFlow Lite Micro框架在NUCLEO-L4R5ZI开发板上进行验证，确保了基准的可靠性与可复现性。

特点

MLPerf Tiny 数据集的核心特点在于其全面覆盖了微型机器学习系统的关键性能维度。它不仅评估模型的推理精度，更将延迟与能耗纳入核心衡量指标，从而精准刻画了资源受限场景下系统在效率与准确性之间的权衡关系。数据集采用模块化设计，支持封闭与开放两种提交模式，既允许在严格控制变量下进行系统间直接比较，也为创新性硬件或软件优化提供了灵活展示空间。这种设计巧妙平衡了标准化与灵活性，能够适应从通用微控制器到专用加速器等多样化硬件平台。

使用方法

使用MLPerf Tiny数据集进行评估时，需遵循其严谨的测试框架与运行规则。评估过程通过专用测试运行器软件协调，在连接主机与待测设备的架构上，分别执行延迟、精度与能耗三项测量。延迟测试通过多次运行取中值报告每秒推理次数；精度测试则在完整验证集上计算Top-1准确率或AUC值；能耗测试则在延迟测试基础上同步采集能量消耗数据，计算每次推理的微焦耳值。用户可根据需求选择封闭或开放模式提交结果，封闭模式需严格使用参考模型与数据集，而开放模式允许在模型、训练方法等方面进行创新，但需详细记录与参考实现的差异。

背景与挑战

背景概述

随着边缘计算与物联网技术的深度融合，超低功耗微型机器学习系统逐渐成为智能应用的关键驱动力。然而，该领域长期缺乏统一且可复现的评估标准，制约了技术创新与系统优化。在此背景下，MLPerf Tiny基准测试套件应运而生，由哈佛大学、谷歌、STMicroelectronics等超过50家学术与工业机构于2021年联合推出。该套件聚焦于微型设备上的机器学习推理任务，通过关键词识别、视觉唤醒词、图像分类和异常检测四大基准任务，系统评估精度、延迟与能耗之间的权衡关系，旨在为资源受限的嵌入式平台提供行业标准化的性能衡量工具，推动TinyML生态的规范化发展。

当前挑战

MLPerf Tiny面临的挑战主要体现在领域问题与构建过程两方面。在领域层面，TinyML需解决在毫瓦级功耗约束下实现高效机器学习推理的难题，涉及模型压缩、内存优化及能效平衡等核心问题；同时，硬件与软件的高度异构性使得跨平台性能比较变得复杂，例如不同架构的微控制器在时钟、调试接口等方面存在显著差异。在构建过程中，基准测试设计需克服低功耗测量的一致性难题，因为设备功耗范围差异巨大，且数据路径与预处理步骤的多样性增加了能耗评估的复杂性；此外，有限的内存资源要求基准模型必须极度精简，同时保持任务代表性，这需要在模型量化、精度选择与基准覆盖范围之间取得微妙平衡。

常用场景

经典使用场景

在超低功耗边缘计算领域，MLPerf Tiny作为首个行业标准基准测试套件，其经典应用场景在于系统性地评估微型机器学习（TinyML）硬件与软件栈的综合性能。该套件通过关键词唤醒、视觉唤醒词、图像分类和异常检测四个代表性任务，模拟了智能物联网设备在实际部署中的典型工作负载。研究人员与工程师利用这一基准，能够在统一的框架下对比不同微控制器、神经网络加速器及专用芯片在推理精度、延迟与能耗之间的权衡关系，为超低功耗嵌入式系统的优化设计提供了可复现的量化依据。

实际应用

在实际产业应用中，MLPerf Tiny已成为智能家居、可穿戴设备及工业物联网等领域产品研发的重要参照标准。制造商利用该基准评估语音助手芯片的唤醒词检测效率，优化智能门禁系统的视觉识别功耗，或验证工业传感器异常检测模型的实时性。例如，在电池供电的安防摄像头中，通过基准测试可筛选出能在毫瓦功耗下持续运行数月的高效视觉模型；在预测性维护场景中，则能指导开发兼顾检测精度与能耗的声学异常监测方案。这些应用显著降低了嵌入式AI产品的开发门槛与迭代周期。

衍生相关工作

围绕MLPerf Tiny衍生出一系列经典研究工作，例如哈佛大学团队提出的MicroNets神经网络架构探索，通过在基准约束下设计极简模型，实现了在商用微控制器上的高效部署。加州大学伯克利分校等机构基于该基准开展了RISC-V指令集与神经网络加速器的协同优化研究。工业界则涌现出如Syntiant的专用神经处理器、Latent AI的模型压缩工具链等适配性解决方案。这些工作不仅拓展了TinyML在医疗传感、环境监测等新兴领域的应用边界，更形成了从算法创新、编译器优化到硬件设计的完整技术生态。