MetaCLBench

MetaCLBench是一个针对资源受限边缘设备设计的端到端的元持续学习基准框架，它包含图像和音频模态的五个不同数据集，用于评估系统开销，并研究性能、计算成本和内存需求在不同元持续学习方法之间的权衡。数据集包括GSCV2、UrbanSound8K、ESC50、CIFAR-100和MiniImageNet，涵盖了从30个单词的语音片段到500个图像的各类数据，旨在解决边缘设备上持续学习的新任务时遇到的灾难性遗忘问题。

MetaCLBench is an end-to-end meta continual learning benchmark framework designed for resource-constrained edge devices. It includes five distinct datasets spanning both image and audio modalities, which are utilized to evaluate system overhead and investigate the trade-offs among performance, computational cost, and memory requirements across different meta continual learning methods. The datasets consist of GSCV2, UrbanSound8K, ESC50, CIFAR-100, and MiniImageNet, covering various types of data ranging from 30-word speech segments to 500-image samples. This benchmark aims to address the catastrophic forgetting problem encountered when edge devices handle new tasks in continual learning scenarios.

搜集汇总

数据集介绍

构建方式

MetaCLBench数据集的构建基于多模态数据融合与边缘计算资源优化的核心理念，通过整合五种异构数据集（CIFAR-100、MiniImageNet、GSCV2、UrbanSound8K和ESC50）构建跨模态评估基准。采用三阶段构建流程：首先通过源域数据预训练初始化模型参数，随后在元训练阶段结合六种代表性Meta-CL方法（包括OML、ANML及其变体）进行参数优化，最终在Jetson Nano等三类边缘设备上部署测试。数据预处理环节针对音频模态特别设计时频特征提取流程，图像数据则采用标准归一化处理，确保多模态输入的兼容性。

特点

该数据集的核心特征体现在三个方面：跨模态评估维度覆盖图像与音频双模态，通过MiniImageNet等视觉数据与UrbanSound8K等听觉数据的协同验证，系统考察Meta-CL方法的泛化能力；资源约束指标体系创新性地引入峰值内存占用（最高达2.6GB）、端到端延迟（最低76s）和能耗（最低0.35kJ）等系统级指标；架构多样性包含从基础3层CNN到YAMNet、ViT的渐进式复杂度模型，其中LifeLearner方法在保持Oracle模型93%准确率的同时，将内存需求压缩至136MB，展现出卓越的边缘适配性。

使用方法

使用MetaCLBench需遵循分层评估协议：在预训练阶段采用ImageNet-21k等大型数据集初始化模型参数；元训练阶段需配置内外循环学习率（α=β=0.001）和特定批量大小（内循环1/外循环64）；边缘部署时通过硬件友好型8位整数量化降低计算开销。评估时需同步监测分类准确率与系统指标，其中音频任务建议优先采用Latent OML方法以减少回放周期，视觉任务则适用ANML+AIM组合以获得最佳精度。框架提供的Faiss索引和PyTorch工具链支持快速实现跨设备性能比对。

背景与挑战

背景概述

MetaCLBench是由香港科技大学、剑桥大学、三星AI中心剑桥分部及香港理工大学的研究团队于2025年提出的元持续学习基准框架。该数据集针对资源受限的边缘设备，旨在解决传统持续学习在有限标注样本和系统资源条件下的性能瓶颈问题。通过整合图像与音频模态的五种异构数据集（CIFAR-100、MiniImageNet、GSCv2、UrbanSound8K和ESC50），并评估六种代表性元持续学习方法在三种网络架构（CNN、YAMNet和ViT）上的表现，该研究首次系统性地揭示了预训练与元训练协同优化对模型性能的关键影响。其创新性地引入系统级评估指标（计算效率、内存占用和能耗），为边缘计算场景下的元持续学习研究建立了标准化评估范式。

当前挑战

MetaCLBench面临的核心挑战体现在两个维度：在领域问题层面，需解决时序音频数据与静态图像数据间的模态差异导致的元知识迁移障碍，以及边缘设备有限计算资源与持续学习动态内存需求的矛盾；在构建过程层面，存在三大技术难点：1) 跨模态元学习过程中特征表示的对齐问题，特别是音频信号的时变特性与图像空间结构的兼容性处理；2) 资源约束条件下模型压缩与精度保持的权衡，尤其当部署在Raspberry Pi等内存不足500MB的设备时；3) 评估体系的设计需同时兼顾算法精度（如避免灾难性遗忘）和系统指标（如实时能耗），这对基准测试工具链的开发提出了更高要求。

常用场景

经典使用场景

在边缘计算设备资源受限的背景下，MetaCLBench数据集为元持续学习（Meta-CL）方法提供了标准化的评估框架。该数据集通过整合图像（CIFAR-100、MiniImageNet）与音频（GSCv2、UrbanSound8K、ESC50）多模态数据，支持研究者系统性地考察模型在少量标注样本下的持续学习能力。其经典应用场景包括评估六种代表性Meta-CL方法（如OML、ANML及其AIM变体）在三种网络架构（CNN、YAMNet、ViT）上的性能表现，同时量化计算开销、内存占用等系统级指标，为算法-硬件协同设计提供实证依据。

解决学术问题

MetaCLBench有效解决了元持续学习领域三个关键学术问题：其一，通过跨模态基准测试揭示了现有图像导向方法在时序音频数据上的泛化瓶颈，填补了传感器数据模态适配性研究的空白；其二，构建了包含预训练-元训练-部署测试的全流程评估体系，首次系统验证了预训练对元持续学习性能的显著提升作用（平均提升13.98%）；其三，创新性地引入边缘设备资源消耗指标，量化了不同方法在计算效率（如LifeLearner降低7.5倍延迟）与内存需求（ANML+AIM达2.6GB）间的权衡关系，推动了面向实际应用的轻量化算法研究。

衍生相关工作

基于MetaCLBench的基准发现衍生出多项创新研究：在算法层面，催生了结合神经调制与注意力机制的ANML+AIM架构（Lee et al., 2021），在ESC50上实现34.6%准确率；在系统优化方向，启发Kwon团队提出集成压缩技术的LifeLearner（Kwon et al., 2024a），内存占用降至136MB；在架构设计领域，推动ViT与MobileNetV1（YAMNet）在元持续学习中的适应性改造研究。相关成果进一步拓展至增量式语音情感识别（Thuseethan et al., 2021）和移动端食物分类（He & Zhu, 2021）等跨领域应用。