NTLBench

NTLBench是一个针对非迁移学习（NTL）的评估框架，由悉尼大学Sydney AI Centre的研究者创建。该框架统一了评估NTL性能和鲁棒性的标准，支持在9个数据集（超过116个域对）和5种网络架构家族上运行NTL和攻击方法，总计提供了至少40,000个实验配置。NTLBench的目的是为了推动鲁棒NTL方法的发展，并促进其在可信赖模型部署场景中的应用。NTLBench is an evaluation framework for non-transfer learning (NTL), created by researchers from the Sydney AI Centre at The University of Sydney. This framework unifies the standard protocols for evaluating NTL performance and robustness. It supports executing NTL and attack methods across 9 datasets (over 116 domain pairs) and 5 families of network architectures, providing a total of at least 40,000 experimental configurations. The core objective of NTLBench is to advance the development of robust NTL methods and facilitate their application in trustworthy model deployment scenarios.

搜集汇总

数据集介绍

构建方式

NTLBench数据集的构建旨在为非迁移学习（NTL）提供一个统一的评估框架。该数据集整合了5种最先进的NTL方法和3种类型的后训练攻击（共15种攻击方法），支持在9个数据集（超过116个域对）和5个网络架构家族上进行NTL和攻击的运行，提供了至少40,000种实验配置，以便进行全面的评估。

特点

NTLBench数据集的特点在于其全面性和统一性。它不仅包含了多种NTL方法，还涵盖了不同类型的攻击，使得研究人员可以全面评估NTL方法的性能和鲁棒性。此外，该数据集还支持多种网络架构，使得研究人员可以探索不同架构对NTL方法的影响。

使用方法

使用NTLBench数据集的方法包括：1. 预训练阶段：使用NTLBench支持的网络架构，在数据集上进行预训练。2. 攻击阶段：使用NTLBench支持的攻击方法，对预训练模型进行攻击。3. 评估阶段：使用NTLBench提供的评估指标，评估NTL方法的性能和鲁棒性。

背景与挑战

背景概述

NTLBench是一个旨在评估非迁移学习（NTL）性能和鲁棒性的基准测试框架。该数据集由悉尼大学的悉尼人工智能中心的研究人员于2025年创建。NTL的目标是重塑深度学习模型的泛化能力，使其无法泛化到特定的目标域或任务，同时保持其在源域上的正常功能。NTLBench整合了五种最先进的NTL方法和三种类型的训练后攻击（共15种攻击方法），支持在9个数据集（超过116个域对）、5个网络架构家族上进行NTL和攻击，提供了至少40,000个实验配置，用于全面评估。NTLBench的发布为NTL方法的鲁棒性评估提供了一个统一的框架，并促进了其在可信模型部署场景中的应用。

当前挑战

NTLBench相关的挑战包括：1) 非迁移学习的挑战：如何有效地防止模型从源域泛化到特定的目标域或任务，同时保持其在源域上的正常功能；2) 构建过程中的挑战：如何设计一个统一、标准化的NTL评估框架，包括数据集、网络架构、攻击方法等；3) 鲁棒性挑战：如何提高NTL模型在训练后攻击下的鲁棒性，例如源域微调攻击、目标域微调攻击和源域无关域自适应攻击。

常用场景

经典使用场景

NTLBench是一个用于评估非迁移学习（NTL）性能和鲁棒性的统一框架。该数据集的主要用途是测试不同NTL方法在对抗各种攻击时的表现。通过对CIFAR & STL数据集上5种方法（NTL, CUTI-domain, H-NTL, SOPHON, CUPI-domain）与VGG-13的比较，评估了预训练性能和对5种源域微调攻击、4种目标域微调攻击和6种源域无关域适应攻击的鲁棒性。

衍生相关工作

NTLBench的发布推动了NTL领域的研究进展，并衍生出了一系列相关的工作。例如，一些研究开始关注NTL在跨模态数据上的应用，以及如何提高NTL方法在面对更弱假设的攻击时的鲁棒性。

数据集最近研究

最新研究方向

非迁移学习（NTL）致力于重塑深度学习模型的泛化能力，以防止模型将泛化能力扩展到特定的目标领域或任务（如有害或未经授权的领域）。NTLBench作为首个统一框架，用于评估NTL的性能和鲁棒性，通过整合5种最先进的NTL方法和3种类型的后训练攻击（共15种攻击方法），在9个数据集（超过116个领域对）、5个网络架构家族上进行评估，提供了至少40,000种实验配置。NTLBench的实验结果表明，现有的NTL方法在处理复杂数据集和多样攻击方面存在局限性，需要进一步提升其鲁棒性。此外，NTL在模型知识产权保护、安全性对齐和有害微调防御等方面具有广泛的应用前景，未来研究方向包括改进鲁棒性、识别更多威胁、跨模态非迁移性等。

相关研究论文

• Toward Robust Non-Transferable Learning: A Survey and Benchmark

  悉尼大学Sydney AI Centre · 2025年