NTLBench

NTLBench是一个针对非迁移学习（NTL）的评估框架，由悉尼大学Sydney AI Centre的研究者创建。该框架统一了评估NTL性能和鲁棒性的标准，支持在9个数据集（超过116个域对）和5种网络架构家族上运行NTL和攻击方法，总计提供了至少40,000个实验配置。NTLBench的目的是为了推动鲁棒NTL方法的发展，并促进其在可信赖模型部署场景中的应用。

搜集汇总

数据集介绍

构建方式

NTLBench数据集的构建旨在为非迁移学习（NTL）提供一个统一的评估框架。该数据集整合了5种最先进的NTL方法和3种类型的后训练攻击（共15种攻击方法），支持在9个数据集（超过116个域对）和5个网络架构家族上进行NTL和攻击的运行，提供了至少40,000种实验配置，以便进行全面的评估。

特点

NTLBench数据集的特点在于其全面性和统一性。它不仅包含了多种NTL方法，还涵盖了不同类型的攻击，使得研究人员可以全面评估NTL方法的性能和鲁棒性。此外，该数据集还支持多种网络架构，使得研究人员可以探索不同架构对NTL方法的影响。

使用方法

使用NTLBench数据集的方法包括：1. 预训练阶段：使用NTLBench支持的网络架构，在数据集上进行预训练。2. 攻击阶段：使用NTLBench支持的攻击方法，对预训练模型进行攻击。3. 评估阶段：使用NTLBench提供的评估指标，评估NTL方法的性能和鲁棒性。

背景与挑战

背景概述

NTLBench是一个旨在评估非迁移学习（NTL）性能和鲁棒性的基准测试框架。该数据集由悉尼大学的悉尼人工智能中心的研究人员于2025年创建。NTL的目标是重塑深度学习模型的泛化能力，使其无法泛化到特定的目标域或任务，同时保持其在源域上的正常功能。NTLBench整合了五种最先进的NTL方法和三种类型的训练后攻击（共15种攻击方法），支持在9个数据集（超过116个域对）、5个网络架构家族上进行NTL和攻击，提供了至少40,000个实验配置，用于全面评估。NTLBench的发布为NTL方法的鲁棒性评估提供了一个统一的框架，并促进了其在可信模型部署场景中的应用。

当前挑战

NTLBench相关的挑战包括：1) 非迁移学习的挑战：如何有效地防止模型从源域泛化到特定的目标域或任务，同时保持其在源域上的正常功能；2) 构建过程中的挑战：如何设计一个统一、标准化的NTL评估框架，包括数据集、网络架构、攻击方法等；3) 鲁棒性挑战：如何提高NTL模型在训练后攻击下的鲁棒性，例如源域微调攻击、目标域微调攻击和源域无关域自适应攻击。

常用场景

经典使用场景

NTLBench是一个用于评估非迁移学习（NTL）性能和鲁棒性的统一框架。该数据集的主要用途是测试不同NTL方法在对抗各种攻击时的表现。通过对CIFAR & STL数据集上5种方法（NTL, CUTI-domain, H-NTL, SOPHON, CUPI-domain）与VGG-13的比较，评估了预训练性能和对5种源域微调攻击、4种目标域微调攻击和6种源域无关域适应攻击的鲁棒性。

衍生相关工作

NTLBench的发布推动了NTL领域的研究进展，并衍生出了一系列相关的工作。例如，一些研究开始关注NTL在跨模态数据上的应用，以及如何提高NTL方法在面对更弱假设的攻击时的鲁棒性。

数据集最近研究

最新研究方向

非迁移学习（NTL）致力于重塑深度学习模型的泛化能力，以防止模型将泛化能力扩展到特定的目标领域或任务（如有害或未经授权的领域）。NTLBench作为首个统一框架，用于评估NTL的性能和鲁棒性，通过整合5种最先进的NTL方法和3种类型的后训练攻击（共15种攻击方法），在9个数据集（超过116个领域对）、5个网络架构家族上进行评估，提供了至少40,000种实验配置。NTLBench的实验结果表明，现有的NTL方法在处理复杂数据集和多样攻击方面存在局限性，需要进一步提升其鲁棒性。此外，NTL在模型知识产权保护、安全性对齐和有害微调防御等方面具有广泛的应用前景，未来研究方向包括改进鲁棒性、识别更多威胁、跨模态非迁移性等。

相关研究论文

• Toward Robust Non-Transferable Learning: A Survey and Benchmark

  悉尼大学Sydney AI Centre · 2025年