ZeroFlow

ZeroFlow是由清华大学和阿里巴巴达摩院联合提出的首个用于评估无梯度优化算法在克服灾难性遗忘方面的基准测试集。该数据集涵盖了多种遗忘场景、模型类型和评估指标，旨在通过前向传播方法探索如何在不依赖梯度信息的情况下缓解灾难性遗忘问题。数据集的内容包括多个任务序列和复杂度的数据集，如CIFAR-100、CUB、ImageNet-A和OmniBenchmark等。通过该基准测试，研究人员揭示了前向传播在管理任务冲突、减少内存需求以及缓解遗忘方面的潜力，并提出了新的优化原则和改进技术。ZeroFlow的应用领域主要集中在持续学习和预训练模型的微调中，旨在解决模型在时间演化数据流中遗忘先前学习任务的问题。ZeroFlow is the first benchmark dataset jointly proposed by Tsinghua University and Alibaba DAMO Academy for evaluating gradient-free optimization algorithms in overcoming catastrophic forgetting. This dataset covers diverse forgetting scenarios, model types and evaluation metrics, aiming to explore how to mitigate catastrophic forgetting without relying on gradient information via forward propagation methods. The dataset includes multiple task sequences and datasets with varying complexities, such as CIFAR-100, CUB, ImageNet-A and OmniBenchmark. Through this benchmark, researchers have unveiled the potential of forward propagation in managing task conflicts, reducing memory requirements and alleviating forgetting, and put forward novel optimization principles and improved techniques. The application scenarios of ZeroFlow mainly concentrate on continual learning and fine-tuning of pre-trained models, targeting the problem where models forget previously learned tasks in temporally evolving data streams.

搜集汇总

数据集介绍

构建方式

ZeroFlow数据集的构建旨在评估无梯度优化算法在克服灾难性遗忘问题中的表现。该数据集通过一系列前向传递方法，结合多种遗忘场景和数据集，系统地考察了这些方法在不同任务序列中的表现。具体而言，ZeroFlow涵盖了从CIFAR-100到OmniBenchmark等多个复杂度的数据集，并通过任务增量学习的方式，将每个数据集划分为多个任务，逐步评估模型在无梯度信息情况下的遗忘控制能力。

特点

ZeroFlow数据集的特点在于其专注于无梯度优化算法的评估，特别是在梯度信息不可用或无法计算的情况下。该数据集通过引入多种前向传递方法，如ZO-SGD、ZO-Adam等，展示了仅通过前向传递即可有效缓解灾难性遗忘的潜力。此外，ZeroFlow还提供了丰富的评估指标，包括平均准确率、最终任务准确率和遗忘度量，帮助研究者全面理解不同方法在遗忘控制中的表现。

使用方法

ZeroFlow数据集的使用方法主要围绕无梯度优化算法的评估展开。研究者可以通过该数据集，测试不同前向传递方法在多个任务序列中的表现，特别是在梯度信息受限的场景下。具体操作包括使用ZO-SGD、ZO-Adam等优化算法，结合不同的任务增量学习策略，逐步评估模型在遗忘控制中的效果。此外，ZeroFlow还提供了详细的评估指标，帮助研究者分析不同方法在内存效率、查询效率和运行效率等方面的表现。

背景与挑战

背景概述

ZeroFlow数据集由清华大学和阿里巴巴达摩院的研究团队于2025年提出，旨在解决持续学习中的灾难性遗忘问题。灾难性遗忘是指模型在学习新任务时遗忘先前任务的现象，这一问题在持续学习、基础模型微调和持续预训练等场景中尤为突出。ZeroFlow通过引入无梯度优化算法，探索仅通过前向传播来缓解遗忘的可能性。该数据集首次提出了在梯度受限场景下的基准测试，涵盖了多种前向传播方法、遗忘场景和数据集，为持续学习领域提供了新的优化原则和工具。

当前挑战

ZeroFlow数据集面临的挑战主要包括两个方面。首先，在领域问题方面，灾难性遗忘的缓解依赖于梯度信息，但在实际应用中，梯度信息往往不可获取或不可计算，如黑箱API、硬件限制和非可微系统等场景。ZeroFlow通过前向传播方法替代反向传播，探索无梯度优化的潜力，但如何在无梯度信息的情况下有效缓解遗忘仍是一个核心挑战。其次，在数据集构建过程中，如何设计多样化的遗忘场景和任务序列，确保基准测试的全面性和代表性，也是一个重要的技术难题。此外，前向传播方法的计算效率和内存需求也是构建过程中需要克服的关键问题。

常用场景

经典使用场景

ZeroFlow数据集在持续学习和持续预训练领域中被广泛使用，尤其是在梯度信息不可获取的场景下。通过前向传递方法，ZeroFlow为研究者在黑箱API、硬件限制或不可微分系统中提供了新的优化基准。其经典使用场景包括在多个任务序列中评估前向传递算法的性能，特别是在CIFAR-100、CUB、ImageNet-A和OmniBenchmark等数据集上的表现。

衍生相关工作

ZeroFlow的提出催生了一系列相关研究，尤其是在无梯度优化方法的应用上。基于ZeroFlow的基准测试，研究者们开发了多种前向传递算法，如ZO-SGD、ZO-Adam等，并进一步提出了周期性梯度技术等增强方法。这些工作不仅扩展了ZeroFlow的应用范围，还为持续学习中的灾难性遗忘问题提供了更多解决方案，推动了无梯度优化领域的发展。

数据集最近研究

最新研究方向

在持续学习领域，ZeroFlow数据集的提出为解决灾难性遗忘问题提供了新的视角。该数据集通过引入无梯度优化算法，探索了仅通过前向传递来克服遗忘的潜力。研究表明，前向传递不仅能够有效管理任务冲突，还能显著减少内存需求。这一发现为未来在无梯度环境下的持续学习研究奠定了基础，尤其是在黑箱API、硬件限制和非可微系统等场景中，ZeroFlow的提出为优化算法的设计提供了新的思路。此外，该数据集还揭示了前向传递在减少遗忘方面的优化原则，为相关领域的进一步研究提供了重要的工具和见解。

相关研究论文

• ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think

  清华大学, 阿里巴巴达摩院 · 2025年