Mini Kinetics-C, Mini SSV2-C

Mini Kinetics-C和Mini SSV2-C是针对视频内容的空间-时间模型抗干扰性评估而建立的基准数据集。这两个数据集基于现有的Kinetics和SSV2大型视频数据集，分别包含超过200,000个视频，用于视频分类任务。Mini Kinetics-C侧重于空间语义信息，而Mini SSV2-C则包含更多的时序信息。数据集通过在干净验证数据集上应用12种常见的视频采集和处理中的干扰类型（每种干扰有5个严重程度级别）来构建，以估计自然情况下未见测试数据分布。这些数据集的应用领域是评估和提高视频理解模型的鲁棒性，解决模型在实际环境中遇到的数据干扰问题。

Mini Kinetics-C and Mini SSV2-C are benchmark datasets developed to evaluate the spatial-temporal model robustness against perturbations in video content analysis. These two datasets are derived from the existing large-scale video datasets Kinetics and SSV2, each containing over 200,000 videos, and are tailored for video classification tasks. Mini Kinetics-C focuses on spatial semantic information, while Mini SSV2-C incorporates more temporal information. The datasets are constructed by applying 12 common perturbation types arising from video acquisition and processing (each with 5 severity levels) on clean validation datasets, aiming to estimate the distribution of unseen test data in natural real-world scenarios. The application scope of these datasets lies in evaluating and improving the robustness of video understanding models, as well as addressing data perturbation problems that models may encounter in practical deployment environments.

搜集汇总

数据集介绍

构建方式

在视频理解领域，模型对现实世界中常见退化的鲁棒性评估尚属空白。Mini Kinetics-C与Mini SSV2-C的构建旨在填补这一空白，其核心方法是在两个广泛使用的视频分类基准数据集——Mini Kinetics与Mini SSV2的验证集基础上，系统性地施加了12种常见退化。这些退化涵盖了视频采集与处理全流程，包括散粒噪声、运动模糊、雾、对比度变化等空间域退化，以及比特错误、数据包丢失、帧率转换等时间域退化。每种退化均设置了5个严重等级，从而生成了规模庞大且层次分明的退化视频集合，用以模拟模型在真实部署中可能遭遇的未知数据分布偏移。

特点

该数据集的核心特点在于其首次系统性地引入了时间域退化，超越了传统图像鲁棒性基准仅关注空间退化的局限。退化类型的设计紧密贴合视频数据的时空特性，例如比特错误和数据包丢失能够模拟传输错误在连续帧间的传播效应。数据集选取了Kinetics（依赖空间语义）和SSV2（依赖时序信息）两个特性迥异的源数据集，使得评估能够覆盖不同信息依赖类型的视频分类任务。此外，通过控制退化严重等级，数据集提供了从轻微扰动到严重失真的连续评估谱系，能够细致刻画模型性能随退化程度变化的曲线。

使用方法

该数据集主要用于评估时空模型在退化条件下的鲁棒性。标准使用流程是在干净的训练集（如Mini Kinetics或Mini SSV2）上训练模型，然后在施加了各种退化的验证集（即Mini Kinetics-C或Mini SSV2-C）上进行评估。评估时，通常计算模型在所有退化类型及严重等级上的平均分类精度（mPC），或相对于干净数据精度的相对性能（rPC），以量化其平均情况下的鲁棒性。研究者可进一步将退化分为空间与时间两类，分别分析模型对不同维度退化的敏感性。该基准亦可用于探究数据增强（如使用退化数据训练）对视频模型鲁棒性的影响，尽管初步研究表明此类干预在视频任务中可能收效甚微。

背景与挑战

背景概述

在时空模型鲁棒性研究领域，现有基准多聚焦于图像空间域的扰动，而视频理解中至关重要的时序维度长期被忽视。为填补这一空白，南洋理工大学与香港城市大学的研究团队于2021年NeurIPS会议上提出了Mini Kinetics-C与Mini SSV2-C基准数据集。该研究旨在系统评估时空模型对视频采集与处理中常见扰动的鲁棒性，核心研究问题在于探索模型在空间与时序双重扰动下的性能表现。通过构建包含12类扰动、5级强度的评估体系，该数据集首次将时序扰动纳入考量，为视频分类模型的鲁棒性研究提供了关键基准，推动了时空模型在真实复杂场景下的应用探索。

当前挑战

该数据集致力于解决视频分类模型在真实场景下面临的鲁棒性挑战，其核心在于评估模型对空间与时序双重扰动的抵御能力。构建过程中的主要挑战体现在两方面：其一，在领域问题层面，需设计能够准确反映视频时序结构特性的扰动类型，如比特错误、丢包等具有帧间传播效应的时序扰动，这超越了传统图像扰动的范畴；其二，在数据集构建层面，需在Kinetics与SSV2两大基准数据集的基础上，系统化地施加多类型、多强度的扰动，并确保扰动分布能够有效模拟真实世界的复杂退化情况，同时维持评估的公平性与可复现性。

常用场景

经典使用场景

在视频理解领域，评估时空模型的鲁棒性已成为一项关键任务。Mini Kinetics-C和Mini SSV2-C作为专门设计的基准数据集，其经典使用场景在于系统性地测试各类视频分类模型在遭遇现实世界常见损坏时的性能表现。研究者在训练模型时仅使用干净视频数据，而在评估阶段则引入包含12种不同类型、5个严重等级的损坏视频，从而模拟模型在真实部署环境中可能遇到的各种干扰。这种设置能够全面衡量模型对空间损坏（如雾、对比度变化）和时间损坏（如运动模糊、帧率转换）的抵抗能力，为模型鲁棒性提供了标准化评估框架。

解决学术问题

该数据集有效解决了视频理解领域长期被忽视的模型鲁棒性评估问题。传统研究多集中于图像领域的损坏鲁棒性，而视频特有的时间维度损坏则缺乏系统研究。Mini Kinetics-C和Mini SSV2-C通过引入时间损坏类型，填补了这一学术空白。它们帮助研究者深入探究时空模型在面对连续帧相关损坏时的表现规律，揭示了模型泛化能力与时间损坏鲁棒性之间的内在关联。数据集还澄清了图像领域常用的噪声训练增强策略在视频任务中可能失效的现象，为鲁棒视频模型的设计提供了重要理论依据。

衍生相关工作

基于该数据集的研究催生了一系列关于视频模型鲁棒性的重要工作。研究者们开始系统比较CNN架构与Transformer架构在时空损坏下的表现差异，发现基于Transformer的TimeSformer模型展现出更优越的鲁棒特性。相关工作进一步探讨了模型计算成本与鲁棒性之间的权衡关系，揭示了当前追求模型效率的趋势可能以牺牲鲁棒性为代价。这些发现促使后续研究重新审视视频模型的设计范式，推动了兼顾效率与鲁棒性的新型架构探索。该数据集还启发了针对时间损坏特性的数据增强方法研究，为提升视频模型的实用性能开辟了新方向。