THUMOS14-C, ActivityNet-v1.3-C
收藏资源简介：
本研究创建了两个用于评估时间动作检测模型鲁棒性的基准数据集：THUMOS14-C和ActivityNet-v1.3-C。这些数据集包含在视频获取和处理过程中常见的五种类型的时间域损坏，每种损坏有三个严重程度级别，总计15种损坏类型。数据集的设计旨在通过损坏视频中的一小部分帧来破坏其时间连续性，从而有效测试时间动作检测模型的定位能力。这些数据集不仅用于评估模型在清洁数据上的性能，还特别关注模型在面对时间损坏时的鲁棒性，为未来研究提供了新的视角和工具。
In this study, we developed two benchmark datasets for evaluating the robustness of temporal action detection models: THUMOS14-C and ActivityNet-v1.3-C. These datasets cover five common types of temporal domain corruptions that frequently arise during video acquisition and processing, with three severity levels for each corruption type, totaling 15 distinct corruption cases. The datasets are designed to disrupt the temporal continuity of videos by corrupting a small fraction of their frames, thereby effectively testing the localization capability of temporal action detection models. These datasets not only support the evaluation of model performance on clean data, but also specifically focus on model robustness against temporal corruptions, providing new research perspectives and tools for future studies.
数据集概述
简介
该数据集用于评估时间动作检测模型对时间损坏的鲁棒性，相关论文已被CVPR 2024接收。
更新日志
- 02/05/2024: 上传了在Thumos14数据集上添加损坏和提取特征的代码，包括I3D和VideoMAE V2提取器，以及使用TRC损失训练的三个示例模型。
内容概要
代码包括：
- 在Thumos数据集上对I3D和VideoMAE V2特征添加噪声，用于从Thumos14-C（测试集）提取特征或使用TRC损失训练模型。
- 包含三个使用TRC损失的示例模型：ActionFormer、TriDet和TemporalMaxer。
快速开始
修改配置文件
在运行代码之前，需要修改配置文件。对于提取特征和运行TRC损失示例代码，每个配置文件开头都提供了具体的修改说明。注释中有$$的参数需要重置，其他参数可以保持默认值。
运行代码
- 对于Thumos数据集上的I3D特征，运行命令：
python main.py - 对于Thumos数据集上的videomaev2特征，运行命令：
python extract_tad_feature_thumos.py - 对于ActionFormer、TriDet和TemporalMaxer，运行命令与原作者提供的GitHub说明一致。
引用
如果该数据集对您的研究有帮助，请在发表的论文中引用：
latex @inproceedings{zeng2024benchmarking, title={Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions}, author={Zeng, Runhao and Chen, Xiaoyong and Liang, Jiaming and Wu, Huisi and Cao, Guangzhong and Guo, Yong}, booktitle={IEEE Conference on Computer Vision and Pattern Recognition}, year={2024}, }
