GREW

GREW数据集是由清华大学创建的大规模步态识别数据集，包含26,345个身份和128,671个序列，数据来源于自然视频，涵盖了数百个摄像头和数千小时的视频流。该数据集通过大量手动标注，提供了丰富的属性，适用于不受约束的步态识别。此外，还增加了一个包含超过233,000个序列的干扰集，使其更适合实际应用。GREW数据集的视图变化多样且实用，挑战因素更为自然，是目前首个大规模的野外步态识别数据集。该数据集对于训练和评估不受约束场景下的步态识别器至关重要，并已被用于探索基于外观和模型的步态识别方法。

The GREW dataset is a large-scale gait recognition dataset created by Tsinghua University. It contains 26,345 identities and 128,671 sequences, with data sourced from natural videos covering hundreds of cameras and thousands of hours of video streams. Through extensive manual annotation, the dataset provides rich attribute information, making it applicable to unconstrained gait recognition. Additionally, a distractor set with over 233,000 sequences has been incorporated to enhance its suitability for real-world applications. Boasting diverse and practical viewpoint variations and more natural challenge factors, the GREW dataset is the first large-scale in-the-wild gait recognition dataset to date. This dataset is crucial for training and evaluating gait recognizers in unconstrained scenarios, and has been widely used to explore both appearance-based and model-based gait recognition methods.

原始信息汇总

Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline

数据集准备

• 下载GREW数据集: 下载教程
• 准备数据集: 准备教程

训练与评估

1. 超网络训练

bash CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -u -m torch.distributed.launch --nproc_per_node=8 opengait/main.py --cfgs configs/sposgait/sposgait_large_GREW_supertraining_triplet.yaml --phase train

• python -m torch.distributed.launch: DDP 启动指令。
• --nproc_per_node: 使用的GPU数量，必须等于CUDA_VISIBLE_DEVICES的长度。
• --cfgs: 配置文件路径。
• --phase: 指定为train。
• --log_to_file: 如果指定，终端日志将同时写入磁盘。

2. 搜索

bash CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -u -m torch.distributed.launch --nproc_per_node=8 opengait/search.py --cfgs ./configs/sposgait/sposgait_large_GREW_supertraining_triplet.yaml --max-epochs 20

3. 重新训练

bash CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -u -m torch.distributed.launch --nproc_per_node=8 opengait/main.py --cfgs ./configs/sposgait/retrain/sposgait_large_GREW-train20000id_retrain.yaml --phase train

• python -m torch.distributed.launch: DDP 启动指令。
• --nproc_per_node: 使用的GPU数量，必须等于CUDA_VISIBLE_DEVICES的长度。
• --cfgs: 配置文件路径。
• --phase: 指定为train。
• --log_to_file: 如果指定，终端日志将同时写入磁盘。

4. 测试

bash CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --nproc_per_node=8 opengait/main.py --cfgs ./configs/sposgait/retrain/sposgait_large_GREW-train20000id_retrain.yaml --phase test

• --phase: 指定为test。
• --iter: 指定迭代检查点。

计算FLOPs和参数

bash CUDA_VISIBLE_DEVICES=0 python -u -m torch.distributed.launch --nproc_per_node=1 opengait/calculate_flops_and_params.py --cfgs configs/sposgait/retrain/sposgait_large_GREW-train20000id_retrain.yaml

引用

如果此工作对您的研究有帮助，请考虑引用以下BibTeX条目： bibtex @inproceedings{zhu2021gait, title={Gait recognition in the wild: A benchmark}, author={Zhu, Zheng and Guo, Xianda and Yang, Tian and Huang, Junjie and Deng, Jiankang and Huang, Guan and Du, Dalong and Lu, Jiwen and Zhou, Jie}, booktitle={Proceedings of the IEEE/CVF international conference on computer vision}, pages={14789--14799}, year={2021} } @article{guo2022gait, title={Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline}, author={Guo, Xianda and Zhu, Zheng and Yang, Tian and Lin, Beibei and Huang, Junjie and Deng, Jiankang and Huang, Guan and Zhou, Jie and Lu, Jiwen}, journal={arXiv e-prints}, pages={arXiv--2205}, year={2022} }

注意: 此代码仅用于学术目的，不得用于任何可能被视为商业用途的场合。

搜集汇总

数据集介绍

构建方式

GREW数据集的构建基于自然视频流，涵盖了数百个摄像头和数千小时的开放系统流。通过大量的人工标注，GREW包含了26,000个身份和128,000个序列，具有丰富的属性，适用于无约束的步态识别。此外，还增加了一个包含超过233,000个序列的干扰集，使其更适用于实际应用。与现有的预定义跨视图数据集相比，GREW具有多样化和实际的视图变化，以及更多自然挑战因素。

特点

GREW数据集的主要特点在于其大规模和多样性。它包含了26,000个身份和128,000个序列，具有丰富的属性，如性别、年龄组、携带物品和穿着风格，这些属性为细粒度的性能分析提供了支持。此外，GREW还引入了干扰集，包含超过233,000个序列，这使得数据集更贴近实际应用场景，能够更好地评估步态识别系统在复杂环境中的表现。

使用方法

GREW数据集的使用方法包括训练和评估步态识别系统。研究者可以使用GREW的训练集来训练模型，并使用测试集和干扰集来评估模型的性能。数据集提供了多种数据类型，如轮廓、步态能量图像（GEIs）、光流和2D/3D姿态，适用于基于外观和模型的步态识别算法。评估指标包括Rank-k准确率，用于衡量在给定探针下从图库中检索到正确身份的可能性。

背景与挑战

背景概述

步态识别作为一种生物识别技术，旨在通过视频中的人体行走方式来识别个体。相较于面部、指纹、虹膜和掌纹识别，步态识别具有难以伪装和远距离识别的优势，因此在犯罪预防、法医鉴定和社会安全等领域具有独特的潜力。尽管在受控环境下步态识别已取得显著进展，但由于缺乏在自然环境下的公开基准数据集，该技术在实际应用中的部署仍面临显著障碍。现有的步态数据集大多在实验室或静态户外环境中采集，如CASIA-B和OU-MVLP，这些数据集在视角和环境条件上存在局限性。为了填补这一空白，GREW数据集应运而生，它由自然视频构建，包含数百个摄像头和数千小时的流媒体，涵盖26K个身份和128K个序列，具有丰富的属性标注，适用于无约束的步态识别研究。

当前挑战

GREW数据集的构建面临多重挑战。首先，数据采集过程中需要处理来自多个摄像头的大量视频流，确保数据的多样性和代表性。其次，手动标注26K个身份和128K个序列需要大量的人力和时间，且需保证标注的准确性和一致性。此外，数据集中的视角变化、遮挡、携带物和着装多样性等因素增加了步态识别的复杂性。在实际应用中，步态识别还需应对大规模无关身份的干扰，这要求数据集能够提供包含233K个序列的干扰集。这些挑战不仅体现在数据集的构建过程中，也反映在步态识别模型的训练和评估中，需要开发能够有效处理无约束环境和复杂场景的算法。

常用场景

经典使用场景

GREW数据集在步态识别领域中被广泛用于训练和评估高性能的步态识别系统。其经典使用场景包括在自然视频中进行跨视角的步态识别，特别是在不受控的环境中，如实验室外的开放系统。GREW数据集通过提供多样化的视角变化和自然挑战因素，为步态识别算法的研究提供了丰富的数据支持。

实际应用

GREW数据集在实际应用中具有广泛的前景，特别是在犯罪预防、法医鉴定和社会安全等领域。由于步态识别能够在远距离和不受控的环境中工作，且难以伪装，因此它在实际应用中具有独特的优势。GREW数据集通过提供自然环境中的步态数据，使得步态识别系统能够在实际场景中进行有效的训练和评估，从而提高了其在实际应用中的可靠性和准确性。

衍生相关工作

GREW数据集的发布催生了一系列相关的经典工作，特别是在步态识别和神经架构搜索（NAS）领域。例如，基于GREW数据集，研究者提出了SPOSGait，这是一种基于NAS的步态识别模型，显著提升了步态识别的性能。此外，GREW数据集还促进了其他步态识别方法的发展，如GaitGL和CSTL，这些方法在GREW数据集上进行了验证和改进，进一步推动了步态识别技术的进步。