OG RGB+D数据库

OG RGB+D数据库是由西北工业大学计算机科学与工程学院综合航空航天海洋大数据应用技术国家工程实验室创建的，专注于步态识别在遮挡条件下的研究。该数据库通过多同步Azure Kinect DK传感器数据采集系统（multi-Kinect SDAS）收集，包含96名受试者的多种遮挡条件下的单步态和多步态数据，总计58752个视频片段。数据库不仅支持模型基础的步态识别方法，也支持外观基础的方法，旨在解决实际应用中步态识别面临的遮挡问题。The OG RGB+D dataset was created by the School of Computer Science and Engineering, Northwestern Polytechnical University, in conjunction with the National Engineering Laboratory for Integrated Aeronautics, Astronautics and Marine Big Data Application Technology. This dataset focuses on research on gait recognition under occlusion conditions. It is collected via the multi-synchronized Azure Kinect DK sensor data acquisition system (multi-Kinect SDAS), and contains single-gait and multi-gait data of 96 subjects under various occlusion conditions, totaling 58,752 video clips. This dataset not only supports model-based gait recognition methods but also appearance-based ones, aiming to address the occlusion issues faced by gait recognition in real-world applications.

搜集汇总

数据集介绍

构建方式

OG RGB+D数据库的构建依托于一套自主研发的多Kinect同步数据采集系统（multi-Kinect SDAS），该系统由三台Azure Kinect DK传感器、专用采集软件及多视角数据融合算法构成。传感器以等腰三角形排布，通过星型连接实现毫秒级同步，覆盖受试者行走区域。数据采集涵盖单人与多人场景，受试者沿方形轨迹行走以获取8种视角的自遮挡数据，并采集6种主动遮挡（如背包、厚重外套）及4种视角的被动遮挡（三人并行）数据。通过多设备深度数据融合，生成优化的三维关节点坐标（OJ），并采用背景抠图与姿态分割技术提取高精度剪影。

特点

该数据集的核心特点在于全面覆盖日常生活中的遮挡场景，包括自遮挡、主动遮挡与被动遮挡，突破了现有步态数据库仅考虑单一遮挡因素的局限。数据集提供多模态数据，包括RGB视频、深度图、优化后的3D关节点（OJ）及精确剪影，可同时支持基于外观与基于模型的步态识别算法。尤为突出的是，OJ数据通过多视角融合显著提升了遮挡下的姿态表征精度，而剪影提取采用先进算法有效应对复杂背景与光照变化。此外，数据集还包含了被其他数据库忽略的转身步态数据，进一步丰富了步态分析的维度。

使用方法

该数据库适用于遮挡条件下步态识别算法的开发与评估。研究者可基于多模态数据分别或联合使用RGB、深度、关节点及剪影信息。例如，基于外观的方法可直接利用提供的剪影序列，而基于模型的方法则可输入优化的3D关节点进行时空图卷积网络（ST-GCN）训练。数据集提供了标准的训练/测试划分方案，以48名受试者数据作为训练集，其余48名受试者在低遮挡条件下的数据作为画廊集，六种遮挡条件作为探针集，便于进行统一的基准测试。同时，OJ数据还可用于训练和优化多人体3D姿态估计模型，提升其在遮挡场景下的泛化能力。

背景与挑战

背景概述

步态识别作为一种远距离生物特征识别技术，在视觉监控、法医鉴定和国家安全等领域具有广阔的应用前景。然而，实际场景中频繁出现的遮挡问题——包括由视角变化引起的自遮挡、携带物品或穿着厚重衣物导致的主动遮挡，以及多人同行产生的被动遮挡——严重制约了步态特征的准确提取与识别精度。现有步态数据库多侧重于视角、速度和携带物等协变量，鲜有系统性地涵盖多种遮挡类型。为填补这一空白，西北工业大学国家 integrated 空天地海大数据应用技术工程实验室的李娜和赵新波等人于2021年构建了OG RGB+D数据库。该数据库利用多台同步Azure Kinect DK传感器组成的采集系统，获取了包含RGB图像、深度数据、优化3D关节点和精准剪影的多模态步态数据，覆盖了96名受试者在八种视角、六种主动遮挡和四种被动遮挡条件下的单人与多人步态信息，为遮挡环境下的步态识别研究提供了标准化基准。

当前挑战

OG RGB+D数据库所面临的挑战主要体现在两个层面。在领域问题层面，遮挡导致人体外观和轮廓信息严重缺失，使得依赖剪影的外观类方法（如GaitSet、GaitPart）在高度遮挡条件下（如多人同行、携带大件物品）识别精度急剧下降，而现有基于模型的方法又因关节点定位不准而性能有限。在数据库构建层面，多台Kinect DK传感器间的精确同步与空间标定是一大难点，需通过星型连接和多次双目立体标定实现多视角数据的坐标对齐与融合；同时，复杂背景、光照变化和地面反射等环境因素对高质量剪影提取构成干扰，需采用先进的背景抠图与姿态分割技术；此外，如何设计涵盖不同遮挡程度和多人交互的采集协议，并确保数据多样性（如加入转身动作），也对实验方案提出了较高要求。

常用场景

经典使用场景

OG RGB+D数据库专注于遮挡条件下的步态识别研究，其经典使用场景涵盖自遮挡、主动遮挡与被动遮挡三类真实世界情境。自遮挡通过八个视角采集不同身体朝向导致的局部遮挡数据；主动遮挡则模拟日常生活中背包、携带大小物品以及穿着不同遮挡程度衣物等情形；被动遮挡聚焦于多人并行行走时相互遮挡的复杂场景。该数据库提供多模态数据，包括RGB视频、深度图、精确轮廓以及优化的三维关节点信息，为步态识别算法在遮挡环境下的鲁棒性评估提供了标准化基准。

实际应用

在实际应用中，OG RGB+D数据库支撑的步态识别技术可部署于安防监控、法医鉴定和国家安全等关键领域。例如，在机场、火车站等公共场所的远距离身份识别中，行人常因背包、厚重衣物或人群遮挡而难以被准确识别；该数据库训练的算法能够有效应对这些日常遮挡挑战，提升真实场景下的识别率。此外，其多视角采集设计适用于多摄像头监控系统，而优化的三维关节点数据可辅助智能安防设备在复杂环境中实时追踪个体，增强公共安全防护能力。

衍生相关工作

基于OG RGB+D数据库，研究者提出了多项经典工作。其中最具代表性的是SkeletonGait方法，它利用孪生时空图卷积网络从人体双骨架模型中提取判别性步态特征，在遮挡条件下显著优于传统外观驱动方法。此外，该数据库的优化关节点数据被用于训练先进的多人三维姿态估计模型，如Moon等人的方法，有效提升了遮挡环境下的姿态估计精度。这些衍生工作不仅验证了数据库的实用价值，还推动了基于骨架的步态识别与姿态估计领域的交叉融合，催生了更多面向遮挡鲁棒性的算法创新。