SynthGait-19K

一个基于物理学的合成视频数据集，用于步态参数估计。A physics-based synthetic video dataset for gait parameter estimation.

原始信息汇总

SynthGait-19K 数据集概述

基本信息

• 名称：SynthGait-19K
• 类型：物理基础的合成视频数据集（Physically Grounded Synthetic Video Dataset）
• 用途：用于步态参数估计（Gait Parameter Estimation）
• 数据集地址：https://huggingface.co/datasets/SoroushMehraban/SynthGait-19K
• 官方仓库：https://github.com/TaatiTeam/SynthGait-19k
• 论文：https://arxiv.org/abs/2609.08108

数据集内容

• 公开发布形式为 Hugging Face WebDataset 分片（shards）。
• 分片名称已编码固定的训练集/验证集划分，无需原始文件名或单独的划分步骤。
• 每条 RGB 视频包含一名可见的、全身的行走者（walker）。

步态目标

数据集标注包含六个步态目标（gait targets），由缓存构建器直接读取。

预处理与缓存

• 通过 cache_hf_dataset.py 从分片直接构建 32 帧训练缓存。
• 缓存构建过程会对每条 RGB 视频进行行走者检测与裁剪。
• 相关文件模式、预处理细节与磁盘需求参见数据准备文档。

相关资源

• 模型：GaitXFormer（https://huggingface.co/SoroushMehraban/GaitXFormer）
• 演示空间：https://huggingface.co/spaces/SoroushMehraban/GaitXFormer
• 检查点文件：gaitxformer.pth.tr

文档指南

指南	说明
Downloads and environment	下载并配置数据集与已发布检查点
Data preparation	预处理 SynthGait-19K 并构建训练缓存
Training	训练或恢复最终的 GaitXFormer 配置
Validation	验证公开的 SynthGait 划分并查看 GPJATK 可用性说明
PD4T	运行 LOSO 分类与患者感知的临床分析

仓库包含组件

• GaitXFormer 模型
• 训练与验证流程
• PD4T 评估流程
• 保留的 GPJATK 评估代码

视频演示

• 演示仅需仓库与已发布的检查点，不需要 SynthGait-19K、GPJATK 或 PD4T。
• 流程：截取中间五秒 → 以 16 FPS 采样 → 检测并裁剪行走者 → 运行 32 帧 GaitXFormer 模型 → 输出六个反归一化步态估计值。
• 短于五秒的视频使用其完整时长。
• Mean Stooped Posture 和 Arm Swing 为以腿长归一化的无量纲比值，演示中不显示单位。
• 支持通过参数直接传入检查点或保存为 JSON 结果。
• 可通过 gradio/app.py 启动本地 Gradio 界面。

搜集汇总

数据集介绍

构建方式

步态参数估计领域长期受制于真实标注数据采集成本高昂与隐私伦理约束，SynthGait-19K的构建因而转向物理仿真与合成渲染路径。该数据集以人体运动学与动力学约束为底层驱动，通过物理引擎生成步态运动序列并渲染为RGB视频，同步导出六项步态参数作为监督标签。发布形态采用Hugging Face WebDataset分片，分片命名已固化训练与验证划分，缓存构建脚本据此直接从分片读取标注目标，并借助行人检测模型对视频中的行走者实施自动定位与裁剪，形成统一的32帧训练缓存。

使用方法

使用流程围绕环境配置、数据获取与缓存构建三个环节展开。研究者首先设置数据集与缓存的根目录环境变量，通过Hugging Face命令行工具下载WebDataset分片快照，继而调用缓存构建脚本，以并行工作进程完成行人检测、裁剪与32帧缓存生成。训练与验证管线依托该缓存运行，GaitXFormer的预训练检查点可独立支持视频演示与Gradio交互界面，输入单一行人全身可见的行走视频即可输出六项去归一化步态估计。

背景与挑战

背景概述

步态参数估计在临床运动功能评估、神经退行性疾病早期筛查及人机交互等领域具有重要价值，然而真实场景下的三维步态标注数据获取成本高昂，且受隐私伦理约束难以大规模共享。针对这一瓶颈，研究者于近年构建了SynthGait-19K数据集，该数据集以物理仿真引擎为依托，合成了约一万九千段带有六项步态目标标注的视频样本，并配套提出GaitXFormer模型及PD4T临床评估流程。该工作由相关研究团队完成并发布于公开平台，其核心在于以物理可信的合成视频替代真实采集，为步态分析的可复现研究提供了大规模、隐私友好的基准资源，对推动该领域数据驱动方法的发展具有积极意义。

当前挑战

步态参数估计所面临的领域难题在于，真实视频中人体外观、视角、遮挡与光照条件高度多变，且三维步态标注须依赖专业运动捕捉设备，导致数据规模与标注精度难以兼顾，模型泛化能力受限。就SynthGait-19K的构建而言，其挑战体现在：如何在仿真环境中保持人体运动学与动力学特征的物理合理性，使合成视频能够有效迁移至真实场景；如何从RGB视频中稳健地检测并裁剪出行人区域，以适应不同体型与背景下的步态提取；如何设计统一的缓存与划分机制，在保证训练效率的同时维持数据分布的均衡与评估的可靠性。

常用场景

经典使用场景

步态参数估计作为生物特征识别与临床运动分析的核心环节，长期依赖标记点动捕或可穿戴传感器获取高精度数据，而视频驱动的方法又受制于真实标注数据稀缺。SynthGait-19K以物理仿真引擎生成的大规模合成视频为基石，构建了涵盖六项步态目标（步速、步长、步频、支撑相占比、躯干前倾角、摆臂幅度）的19,000段行走序列，并配套提供GaitXFormer训练、验证及PD4T评估流水线。其经典用法在于以合成数据预训练视觉步态估计模型，再迁移至真实场景微调，从而在无需大量真实标注的前提下实现端到端的步态参数回归与临床步态分析。

解决学术问题

步态研究领域长期面临真实标注数据获取成本高昂、隐私伦理约束严苛以及标注维度单一等瓶颈，导致视频步态估计模型泛化能力不足。SynthGait-19K通过物理约束的合成数据生成策略，系统性地解决了训练数据规模与标注丰富度之间的张力，使模型能够在受控条件下学习步态运动学与外观变化的解耦表征。该数据集为步态参数估计提供了可复现的基准，推动了从实验室动捕向无标记视频分析的范式迁移，对远程医疗监测与神经退行性疾病早期筛查具有实质意义。

实际应用

在临床与健康监测场景中，SynthGait-19K训练的模型可部署于普通RGB摄像头，对帕金森病患者的步态僵硬、步幅缩短及摆臂减弱等运动症状进行量化评估，辅助医生追踪病情进展与康复疗效。在安防与身份识别领域，其衍生的步态特征可用于远距离、非配合条件下的生物特征识别。此外，该数据集支持居家养老环境中的跌倒风险预警与步态异常筛查，为行动不便人群提供无接触式的长期运动功能监测方案。

数据集最近研究

最新研究方向

步态参数估计领域正经历从真实场景采集向物理仿真数据驱动的范式迁移，SynthGait-19K凭借其物理引擎渲染的19,000段合成视频与六维步态目标标注，为破解真实数据隐私敏感、标注稀缺的困局提供了可扩展方案。当前研究聚焦于跨域泛化与临床转化两大前沿：一方面，GaitXFormer等模型利用该数据集预训练后微调至真实步态基准，探索合成到真实的域适应边界；另一方面，PD4T评估管线将步态估计嵌入帕金森病患者的纵向分类与患者感知分析，推动数字生物标志物在神经退行性疾病早期筛查中的落地。该数据集的发布恰逢全球老龄化加剧与远程医疗需求激增，其物理一致性约束与标准化拆分协议有望成为步态分析可复现研究的基准设施，对智能康养、身份识别及临床步态病理学产生深远影响。