willow-cuhk/CUHK-S

CUHK-S是一个专注于隐私保护的多模态人类动作识别数据集，作为CUHK-X数据集的子集，它移除了所有RGB视频以防止面部识别，并降低了所有视觉模态的分辨率。数据集包含6种模态（深度、红外、热成像、IMU、雷达和骨架数据），覆盖40个动作类别，来自18名参与者。数据集的规模约为146GB，每个参与者的数据单独打包。数据集结构包括人类动作识别（HAR）、人类动作理解（HAU）、人类动作推理（HARn）以及原始数据（source_data）四个主要部分。此外，数据集还提供了详细的IMU传感器布局信息和多种基准任务，如动作识别、动作选择、动作描述生成等。

CUHK-S is a privacy-preserving subset of the CUHK-X dataset, a large-scale multimodal benchmark for Human Action Recognition (HAR), Understanding (HAU), and Reasoning (HARn). It removes all RGB video to prevent facial identification and downscales all visual modalities to 320 × 240. The dataset includes 6 modalities (Depth, IR, Thermal, IMU, Radar, Skeleton) covering 40 action categories from 18 participants. The total size is approximately 146GB, with each participants data packaged separately. The dataset structure comprises four main parts: Human Action Recognition (HAR), Human Action Understanding (HAU), Human Action Reasoning (HARn), and source_data (raw data). It also provides detailed IMU sensor layout information and various benchmark tasks such as action recognition, action selection, and action captioning.

原始信息汇总

数据集概述：CUHK-S

CUHK-S 是 CUHK-X 数据集的一个隐私保护子集，专注于多模态人体动作识别（HAR），由 willow-cuhk 提供。

核心特性

• 隐私优先：移除了所有 RGB 视频以防止面部识别；所有视觉模态均下采样至 320×240 分辨率。
• 规模：包含 18 名参与者，涵盖 40 个动作类别，总大小约 146 GB。
• 多模态：提供 6 种数据模态。

数据集摘要

属性	值
参与者数量	18（从 CUHK-X 的 30 人中选出）
动作类别	40
模态数量	6
视觉分辨率	320 × 240
总大小	~146 GB（18 个 zip 文件，每人一个）

模态信息

模态	格式	描述
Depth（深度）	PNG（彩色）	来自 Vzense NYX 650 的彩色深度图
IR（红外）	PNG	红外图像，对光照变化鲁棒
Thermal（热成像）	PNG	来自热成像相机的热信号
IMU（惯性测量单元）	CSV	5 个传感器的加速度/角速度/磁力计数据
Radar（雷达）	二进制	毫米波雷达点云（TI Radar）
Skeleton（骨架）	JSON/CSV	基于姿态估计的 3D 关节点位置

数据集结构

每个参与者的数据打包为一个 zip 文件：CUHK-S_userN-userN.zip，包含以下目录：

• HAR/：人体动作识别（按动作组织），含 data 和 GT（真值标注）。
• HARn/：人体动作推理（按模态组织），含 data 和 GT。
• HAU/：人体动作理解（按模态组织），含 data 和 GT。
• source_data/：原始未处理的传感器数据，含 data 和 GT。

IMU 传感器布局

5 个 IMU 传感器分别置于身体以下部位，每个传感器包含加速度计（X/Y/Z）、陀螺仪（X/Y/Z）、磁力计（X/Y/Z）通道：

传感器	位置
WTLA	左臂
WTC	胸部
WTRA	右臂
WTRL	右腿
WTLL	左腿

基准任务与评估指标

任务	类型	评估指标
动作识别	分类	Accuracy, F1, Precision, Recall
动作选择	多项选择	Accuracy
动作描述	生成	BLEU, METEOR
情绪分析	分类	Accuracy
序列重排序	排序	Accuracy
下一步动作推理	推理	Accuracy

任务与标签

• 任务：Video Classification, Text Generation
• 语言：英语
• 标签：human-activity-recognition, multimodal, sensor-data, privacy-preserving, IMU, depth 等

许可与引用

• 许可：CC-BY-4.0（数据集非商业研究需签署数据使用协议，不可再分发）
• 相关论文：arXiv: 2512.07136（MobiSys 2026 接收）

搜集汇总

数据集介绍

构建方式

CUHK-S数据集是CUHK-X大规模多模态人体动作识别基准的子集，旨在保护参与者隐私。构建过程中，首先移除了所有RGB视频数据以防止面部识别，随后将所有视觉模态的分辨率统一降低至320×240。从原始30名参与者中精选出18名，确保覆盖全部40种动作类别。数据以每名参与者一个ZIP文件打包，总大小约146GB，包含深度图、红外图像、热成像、IMU传感器（5个身体位置）、毫米波雷达点云和3D骨架关节位置等六种模态。数据集按HAR（单动作分类）、HAU（序列动作理解）、HARn（序列动作推理）和原始源数据四个子目录组织，每个子目录下分数据与标注文件夹。

特点

CUHK-S的核心特点在于隐私保护与多模态丰富性的平衡。通过剔除RGB视频并降低视觉分辨率，有效避免了面部及环境细节的泄露，同时保留深度、红外、热成像等对光照和隐私不敏感的模态。IMU传感器覆盖四肢与躯干，提供九轴数据；雷达以二进制点云形式存在；骨架以JSON/CSV格式记录3D关节坐标。数据集支持动作识别、多选选择、动作描述生成、情感分析、时序重排和下一步动作推理等六类基准任务，涵盖分类、排序和生成等多种评估指标。所有参与者仅以数字编号标识，无任何个人身份信息关联。

使用方法

使用CUHK-S时，研究人员可下载每名参与者对应的ZIP文件，解压后按HAR、HAU、HARn或source_data子目录访问对应模态数据。HAR目录下数据按动作类别组织，适合传统的分类模型训练；HAU和HARn按模态组织，用于序列理解和推理任务。深度、红外和热成像均为PNG图像，可直接输入视觉模型；IMU为CSV格式，可处理为时间序列；雷达为二进制文件，需解析为点云；骨架为JSON/CSV，便于提取关节特征。数据集附带任务特定的标注信息，并提供了统一的分割方案。数据仅限非商业研究使用，需签署数据使用协议，派生标注以CC BY 4.0许可发布。

背景与挑战

背景概述

CUHK-S数据集由香港中文大学AIoT实验室于2026年发布，其核心研究旨在解决人体动作识别（HAR）、理解（HAU）与推理（HARn）中的隐私与多模态融合问题。作为大规模多模态基准数据集CUHK-X的隐私保护子集，它聚焦于在移除RGB视频以杜绝面部识别的前提下，整合深度图、红外热像、毫米波雷达点云、惯性测量单元（IMU）及骨骼关节数据等六种非视觉传感器模态，涵盖40类动作与18位受试者。该数据集已被MobiSys 2026接收，为边端设备上的隐私敏感型动作分析研究提供了关键基准，推动多模态感知从实验室走向真实场景。

当前挑战

CUHK-S面临的挑战集中在双重层面。首先，在领域问题层面，传统动作识别依赖RGB视频易泄露身份信息，如何在完全去除视觉外观线索后仍保持高精度识别是一大难点；此外，不同模态（如IMU与毫米波雷达）在时间同步与特征异构性上存在对齐困难。其次，在构建过程中，视觉模态需统一降采样至320×240分辨率以平衡隐私与信息量，同时从30名参与者中精选18人确保动作类别全覆盖，这给数据分布均衡性与泛化能力带来考验；传感器布局需兼顾人体自然运动与信号稳定性，增加了采集复杂度。

常用场景

经典使用场景

CUHK-S数据集在人类动作识别领域中扮演着至关重要的角色，其经典使用场景聚焦于多模态传感器数据驱动的动作分类与理解。该数据集巧妙地将隐私保护理念融入设计之中，通过移除RGB视频并保留深度、红外、热成像、IMU、雷达及骨架等六种非侵扰性模态，为研究者提供了一个安全且丰富的实验平台。常见的实验范式涵盖单体动作识别、顺序动作理解及多元动作推理，研究人员可基于这些模态的协同作用，探究在不同光照条件或遮挡环境下模型鲁棒性的提升策略。

实际应用

在实际应用层面，CUHK-S为智能穿戴设备与物联网系统的部署提供了坚实的数据基石。其高度去隐私化的特性使得该数据集能直接应用于医疗健康领域，例如远程患者的活动监测、术后康复动作评估以及老年跌倒检测等场景。在智能家居和工业自动化中，基于CUHK-S训练的模型可借助非视觉传感器实现人员行为识别与异常预警，避免了对监控摄像头的依赖，从而大幅降低用户的隐私顾虑。此外，其在体感游戏与虚拟现实交互设计中也展现出广阔的应用潜力。

衍生相关工作

CUHK-S的发布催生了一系列衍生研究，其在多模态学习与隐私保护算法方面的启发性尤受瞩目。例如，研究者基于该数据集开发了面向异构IMU布局的时空-动作协同网络，显著提升了动作识别的精度。另有工作探索了轻量化雷达点云特征与骨架数据的融合策略，实现了实时且具隐私意识的动作理解。此外，下一动作推理任务所带来的时序挑战亦催生了若干基于因果推断与记忆增强网络的创新工作，这些研究共同丰富了人类动作理解领域的方法论体系。