TCM-AQA61-A (Acupuncture) and TCM-AQA61-T (Tuina)

该研究构建了TCM-AQA61-A（针灸）与TCM-AQA61-T（推拿）两个双视角视频数据集，由杜伦大学、首都医科大学等机构联合创建，旨在支持中医康复训练中的动作质量评估。每个数据集均包含61名受试者的同步第一人称与第三人称视频记录，数据规模共计122个样本，并附有专家对分类与连续技能指标的精细标注，涵盖了针刺深度、操作频率等关键评估维度。数据采集过程通过双摄像头同步录制，聚焦于手部精细动作、手物交互及典型自遮挡场景，以真实反映临床操作环境。这些数据集专门用于开发跨视角多模态评估框架，以解决中医手法训练中因复杂手部遮挡和情境依赖导致的评估难题，推动康复技能训练的标准化与智能化发展。This study developed two dual-perspective video datasets, TCM-AQA61-A (acupuncture) and TCM-AQA61-T (tuina), jointly created by Durham University, Capital Medical University and other institutions. These datasets are designed to support action quality assessment in traditional Chinese medicine (TCM) rehabilitation training. Each dataset contains synchronized first-person and third-person video recordings of 61 subjects, with a total of 122 samples across the two datasets. They are accompanied by fine-grained expert annotations for both categorical and continuous skill indicators, covering key assessment dimensions such as acupuncture depth and manipulation frequency. The data collection was conducted via synchronized dual-camera recording, focusing on fine hand movements, hand-object interactions and typical self-occlusion scenarios to authentically reflect real clinical operating environments. These datasets are specifically developed to facilitate the construction of cross-perspective multimodal assessment frameworks, aiming to address the assessment challenges in TCM manipulation training caused by complex hand occlusions and context dependence, and promote the standardization and intelligent development of rehabilitation skill training.

原始信息汇总

数据集概述：TCM-AQA61

该数据集是论文 "Towards Cross-View Multimodality Action Quality Assessment for Traditional Chinese Medicine Physical Therapy" 中提出的，用于评估中医理疗动作质量的数据集。

核心内容

• 数据集名称：TCM-AQA61
• 数据规模：包含61名受试者的第一人称和第三人称视角视频。
• 涉及动作：针灸（Acupuncture）和推拿（Chinese Massage/Tui Na）。
• 核心目的：通过跨视角多模态增强框架（CME-AQA）克服单视角骨架数据在中医理疗（如针灸、推拿）中的自遮挡和复杂手物交互问题，提升动作质量评估精度。

数据样例与标签

数据集提供了两类动作的示例视频和标签：

1. 针灸（Acupuncture）

• 视频样本：展示了第三人称视角和第一人称视角的针灸练习场景。
• 评估标签：包括针的持握（NeedleHolding）、进针角度（Angle）、进针深度（Depth）、快速进针（Fast）等10个维度，标签值用0/1表示。例如：
  • Video_Side: 1_0_0, Video_Head: 2_0_0, NeedleHolding: 1, Angle: 1, Depth: 1, Fast: 1, InsertionFrequency: 0, InsertionAmplitude: 1, TwistingFrequency: 1, TwistingAmplitude: 1, FastWithdrawal: 1

2. 推拿（Tuina）

• 视频样本：展示了第三人称视角和第一人称视角的推拿练习场景。
• 评估标签：包括动作类型（Action）、手掌空虚（PalmEmpty）、指实（FingerSolid）等7个维度。例如：
  • Video_Side: 1_1_0, Video_Head: 2_1_0, Action: 1, PalmEmpty: 0, FingerSolid: 1, Slow: 0, Depth: 0, Frequency: 1

性能表现

所提出的CME-AQA框架在关键评估任务（如 Needle Depth（针刺深度）和 Quick Needle Movements（快速进针动作））上实现了 超过30%的准确率和F1分数提升。

当前状态

• 已发布内容：推理和训练代码以及示例视频片段（包含GIF和MP4文件）。
• 待发布内容：完整的TCM-AQA61数据集将在论文被接收后公开发布。

搜集汇总

数据集介绍

构建方式

该数据集针对中医康复训练中针刺与推拿手法的精细评估需求，构建了包含61名受试者的双视角同步视频资源。每个受试者同时佩戴额头摄像机采集第一人称视角，并架设固定摄像机记录第三人称视角，从而捕获手部运动、手-针或手-体交互的互补空间信息。所有视频由两位资深中医医师依据临床实践指南进行独立标注，涵盖分类指标（如进针深度、捻转幅度）与连续指标（如进针时间、操作频率），并经协商达成一致，确保了标注的可靠性与临床相关性。

特点

该数据集具有鲜明的双视角与多模态融合特性。第一人称视角强调手部平面运动与细微操控细节，第三人称视角则突出垂直位移与深度演进，两者互为补充，有效应对了手部密集自遮挡与手-物交互复杂等挑战。同时，数据集融合了视觉RGB影像与手部姿态骨骼信息，为建模精细操作中的空间几何与环境上下文提供了丰富线索。此外，涵盖分类与回归两种评估任务，且各技能指标的标注分布保持了适度的变异性，便于进行多维度能力分析与公平的模型比较。

使用方法

数据集鼓励研究者利用同步的第一人称与第三人称视频进行跨视角表示学习，训练阶段可借助多视角对齐策略增强模型对遮挡的鲁棒性，而在实际部署时仅需单视角输入即可完成质量评估。视觉特征可借助预训练网络（如ResNet）提取，手部姿态则推荐使用MediaPipe Hands等无标记估计算法获取。模型设计可将视觉与姿态特征通过交叉注意力融合，并引入多尺度特征对齐损失来促进视角不变表示的学习。该数据集适合用于细粒度动作质量评估、跨视角学习以及中医康复技能自动化评价等相关研究方向。

背景与挑战

背景概述

在中医康复训练领域，针刺与推拿等疗法对手部精细动作与手-物交互的评估提出严苛要求，然而现有基于单视角姿态数据的动作质量评估方法难以应对密集的手部自遮挡与复杂交互场景。为突破这一瓶颈，由杜伦大学张夏添博士、宁波市中医院姚浩医师及首都医科大学附属北京安定医院郑思思团队联合构建的TCM-AQA61-A（针刺）与TCM-AQA61-T（推拿）双视角数据集于2025年正式发布。该数据集首次为中医康复训练提供同步的第一人称与第三人称视频记录，涵盖61名受试者的专家标注信息，旨在建立标准化评估基准，推动计算机视觉在传统医学技能评价中的实际应用。数据集不仅填补了该领域公开资源的空白，也为后续跨视角多模态学习研究奠定了关键基础，显著提升了中医康复训练的客观性与可及性。

当前挑战

数据集构建与研究所面临的挑战集中于三个方面。首先，领域问题层面，现存动作质量评估框架多依赖单视角或纯骨架数据，无法捕捉针刺深度、捻转频率等需结合手-针交互与环境上下文的关键指标，导致评估维度缺失且精度不足。其次，构建过程中，需同步采集第一与第三人称视频，并确保在密集手部自遮挡下获取稳定的姿态信息，同时依靠两位资深中医治疗师进行独立标注与共识校准，平均Cohen's κ为0.62，尽管达到中等一致性，但仍存在主观偏差。此外，数据集呈现中等程度类别不平衡，如针刺捻转频率正样本仅10例，推拿慢动作近乎饱和，这要求模型兼具对稀缺类别的识别能力与对偏斜分布的鲁棒性，增加了算法设计与评估的复杂性。

常用场景

经典使用场景

在中医康复训练的动作质量评估领域中，TCM-AQA61-A（针刺）与TCM-AQA61-T（推拿）数据集最经典的用途在于为精细手部操作的动作质量分析提供标准化基准。由于针刺和推拿涉及密集的手部自遮挡及复杂的手-物交互，传统基于单视角骨架数据的评估方法难以胜任。这两个数据集通过同步采集第一人称与第三人称双视角视频，并辅以专家标注，为研究者提供了训练与评估跨视角、多模态动作质量评估模型的理想平台，尤其适用于探究视觉-姿态融合策略在细粒度手部动作评估中的有效性。

解决学术问题

该数据集有效解决了中医康复训练领域长期缺乏公开标准化基准的学术研究困境。在此之前，现有的动作质量评估数据集多聚焦于全身性康复运动，未能覆盖针刺与推拿中高度精细的手部操作与自遮挡问题。通过提供包含61名受试者、双视角同步录制及专家标注的高质量数据，TCM-AQA61系列数据集使得研究者能够系统性地探索视觉与骨架信息融合、跨视角表征对齐等关键技术，从而推动了中医康复训练自动化评估这一交叉学科方向的发展，并促进了相关领域公平、可复现的学术竞争。

衍生相关工作

基于该数据集，研究者衍生出了一系列具有启发性的经典工作。其中最具代表性的当属CME-AQA框架，该工作提出了基于注意力机制的视觉-姿态融合模块（AVPF）与多尺度视角对齐训练策略（MVA），在针刺深度与快速进针等关键指标上实现了超过10%的加权F1分数提升。此外，该数据集还被用于评估其他前沿方法如FineParser、Uni-FineParser及PHI的迁移性能，并验证了其在心肺复苏等结构化模拟临床技能评估中的泛化潜力，推动了跨领域动作质量分析技术的融合发展。