SKIM

SKIM是一个主题特定的软组织变形数据集，用于从多视角RGB数据中恢复肌肉变形，支持SOMA方法进行解剖学基础动画生成。SKIM is a topic-specific soft tissue deformation dataset dedicated to recovering muscle deformations from multi-view RGB data, and it supports the SOMA method for anatomy-based animation generation.

原始信息汇总

SOMA 数据集概述

SOMA (From Surface Observations to Muscle Anatomy) 是一个从可见皮肤表面观测推断肌肉变形的个体化模型，发表于 ECCV 2026。它旨在解决传统体感模拟（如 FEM）计算成本高且不具扩展性，以及现有生物力学工具无法建模外部形状变化的问题。SOMA 通过 RGB 相机获取的表面信号，推断出时空肌肉行为，并提供名为 SKIM 的个体化软组织变形数据集。

核心方法

SOMA 基于姿势依赖的校正形状，并将其从单一皮肤表面扩展到体积化、多层解剖结构。其核心是两个级联的非线性 U-Net：

• 肌肉位移场 (D_musc)：驱动肌肉层膨胀；
• 残差偏移 (D_res)：让皮肤在组织上滑动和压缩，而非刚性跟随肌肉。

网络使用 SKIM 数据集中的标记残差进行监督，并采用一组生物力学启发先验（如拉普拉斯平滑、双调和弯曲阻力、边拉伸和切向滑动约束、棱镜体积保持项）进行正则化。学习得到的边界变形通过预计算的重心绑定传播到高分辨率个体肌肉网格，实现直接由姿势驱动的解剖学时空肌肉动画。

SKIM 数据集 (Skin-to-Internal Muscle)

SKIM 数据集是 SOMA 的核心，用于解决从 RGB 视频推断肌肉变形的病态问题。其关键特征如下：

• 数据采集：5名受试者穿着嵌入 ArUco 标记的定制紧身衣，在 120 台相机的无标记动捕工作室中录制；同时使用 140 台相机扫描仪重建皮肤、肌肉和骨骼的高分辨率静态模板，以及个体肌肉网格。
• 数据处理：检测到的标记被展开为标准点云，绑定到肌肉，跟踪运动，并转换为姿势归一化的残差变形场，以捕捉受试者特定的软组织动力学。
• 数据规模：总计提供 45 分钟 的多视角录制，包含地面真实骨骼姿势、标记轨迹、可见性掩码以及每位受试者的完整多层解剖结构。

数据集内容（每位受试者）：

• canonical.npz：标准标记、绑定标记、标记-LBS 权重、关节名称
• shot_XXX.npz：每镜头的残差（residual_m / residual_scaled）、可见性掩码、姿势及每镜头刚性对齐
• preprocessed_vFinal_clean/<shot>.npz：打包好的、可直接训练使用的帧（姿势 (F, J*6)、残差 (F, M, 3)、掩码 (F, M)）
• layers/{tpose,apose}/：标准皮肤/肌肉/骨骼网格

该数据集是自包含的，无需额外预处理即可直接用于训练。

代码仓库结构

仓库包含完整管线的源代码，按顺序分为多个阶段：

阶段	目录	功能
1	01-Suit-Processing/	标记的2D检测、三角化和3D跟踪；服装制造工具包
2	02-Canonical-Model/	构建标准（休息姿势）标记模型；UV 标记检测与标注
3	03-Registration/	计算标记相对于标准模型的线性混合蒙皮 (LBS) 权重
4	04-Blender/	Blender 工具：标记、残差、拉普拉斯/密集变形、重建
5	05-Training/	在 SKIM 数据上训练变形网络，进行验证、评估和可视化
6	06-Evaluation/	生物力学评估（肌肉/皮肤交叉、体积稳定性），SMPL 对齐

此外，Residuals-Python/ 目录包含独立的残差处理管线，用于生成 SKIM 数据集。

快速开始与安装

• 环境要求：Python 3.9+，PyTorch（需匹配 CUDA 工具包），Blender（用于 04-Blender/ 阶段）。
• 安装步骤：克隆仓库 → 创建虚拟环境 → 安装 requirements.txt 依赖 → 安装 PyTorch。
• 数据准备：从指定链接下载 SKIM 数据集（受试者 S1-S5），然后在训练脚本中通过 PROCESSED_ROOT 指向数据集路径即可。

训练与评估

• 训练：在 05-Training/ 目录下运行 01_end_to_end_training.py，可通过 ARCH 变量选择架构（linear、mlp、unet），并通过 LAMBDAS 字典调整损失权重。
• 损失项：包括数据项、拉普拉斯平滑、双调和能量、弹簧能量、切向能量和体积保持。
• 评估与可视化：使用 02_validate_training.py、03_evaluate_metrics.py 和 06-Evaluation/ 中的脚本评估肌肉/皮肤交叉比例、体积变异系数和 SMPL 对齐。

引用

bibtex @inproceedings{alvaradosoma2026, author = {Alvarado, Eduardo and Kim, Emily and Nolte, Gerrit and Runte, Friedemann and Botsch, Mario and Habermann, Marc and Theobalt, Christian}, title = {SOMA: From Surface Observations to Muscle Anatomy}, booktitle = {European Conference on Computer Vision (ECCV)}, year = {2026}, }

许可证

本项目采用 MIT 许可证。

搜集汇总

数据集介绍

构建方式

在虚拟人类与生物力学交叉研究领域，人体表层形态与内部肌肉结构之间的关联长期缺乏可量化的数据支撑。SKIM数据集通过精心设计的多模态采集流程填补了这一空白，其构建过程融合了高精度标记追踪与层析成像技术：五位受试者身着嵌入ArUco标记的定制紧身衣，在120台摄像机的无标记运动捕捉系统中执行多样化动作；同时，一套140台摄像机的高分辨率扫描仪重建出每位受试者静止状态下的皮肤、肌肉与骨骼三维模板，并单独提取每块肌肉的网格几何。采集到的标记点被映射至规范点云空间，通过肌纤维绑定与运动轨迹追踪，最终转化为姿态归一化的残差变形场，完整保留了软组织在动态过程中的个性化形变模式。

特点

SKIM数据集的核心价值在于其跨尺度的解剖学一致性，它首次将宏观皮肤运动与微观肌肉变形以像素级精度对齐。数据集包含45分钟的多视角视频记录，每个时间帧均附带真实的骨骼姿态、标记三维轨迹、可见性掩膜以及完整的多层解剖结构——包括规范姿态下的皮肤、肌肉与骨骼网格。尤为特别的是，其残差变形场直接量化了软组织在体态变化中的非刚性响应，为从稀疏表面信号推断全身肌肉动力学提供了监督信号。这种从观测到内隐的映射关系，使得该数据集成为连接计算机视觉与生物力学模拟的桥梁，其指标化时间序列与逐帧可见性信息，为验证形变网络的物理合理性奠定了坚实基础。

使用方法

使用SKIM数据集可快速启动从表面观测到肌肉动画的端到端训练流程。用户需从项目官网下载每位受试者的压缩包（包含规范模型、逐镜头残差及预处理训练张量），无需额外预处理步骤——数据加载器自动识别分镜头.npz文件，并按9:1比例划分训练与验证集。训练脚本通过配置ARCH变量选择网络架构（线性/MLP/U-Net），并通过LAMBDAS字典调节数据损失、拉普拉斯平滑、双调和弯曲能、弹簧能、切向滑动约束及体积保持等损失项的权重。评估阶段提供肌肉皮肤穿透率、体积变异系数及SMPL对齐度等生物力学指标，配套的Blender工具链与Python残差管道支持标记可视化与形变场重建，使研究者能直接基于物理先验探索面到体的形变推理。

背景与挑战

背景概述

SKIM数据集由马克斯·普朗克信息学研究所与多特蒙德工业大学的研究人员于2026年联合创建，旨在解决从皮肤表面观测推断肌肉内部变形的逆问题。该数据集的核心研究问题在于，现有参数化人体模型仅能捕捉皮肤三维表面，无法揭示驱动运动的复杂生物力学结构，而传统有限元模拟虽精确却计算高昂，生物力学工具虽能模拟肌肉力却无法建模外部形状变化。SKIM通过为五位受试者配备定制的紧身衣并嵌入ArUco标记，在120台摄像机的无标记运动捕捉工作室中采集数据，同时利用140台摄像机扫描仪重建高分辨率静态模板，提供了45分钟的多视角录制数据，包含地面实况骨骼姿态、标记轨迹、可见性掩膜及多层解剖结构。该数据集为计算机视觉与生物力学的交叉领域开辟了新方向，推动了可扩展、低成本的人体运动理解与虚拟人动画生成。

当前挑战

SKIM数据集面临的挑战涵盖多个层面：在领域问题层面，从RGB视频中推断内部肌肉变形本质上是不适定的，因为仅能观测到皮肤表面，而肌肉与皮肤间的非线性耦合、软组织的近不可压缩性以及个体间解剖差异增加了推断难度；在构建过程中，需要设计可穿戴设备并确保标记在快速运动中的稳定检测与三维跟踪，同时将检测到的标记展开至规范点云并绑定至底层肌肉，再转换为姿态归一化的残差变形场以捕捉个体特异性软组织动力学。此外，多摄像机系统的标定、高分辨率静态模板与动态数据的对齐、以及大规模数据的高效存储与加载，均对工程实现提出了严峻挑战。

常用场景

经典使用场景

在计算机视觉与图形学交汇的领域，SKIM数据集扮演着连接可见皮肤表面与不可见内部肌肉解剖结构的桥梁角色。其最经典的使用场景在于为基于多视角RGB视频的人体肌肉形变恢复提供训练与评测基准。研究者利用SKIM提供的高精度、时间一致的皮肤标记轨迹与个体化的多层解剖模板，训练深度学习模型从表面信号中推断肌肉层与皮肤层的位移场。通过将稀疏的皮肤标记转换为规范姿态下的残差形变场，SKIM使得从单一输入——人体姿态——直接预测具有生物学合理性的肌肉膨出与皮肤滑动成为可能，从而颠覆了传统依赖昂贵且缓慢有限元模拟的研究范式。

解决学术问题

SKIM数据集核心解决了人体建模领域一个长期存在的逆问题：如何从仅可见的皮肤表面观测中恢复内部肌肉的时空形变。此前，参数化人体模型仅捕获皮肤表面，无法揭示驱动运动的生物力学结构；而传统软组织模拟虽准确却计算昂贵，生物力学工具又难以关联外部形状变化。SKIM通过提供配对的多模态数据——同时包含皮肤标记残差与高分辨率的肌肉、骨骼网格——为数据驱动的解剖建模奠定了稀缺的监督信号。该数据集的问世填补了表面观测与深层解剖之间的鸿沟，首次实现了从多视角RGB数据恢复肌肉形变的可扩展方案，对推动计算机图形学、生物力学与人体运动理解的交叉研究具有里程碑式的意义。

衍生相关工作

SKIM数据集已催生出一系列具有影响力的衍生研究工作，其中最核心的工作即为SOMA（Surface Observations to Muscle Anatomy）方法。SOMA在SKIM的基础上，创新性地将姿态依赖的校正混合形状从单一皮肤表面扩展至体积化的多层解剖结构，并通过级联非线性U-Net预测肌肉位移场与皮肤残余偏移。此外，该数据集启发了生物力学领域对肌肉-皮肤耦合模型的数据驱动新范式，为后续研究中的体积保持约束、Laplacian平滑等先验项的设计提供了验证平台。研究者们还依托SKIM开发了评估肌肉-皮肤穿透率与体积极小化变化的标准化指标，促进了基于学习的解剖建模在科学严谨性与可复现性上的显著进步。