PrimateFace

PrimateFace包含用于跨物种灵长类面部行为分析的数据、模型和教程。该代码库使您能够使用现成的PrimateFace模型来跟踪面部运动，或者可以快速微调PrimateFace模型。

PrimateFace encompasses data, models and tutorials for cross-species primate facial behavior analysis. This codebase enables users to either use the off-the-shelf PrimateFace model for facial movement tracking, or quickly fine-tune the PrimateFace model.

原始信息汇总

PrimateFace 数据集概述

数据集简介

PrimateFace 是一个用于灵长类动物面部自动分析的机器学习资源，包含数据、模型和教程，旨在分析跨灵长类物种的面部行为（Parodi 等人，2025）。

核心内容

• 数据资源：提供灵长类动物面部分析的数据集。
• 预训练模型：支持开箱即用的面部运动跟踪模型，并支持快速微调。
• 教程与应用：包含多个实际应用案例的教程和 Google Colab 笔记本。

硬件要求

大多数模块需要 GPU 支持。若无 GPU，可通过 Google Colab 使用。

快速开始

1. 测试 Hugging Face 演示：https://huggingface.co/datasets/fparodi/PrimateFace
2. 运行 Google Colab 笔记本教程：https://docs.primateface.studio/tutorials/
3. 克隆代码库并安装依赖，探索不同模块。

代码结构

• dataset：PrimateFace 数据
• demos：测试模型的自定义数据
• dinov2：运行和可视化 DINOv2 特征
• docs：文档
• evals：跨框架和数据集评估模型
• gui：伪标注 GUI
• landmark-converter：关键点转换器训练和应用

安装步骤

1. 创建 conda 环境：conda env create -f environment.yml
2. 安装 PyTorch（根据 CUDA 版本选择）
3. 安装可选模块（如 DINOv2、GUI 等）
4. 安装检测和姿态估计框架（如 MMDetection、DeepLabCut、SLEAP）

教程列表

• Lemur 面部可见性时间戳：https://colab.research.google.com/github/KordingLab/PrimateFace/blob/main/demos/notebooks/App1_Lemur_time_stamping.ipynb
• 快速猕猴面部识别：https://colab.research.google.com/github/KordingLab/PrimateFace/blob/main/demos/notebooks/App2_Macaque_Face_Recognition.ipynb
• 人类婴儿社交视线跟踪：https://colab.research.google.com/github/KordingLab/PrimateFace/blob/main/demos/notebooks/App4_Gaze_following.ipynb
• Howler 声音-运动耦合（即将推出）
• 数据驱动的面部动作发现（即将推出）
• 跨主体面部动作神经解码（即将推出）

引用信息

如使用 PrimateFace，请引用：

Parodi, Felipe, et al. "PrimateFace: A Machine Learning Resource for Automated Face Analysis in Human and Non-human Primates." bioRxiv (2025): 2025-08.

联系方式

• PrimateFace 邮箱：[e-mail]
• Felipe Parodi 邮箱：[e-mail]

贡献者

包括来自宾夕法尼亚大学、诺丁汉特伦特大学等机构的研究人员。

许可证

MIT 许可证。

致谢

感谢 InsightFace、DeepLabCut、SLEAP、MMDetection、DINOv2 等框架的支持。

搜集汇总

数据集介绍

构建方式

在灵长类动物行为学研究领域，PrimateFace数据集通过整合多源数据构建而成，涵盖了人类与非人类灵长类动物的面部图像与视频资料。数据采集过程结合了野外观察与实验室记录，确保了样本的多样性与生态有效性。采用先进的计算机视觉技术进行面部关键点标注与行为编码，并通过伪标注图形界面提升数据标注效率，最终形成高质量、多物种的面部分析资源。

特点

PrimateFace数据集的核心特点在于其跨物种兼容性，支持人类、猕猴、狐猴等多种灵长类动物的面部分析。数据集包含丰富的面部行为动态序列，并提供了预训练模型与关键点转换工具，能够实现面部运动追踪、个体识别与社会性凝视分析等多维度任务。其模块化设计集成了DINOv2特征提取、深度学习检测框架，为行为生态学与计算神经科学提供了标准化研究基础。

使用方法

研究者可通过Hugging Face平台快速体验PrimateFace的演示功能，或通过Google Colab笔记本教程探索具体应用场景。本地部署需配置Conda环境并安装PyTorch框架，根据CUDA版本选择相应依赖模块。数据集支持多种计算机视觉框架（如MMDetection、SLEAP）的集成，用户可调用预训练模型进行面部关键点检测、行为分类，或通过微调适配特定物种或实验条件。

背景与挑战

背景概述

灵长类面部行为分析作为计算行为学的重要分支，近年来因跨物种比较研究的兴起而备受关注。PrimateFace数据集由宾夕法尼亚大学Kording实验室与Platt实验室联合开发，于2025年通过bioRxiv预印本首次发布。该数据集聚焦于解决人类与非人灵长类动物面部动态分析的标准化问题，通过整合多物种面部关键点标注、行为编码及神经行为关联数据，为跨物种面部行为计算模型提供了首个综合性基准平台。其核心价值在于突破传统单一物种研究的局限性，通过机器学习方法建立跨物种面部运动单元的映射关系，为演化神经科学和比较心理学提供量化研究基础。

当前挑战

在领域问题层面，PrimateFace需应对非人灵长类面部形态多样性带来的特征提取难题，包括物种间面部肌肉结构差异、毛发遮挡以及野外环境下的光照变化等问题。构建过程中面临多中心数据标准化挑战，需协调不同采集协议下的视频数据，并建立跨物种的面部关键点统一标注体系。此外，伦理约束使得部分珍稀物种样本获取受限，需通过数据增强和迁移学习弥补样本不足。技术实现上还需解决高动态面部运动的时序建模问题，以及真实场景下部分遮挡导致的标注一致性难题。

常用场景

经典使用场景

在灵长类动物行为学研究领域，PrimateFace数据集被广泛应用于跨物种面部行为分析的机器学习任务。该数据集支持研究人员对狐猴、猕猴和人类等不同灵长类物种的面部运动进行精确跟踪与识别，通过预训练模型和可微调架构，实现了从面部可见性时间戳标记到个体身份识别的多维度分析，为比较心理学和进化生物学研究提供了标准化数据基础。

实际应用

该数据集在野生动物保护管理和临床医学监测中展现出重要价值。研究人员利用其面部识别能力对濒危灵长类个体进行非侵入式身份认证，支持种群动态监测；在发育障碍研究中，通过婴儿社会性凝视模式分析辅助早期自闭症筛查。此外，数据集支撑的声动耦合分析模型为灵长类通讯行为研究提供了新的量化途径。

衍生相关工作

基于PrimateFace衍生的经典工作包括跨物种面部动作编码系统标准化、基于DINOv2的特征提取框架优化，以及结合MMPose和DeepLabCut的混合标注流水线。这些工作不仅扩展了原始数据集的适用边界，还催生了新型图神经网络关键点转换器，为多模态行为分析建立了可扩展的技术范式。