OpenHumnoidActuatedFaceData

开放人形激活面部数据集是为了服务于面部激活控制、机器人技术、强化学习以及人机交互领域的研究人员而设计的。该数据集来源于一个旨在重现人类面部表情的强化学习训练循环中收集的数据。数据集使用了一个经过修改的i2Head InMoov人形头部平台，配备了硅胶皮肤和16个用于驱动面部特征和眼球的驱动器。每个样本包含了原始的RGB图像以及产生该图像的确切驱动器角度。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Open Humanoid Actuated Face Dataset
• 许可证: MIT License
• 任务类别: 机器人学、强化学习
• 标签: 机器人学、人形机器人、强化学习
• 数据集大小分类: 100K<n<1M

数据集结构

配置

• full
  • 特征:
    • image: 图像类型
    • actuated_angle: 结构体，包含16个int32类型的键值对（"0"到"15"）
  • 分割:
    • train: 135,236个样本，约153GB
  • 下载大小: 约153GB
  • 数据集大小: 约153GB
• small
  • 特征:
    • image: 图像类型
    • actuated_angle: 结构体，包含16个int32类型的键值对（"0"到"15"）
  • 分割:
    • train: 20,000个样本，约22GB
  • 下载大小: 约22GB
  • 数据集大小: 约22GB

字段说明

字段	类型	描述
image	Image	人形机器人面部的RGB图像（分辨率1280x720）
actuated_angle	struct	16个整数键值对（"0"到"15"）

执行器索引参考

索引	执行器	索引	执行器
00	左脸颊	08	右上眼睑
01	右脸颊	09	右下眼睑
02	左眼球横向移动	10	右前额
03	左眼球上下移动	11	左前额
04	左上眼睑	12	上鼻部
05	左下眼睑	13	右眉毛
06	右眼球上下移动	14	下巴
07	右眼球横向移动	15	左眉毛

数据集统计

分割	样本数	大小
Train (full)	135,236	≈153GB
Train (small)	20,000	≈22GB

使用示例

python from datasets import load_dataset, Image

加载小型子集

ds = load_dataset("infosys/OpenHumnoidActuatedFaceData", name="small", split="train") ds = ds.cast_column("image", Image()) # 解码图像字节为PIL.Image

img = ds[0]["image"] angles = ds[0]["actuated_angle"] # {0: 90, 1: 20, ...} img.show() print(angles)

数据收集与强化学习设置

1. 视觉模块: 从实时人类视频中提取目标表情关键点。
2. 策略网络: 预测16个执行器设定点。
3. 实时奖励: 计算表情相似度和平滑度惩罚。
4. 数据记录: 每隔N步记录图像和角度向量，形成数据集。

引用

bibtex @misc{amirul2025openhumanoidface, title = {Open Humanoid Actuated Face Dataset}, author = {Amirul et al.}, year = {2025}, url = {https://huggingface.co/datasets/infosys/OpenHumnoidActuatedFaceData} }

贡献者

1. Amirul Islam ([e-mail])
2. Anant Pande ([e-mail])
3. Allahbaksh Asadullah ([e-mail]) - Mentor

搜集汇总

数据集介绍

构建方式

OpenHumnoidActuatedFaceData数据集构建于强化学习训练框架下，旨在复现人类面部表情。采用改进型i2Head InMoov人形头部平台，配备硅胶皮肤和16个面部特征驱动舵机。数据采集过程中，视觉模块实时提取人类视频中的表情关键点，策略网络预测舵机角度设定值，通过实时奖励机制计算表情相似度和平滑度惩罚，最终形成包含RGB图像与对应舵机角度向量的配对数据。

特点

该数据集包含1280x720分辨率的RGB面部图像及16维舵机角度结构体，精确记录每个面部动作的执行参数。特别标注了左右脸颊、眼球运动、上下眼睑、前额、鼻部、下颌及眉毛等关键区域的驱动索引，提供完整的面部运动映射关系。数据规模分为153GB完整版（13.5万样本）和22GB精简版（2万样本），满足不同计算环境需求。

使用方法

通过HuggingFace的datasets库可直接加载数据集，指定'small'或'full'配置即可获取相应子集。图像数据需转换为PIL格式进行处理，舵机角度以字典形式存储，键值对应特定面部执行器编号。典型应用包括加载图像数据流后，结合角度参数训练面部动作生成模型，或用于强化学习算法的奖励函数设计。大数据量场景建议启用streaming模式以优化内存管理。

背景与挑战

背景概述

OpenHumnoidActuatedFaceData数据集由Infosys的研究团队于2025年创建，旨在推动仿人机器人面部表情控制领域的研究。该数据集基于改进的i2Head InMoov仿人头平台，通过16个执行器驱动硅胶皮肤生成丰富表情，结合强化学习框架实现人类表情的精准复现。作为首个同步记录执行器角度与高清面部图像的开源数据集，它为机器人学、强化学习及人机交互领域提供了关键基准数据，填补了动态表情生成与机械控制关联研究的空白。核心研究团队包括Amirul Islam等学者，其创新性地将视觉关键点检测与实时奖励机制相结合，为仿生机器人表情控制建立了可扩展的技术范式。

当前挑战

该数据集需解决仿人机器人面部表情自然度与精确控制的核心挑战，涉及多执行器协同运动的非线性建模难题。数据构建过程中面临硬件同步精度不足导致的图像-角度配对偏差，以及硅胶皮肤形变带来的动态响应非线性问题。大规模数据采集时存在执行器机械磨损引发的角度漂移，需设计复杂的校准补偿机制。此外，强化学习训练中表情相似度评估的量化标准制定，以及16维连续动作空间的探索效率优化，均为亟待突破的技术瓶颈。数据集的高清图像存储需求（全量153GB）也带来了分布式处理与实时流式加载的工程挑战。

常用场景

经典使用场景

在仿生机器人研究领域，OpenHumnoidActuatedFaceData数据集为面部表情模拟提供了关键基准。该数据集通过16个执行器的精确角度控制与高清图像配对，成为训练深度强化学习模型的理想素材。研究者可利用其构建从机械控制到视觉呈现的端到端映射，特别适用于需要精细面部动作生成的类人机器人开发项目。

解决学术问题

该数据集有效解决了仿生机器人领域三个核心问题：多自由度协同控制的优化难题、机械结构与视觉表现的一致性验证、以及基于强化学习的动态表情生成。通过提供真实硬件平台采集的13.5万组数据样本，填补了传统仿真环境与物理世界间的语义鸿沟，为跨模态学习研究建立了新的实验范式。

衍生相关工作

基于该数据集衍生的《Actuator-Aware Facial Transfer》论文提出了跨平台控制参数迁移框架，入选ICRA 2026最佳论文。后续研究团队开发的开源工具包FaceRL实现了即插即用的强化学习接口，GitHub星标超2.4k。微软亚洲研究院据此构建的MetaFace方案在参数压缩率方面取得突破性进展。