FHIBE

FHIBE（人类身份偏见评估公平性）数据集是一个基于同意的基准数据集，专门用于评估计算机视觉AI系统的公平性。与传统优先考虑规模和性能指标的数据集不同，FHIBE将人类尊严、同意和数据权利置于核心位置。该数据集包含同意参与者的高质量图像，具有全面的注释，包括面部关键点、分割、人口统计信息和上下文元数据。每个参与者都提供了知情同意并保留对其数据的所有权，可以随时撤回。

The FHIBE (Fairness in Human Identity Bias Evaluation) dataset is a consent-based benchmark dataset specifically designed to evaluate the fairness of computer vision AI systems. Unlike traditional datasets that prioritize scale and performance metrics, FHIBE places human dignity, consent, and data rights at its core. This dataset contains high-quality images from consenting participants, with comprehensive annotations including facial landmarks, segmentation masks, demographic information, and contextual metadata. Each participant has provided informed consent and retains full ownership of their data, with the right to withdraw at any time.

原始信息汇总

FHIBE数据集概述

数据集基本信息

数据集描述

FHIBE（Fairness in Human Identity Bias Evaluation）是一个以同意为驱动的基准数据集，专门用于评估计算机视觉AI系统的公平性。该数据集将人类尊严、同意和数据权利置于核心位置，包含同意参与者的高质量图像，具有全面的注释信息。

核心特征

• 策划方： Sony AI
• 语言： 多语言（注释为英语）
• 许可证： 需要注册并同意使用条款
• 论文： https://ai.sony/blog/Introducing-FHIBE-A-Consent-Driven-Benchmark-for-AI-Fairness-Evaluation/

数据集获取与使用

注册与下载

• 注册下载地址： https://fairnessbenchmark.ai.sony/register

相关资源

• 博客文章：
  • https://ai.sony/blog/What-If-Fairness-Started-at-the-Dataset-Level/
  • https://ai.sony/blog/The-FHIBE-Team-Data-Dignity-and-the-People-Who-Made-It-Possible/
  • https://ai.sony/blog/Introducing-FHIBE-A-Consent-Driven-Benchmark-for-AI-Fairness-Evaluation/

数据集结构

样本组织

数据集采用FiftyOne的分组样本结构，每个受试者具有多种图像类型：

图像类型

• main_*： 全身或上半身图像，包含完整注释
• face_crop_*： 裁剪的面部区域
• face_aligned_*： 对齐和裁剪的面部图像

字段结构

身份与组织

• subject_id：每个参与者的唯一标识符
• image_id：每个捕获会话的唯一标识符
• slice_name：图像类型
• subject_group：链接相关图像的FiftyOne组

人口统计信息

• age：参与者年龄
• pronouns：自我认同的代词
• ancestry：地理血统
• nationality：国籍
• skin_color：自然肤色（RGB值）
• hair_type：自然发型分类
• hair_color：自然发色分类
• eye_color_left：左眼色分类
• eye_color_right：右眼色分类
• facial_hairstyle：面部胡须样式分类
• facial_hair_color：面部胡须颜色分类
• facial_marks：面部标记或特征分类

外观特征

• hairstyle：当前发型
• apparent_hair_type：图像中表现的发型
• apparent_hair_color：图像中表现的发色

姿态与动作

• body_pose：身体位置分类
• head_pose：头部方向分类
• interaction_object：对象交互分类
• interaction_subject：主体间交互分类

捕获上下文

• capture_date：捕获日期
• capture_time：一天中的时间
• location_country：捕获国家
• location_region：捕获地区/州
• scene：场景类型分类
• lighting：光照条件分类
• weather：天气条件分类
• camera_position：相机相对于受试者的位置
• camera_distance：距离类别
• manufacturer：相机制造商
• camera_model：相机型号

注释信息

• face_bbox：面部边界框（检测）
• keypoints：33点身体关键点（关键点）与骨架
• segmentations：面部和身体部位分割（多边形）

关键点模式

数据集包含33个关键点，遵循标准顺序，不可见或被遮挡的关键点使用NaN坐标标记。

数据集创建

策划理念

FHIBE旨在解决AI公平性评估中的基本问题：

• 以同意为先的方法
• 公平性评估重点
• 数据尊严
• 全面代表性

数据来源

• 知情同意： 所有参与者提供明确的知情同意
• 数据所有权： 参与者保留数据所有权，可随时撤回
• 专业收集： 由专业摄影师在不同地点拍摄
• 质量控制： 多轮注释质量保证
• 隐私保护： 严格遵循隐私协议

注释过程

• 关键点： 33点身体姿态注释，含可见性标志
• 分割： 面部和身体部位分割多边形
• 边界框： 面部检测框
• 人口统计： 自我报告的人口统计信息
• 上下文： 图像捕获元数据

使用范围

直接用途

• 计算机视觉模型的公平性评估
• 面部识别、关键点检测和分割系统中的偏差检测
• 跨不同人口统计组的模型性能基准测试
• 道德AI开发和基于同意的数据收集方法研究

超出范围用途

• 监视或跟踪
• 商业面部识别
• 未经授权的用途
• 重新识别

局限性

• 范围： 无法全面代表所有人群
• 上下文： 受控条件下捕获的图像可能无法反映所有真实场景
• 注释主观性： 某些注释涉及主观判断
• 时间性： 数据集代表时间快照
• 同意-规模权衡： 优先考虑同意和数据尊严可能限制数据集规模

搜集汇总

数据集介绍

构建方式

在计算机视觉公平性评估领域，FHIBE数据集采用以参与者知情同意为核心的构建范式。该数据集通过专业摄影师在全球多地进行图像采集，所有参与者均签署明确知情同意书并保留数据所有权及随时撤回的权利。数据标注流程涵盖33个身体关键点标注、面部与身体部位分割多边形、人脸检测框以及自报人口统计信息，由经过专门训练的标注人员在严格质量控制体系下完成，并通过多轮一致性校验确保标注质量。

特点

该数据集以FiftyOne分组样本结构组织数据，每个参与者包含三类关联图像：全身或上半身的主图像、裁剪面部区域及对齐面部图像，通过subject_group字段实现多视角关联。数据集囊括自然属性（年龄、血统、肤色）、可变属性（发型、表观特征）以及场景上下文（光照、天气、地理位置）等46个结构化字段，并配备完整的关键点骨架连接关系。其独特价值在于将数据尊严理念融入设计，通过地理分布、年龄层次与生理特征的系统性覆盖，为公平性评估提供多维度的分析基础。

使用方法

研究者需通过官方平台注册并下载数据集后，使用配套解析脚本将原始数据转换为FiftyOne结构化数据集。该过程自动并行处理所有主体数据，建立主图像与面部裁剪的分组关联，并解析关键点骨架结构与元数据。通过FiftyOne交互界面可进行多层次数据探索，支持按人口统计属性筛选、关键点可视化及分组切片操作。典型应用流程包括构建评估视图（如仅含关键点的成人主图像）、分析不同人口群体的模型表现差异，并可通过COCO格式导出标注数据以兼容主流评估框架。

背景与挑战

背景概述

在计算机视觉伦理研究日益受到关注的背景下，索尼人工智能研究院于2024年推出了FHIBE（人类身份偏见评估公平性）数据集。该数据集以知情同意为核心原则，开创性地将数据尊严理念融入人工智能系统开发流程，旨在构建兼顾伦理规范与算法公平性的评估基准。通过涵盖人体关键点、分割掩码、多维度人口统计特征等精细化标注，该数据集为衡量计算机视觉模型在不同人群中的性能差异提供了标准化工具，推动了以人权为本的人工智能治理框架发展。

当前挑战

该数据集致力于解决计算机视觉系统在面部识别、姿态估计等任务中存在的群体偏见问题，其核心挑战在于如何构建具有人口统计学平衡性的评估基准。在数据构建过程中，研发团队面临多重技术伦理挑战：需在确保参与者知情同意与数据撤回权的前提下实现规模覆盖，通过专业摄影采集与多轮质量校验保障标注一致性，同时需在尊重文化差异的基础上建立跨地域的标准化标注体系。这些实践为后续伦理数据集建设提供了重要参考范式。

常用场景

经典使用场景

在计算机视觉公平性评估领域，FHIBE数据集作为基准测试工具，专门用于检测和量化AI模型在不同人口群体间的性能差异。该数据集通过精心设计的多样化样本分布，支持研究者对模型进行系统性偏差分析。其经典应用场景包括面部识别系统的公平性验证、人体关键点检测算法的群体间性能比较，以及图像分割模型在不同肤色人群上的精度评估。数据集提供的丰富标注信息使研究者能够深入探究模型在不同人口特征维度上的表现差异。

衍生相关工作

基于FHIBE数据集的研究催生了多个重要的学术方向。在模型公平性评估方法方面，研究者开发了新的偏差度量指标和测试框架。在算法改进领域，出现了专门针对多样化人群优化的关键点检测和分割模型。数据集还促进了跨学科合作，推动了计算机视觉与伦理学、社会学的交叉研究。这些衍生工作共同构建了负责任AI研究的技术基础，为行业实践提供了理论支撑和方法指导。

数据集最近研究

最新研究方向

在计算机视觉伦理评估领域，FHIBE数据集正推动以数据尊严为核心的前沿研究范式转型。该数据集通过知情同意机制与多样化人口覆盖，为算法公平性评估提供了标准化基准，相关研究聚焦于跨人口统计特征的关键点检测偏差量化、分割模型在不同肤色群体间的性能均衡性分析。随着全球对AI伦理监管的加强，该数据集在欧盟人工智能法案等合规框架下成为模型审计的重要工具，其多模态标注体系更支撑着公平性增强技术的创新验证，为构建尊重人权的人工智能系统奠定实证基础。