Harvard-Edge/Wake-Vision

--- license: cc-by-4.0 size_categories: - 1M<n<10M task_categories: - image-classification pretty_name: Wake Vision dataset_info: features: - name: age_unknown dtype: class_label: names: '0': 'No' '1': 'Yes' - name: body_part dtype: class_label: names: '0': 'No' '1': 'Yes' - name: bright dtype: class_label: names: '0': 'No' '1': 'Yes' - name: dark dtype: class_label: names: '0': 'No' '1': 'Yes' - name: depiction dtype: class_label: names: '0': 'No' '1': 'Yes' - name: far dtype: class_label: names: '0': 'No' '1': 'Yes' - name: filename dtype: string - name: gender_unknown dtype: class_label: names: '0': 'No' '1': 'Yes' - name: image dtype: image - name: medium_distance dtype: class_label: names: '0': 'No' '1': 'Yes' - name: middle_age dtype: class_label: names: '0': 'No' '1': 'Yes' - name: near dtype: class_label: names: '0': 'No' '1': 'Yes' - name: non-person_depiction dtype: class_label: names: '0': 'No' '1': 'Yes' - name: non-person_non-depiction dtype: class_label: names: '0': 'No' '1': 'Yes' - name: normal_lighting dtype: class_label: names: '0': 'No' '1': 'Yes' - name: older dtype: class_label: names: '0': 'No' '1': 'Yes' - name: person dtype: class_label: names: '0': 'No' '1': 'Yes' - name: person_depiction dtype: class_label: names: '0': 'No' '1': 'Yes' - name: predominantly_female dtype: class_label: names: '0': 'No' '1': 'Yes' - name: predominantly_male dtype: class_label: names: '0': 'No' '1': 'Yes' - name: young dtype: class_label: names: '0': 'No' '1': 'Yes' splits: - name: train_quality num_bytes: 344101633249.375 num_examples: 1196221 - name: validation num_bytes: 5296900547.25 num_examples: 18582 - name: test num_bytes: 15830126041.625 num_examples: 55763 download_size: 26134101710 dataset_size: 21127026588.875 configs: - config_name: default data_files: - split: train_quality path: data/train_quality* - split: test path: data/test-* - split: validation path: data/validation-* --- # Dataset Card for Wake Vision ### Dataset Description <!-- Provide a longer summary of what this dataset is. --> "Wake Vision" is a large, high-quality dataset featuring over 6 million images, significantly exceeding the scale and diversity of current tinyML datasets (100x). This dataset includes images with annotations of whether each image contains a person. Additionally, it incorporates a comprehensive fine-grained benchmark to assess fairness and robustness, covering perceived gender, perceived age, subject distance, lighting conditions, and depictions. The Wake Vision labels are derived from Open Image's annotations which are licensed by Google LLC under CC BY 4.0 license. The images are listed as having a CC BY 2.0 license. Note from Open Images: "while we tried to identify images that are licensed under a Creative Commons Attribution license, we make no representations or warranties regarding the license status of each image and you should verify the license for each image yourself." - **License:** [CC-BY 4.0] ### Dataset Sources <!-- Provide the basic links for the dataset. --> - **Train (Large) Dataset:** https://huggingface.co/datasets/Harvard-Edge/Wake-Vision-Train-Large - **Website:** https://wakevision.ai/ - **Repository:** https://github.com/colbybanbury/Wake_Vision_Quickstart - **Paper:** https://arxiv.org/abs/2405.00892 ## Citation <!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. --> **BibTeX:** ```bibtex @misc{banbury2024wake, title={Wake Vision: A Large-scale, Diverse Dataset and Benchmark Suite for TinyML Person Detection}, author={Colby Banbury and Emil Njor and Matthew Stewart and Pete Warden and Manjunath Kudlur and Nat Jeffries and Xenofon Fafoutis and Vijay Janapa Reddi}, year={2024}, eprint={2405.00892}, archivePrefix={arXiv}, primaryClass={cs.CV} } ``` ## Dataset Card Contact For questions about the dataset or image takedown requests, contact [e-mail]: CC BY 4.0 样本规模类别： - 100万 < 样本数量 < 1000万 任务类别： - 图像分类 数据集名称：Wake Vision dataset_info: 特征项： - 名称：age_unknown，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：body_part，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：bright，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：dark，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：depiction，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：far，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：filename，数据类型：字符串 - 名称：gender_unknown，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：image，数据类型：图像 - 名称：medium_distance，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：middle_age，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：near，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：non-person_depiction，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：non-person_non-depiction，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：normal_lighting，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：older，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：person，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：person_depiction，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：predominantly_female，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：predominantly_male，数据类型：分类标签，类别映射：'0': '否', '1': '是' - 名称：young，数据类型：分类标签，类别映射：'0': '否', '1': '是' 数据子集： - 名称：train_quality，字节数：344101633249.375，样本数量：1196221 - 名称：validation，字节数：5296900547.25，样本数量：18582 - 名称：test，字节数：15830126041.625，样本数量：55763 下载总大小：26134101710 数据集总存储大小：21127026588.875 配置项： - 配置名称：default，数据文件： - 子集train_quality：路径为data/train_quality* - 子集test：路径为data/test-* - 子集validation：路径为data/validation-* --- # Wake Vision 数据集卡片 ## 数据集描述 <!-- 请提供该数据集的详细摘要 --> Wake Vision是一款大规模高质量数据集，涵盖超过600万张图像，其规模与多样性显著超越当前微型机器学习（tinyML）数据集，达到后者的百倍之多。该数据集为每张图像标注了是否包含人物，同时还配备了一套全方位细粒度基准测试套件，用于评估模型的公平性与鲁棒性，覆盖感知性别、感知年龄、拍摄距离、光照条件以及图像表征等多个维度。 Wake Vision的标签源自Open Image数据集的标注，该标注由Google LLC以CC BY 4.0许可协议授权。数据集内的图像标注为遵循CC BY 2.0许可协议。Open Image的官方声明如下：「尽管我们已尽力识别采用知识共享署名许可协议的图像，但我们不对每张图像的许可状态作出任何陈述或保证，您需自行验证每张图像的许可协议。」 - **许可协议：** [CC-BY 4.0] ## 数据集来源 <!-- 请提供该数据集的基础链接 --> - **大型训练子集：** https://huggingface.co/datasets/Harvard-Edge/Wake-Vision-Train-Large - **官方网站：** https://wakevision.ai/ - **代码仓库：** https://github.com/colbybanbury/Wake_Vision_Quickstart - **相关论文：** https://arxiv.org/abs/2405.00892 ## 引用格式 <!-- 若该数据集有对应的论文或博客文章，请在此处添加其APA和BibTeX引用信息 --> **BibTeX格式：** bibtex @misc{banbury2024wake, title={Wake Vision: A Large-scale, Diverse Dataset and Benchmark Suite for TinyML Person Detection}, author={Colby Banbury and Emil Njor and Matthew Stewart and Pete Warden and Manjunath Kudlur and Nat Jeffries and Xenofon Fafoutis and Vijay Janapa Reddi}, year={2024}, eprint={2405.00892}, archivePrefix={arXiv}, primaryClass={cs.CV} } ## 数据集卡片联系方式 若对该数据集有疑问或需申请移除图像，请联系 [e-mail]

原始信息汇总

数据集概述

• 名称: Wake Vision
• 任务类别: 图像分类
• 数据集大小: 1M<n<10M
• 许可: CC-BY 4.0

数据集特征

• age_unknown: 类别标签，0: No, 1: Yes
• body_part: 类别标签，0: No, 1: Yes
• bright: 类别标签，0: No, 1: Yes
• dark: 类别标签，0: No, 1: Yes
• depiction: 类别标签，0: No, 1: Yes
• far: 类别标签，0: No, 1: Yes
• filename: 字符串类型
• gender_unknown: 类别标签，0: No, 1: Yes
• image: 图像类型
• medium_distance: 类别标签，0: No, 1: Yes
• middle_age: 类别标签，0: No, 1: Yes
• near: 类别标签，0: No, 1: Yes
• non-person_depiction: 类别标签，0: No, 1: Yes
• non-person_non-depiction: 类别标签，0: No, 1: Yes
• normal_lighting: 类别标签，0: No, 1: Yes
• older: 类别标签，0: No, 1: Yes
• person: 类别标签，0: No, 1: Yes
• person_depiction: 类别标签，0: No, 1: Yes
• predominantly_female: 类别标签，0: No, 1: Yes
• predominantly_male: 类别标签，0: No, 1: Yes
• young: 类别标签，0: No, 1: Yes

数据集分割

• validation: 18582个样本，大小为5296900547.25字节
• test: 55763个样本，大小为15830126041.625字节

数据集大小

• 下载大小: 26134101710字节
• 数据集大小: 21127026588.875字节

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，大规模图像数据集的构建对推动边缘智能模型发展至关重要。Wake Vision数据集基于Open Images的标注信息构建，其图像标注遵循CC BY 4.0许可协议，原始图像则采用CC BY 2.0许可。该数据集通过系统化整合与筛选，形成了包含超过六百万张图像的庞大规模，并特别注重标注图像中是否包含人物这一核心属性。构建过程强调数据来源的合法性与标注的可靠性，为后续的模型训练与评估奠定了坚实基础。

使用方法

为便于研究与应用，该数据集在HuggingFace平台提供了标准化的访问接口。用户可通过`datasets`库直接加载`train_quality`、`validation`和`test`三个标准划分。数据集适用于图像分类任务，尤其聚焦于人物检测模型的开发与评估。研究人员可依据官方提供的GitHub仓库与快速入门指南，高效开展模型训练、微调及在细粒度基准上的公平性分析，从而推动边缘设备上轻量级视觉模型的进步。

背景与挑战

背景概述

在微型机器学习领域，高质量、大规模数据集的稀缺长期制约着边缘设备上视觉模型的发展。2024年，哈佛大学Edge计算实验室的研究团队推出了Wake Vision数据集，旨在为微型机器学习提供首个百万级别规模的人体检测基准。该数据集的核心研究问题聚焦于如何在资源受限的边缘设备上实现高效、公平且鲁棒的人体检测，其通过整合超过六百万张图像，并引入细粒度的公平性与鲁棒性评估维度，显著推动了微型机器学习在计算机视觉领域的应用边界与伦理考量。

当前挑战

Wake Vision数据集致力于解决边缘设备上人体检测任务所面临的核心挑战，包括模型在有限计算资源下的高效部署、以及在多样化真实场景中对不同感知性别、年龄、拍摄距离与光照条件下的检测公平性与鲁棒性。在构建过程中，研究团队需克服大规模数据清洗与标注的复杂性，确保从Open Images等源数据中提取高质量的人体检测标签，并构建涵盖多维度属性的细粒度评测体系，同时妥善处理图像版权与数据合规性问题，以保障数据集的可靠性与可用性。

常用场景

经典使用场景

在边缘计算与微型机器学习领域，Wake Vision数据集以其超过六百万张图像的庞大规模，为资源受限设备上的人体检测模型训练提供了核心支撑。该数据集通过精细标注的人物存在性、感知性别、感知年龄、拍摄距离及光照条件等多元属性，构建了一个高度多样化的基准测试套件，使得研究者能够在模拟真实世界复杂场景下，系统评估模型在公平性与鲁棒性方面的表现，从而推动边缘视觉感知技术的精准化发展。

解决学术问题

该数据集有效应对了微型机器学习研究中数据规模有限、多样性不足的瓶颈问题，通过提供远超传统数据集的图像数量与细粒度标注，为探索模型在边缘设备上的部署效率与泛化能力奠定了实证基础。其涵盖的公平性基准测试，直接针对算法偏见这一关键学术议题，使研究者能够量化分析模型在不同人口属性、环境条件下的性能差异，为构建公正、可靠的边缘智能系统提供了不可或缺的评估工具与理论依据。

实际应用

在实际部署层面，Wake Vision数据集直接服务于智能安防监控、可穿戴设备行为识别、自动驾驶行人感知等边缘计算场景。其包含的远近距离、明暗光照、人物描绘与非描绘等丰富条件，确保了训练出的模型能够适应从室内到户外、从清晰到模糊的各类真实环境。这为开发在低功耗、低算力终端上稳定运行的高精度人体检测应用，提供了高质量的数据保障，加速了微型机器学习技术从实验室走向产业落地的进程。

数据集最近研究

最新研究方向

在边缘计算与微型机器学习领域，Wake Vision数据集以其百万级规模与精细标注，正推动着前沿研究向高效能、低功耗的嵌入式视觉系统深化。该数据集通过整合感知性别、年龄、距离及光照等多维度公平性基准，为模型在资源受限设备上的鲁棒性与偏见缓解提供了关键评估框架。当前研究热点聚焦于利用其大规模多样性，探索轻量化神经网络架构的优化、跨场景自适应学习，以及隐私保护下的分布式训练范式，这些进展对促进公平、可靠且可部署的微型智能体发展具有深远意义。