Quanta Vision Sequences

这些真实世界的序列是通过被动单光子相机、高速相机或其他专用相机（事件/低光相机）捕获的。包括与多篇论文相关的序列和每个序列的热像素掩码。

These real-world sequences were captured using passive single-photon cameras, high-speed cameras, or other specialized cameras (event-based / low-light cameras). This dataset includes sequences associated with multiple academic papers, as well as the hot pixel mask for each individual sequence.

原始信息汇总

WISION-Lab 数据集概述

数据集存储与下载

• 数据集存储在公开可访问的S3存储桶中
• 支持通过aws-cli工具下载单个对象或完整数据集
• 提供示例脚本用于批量下载和解压数据集

Quanta Vision Sequences 数据集

数据集概况

• 包含多个子数据集，每个子数据集关联特定论文和研究
• 数据使用被动单光子相机、高速相机等专用设备采集
• 提供热像素掩模文件用于数据处理

子数据集详情

anycam

• 关联论文: Sundar et al., ICCV 2023
• 采集频率: 96.8 kHz
• 热像素掩模:
  • 无CFA序列: hot_pixel_mask/SwissSPAD_ddr3_mode.npy
  • 其他序列: hot_pixel_mask/colorSPAD_continuous_stream.npy

color

• 关联论文: Ma et al., SIGGRAPH 2023
• 采集频率: 16 kHz
• 热像素掩模: hot_pixel_mask/colorSPAD_continuous_stream.npy
• CFA模式文件: color_filter_array/rgbw_oh_bn_color_ss2_padded.tif

pano

• 关联论文: Jungerman et al., ICCV 2023
• 采集频率: 96.8 kHz
• 热像素掩模: hot_pixel_mask/colorSPAD_continuous_stream.npy

photoev

• 关联论文: Sundar et al., CVPR 2024
• 采集频率: 96.8 kHz
• 热像素掩模:
  • 无CFA序列: hot_pixel_mask/new_graySPAD_continuous_stream.npy
  • 其他序列: hot_pixel_mask/colorSPAD_continuous_stream.npy

qbp

• 关联论文: Ma et al., SIGGRAPH 2020
• 采集频率: 10-16 kHz
• 热像素掩模: hot_pixel_mask/SwissSPAD_ddr3_mode.npy

vision

• 关联论文: Ma et al., WACV 2023
• 采集频率: 10-16 kHz
• 热像素掩模: hot_pixel_mask/SwissSPAD_continuous_stream.npy

VisionSIM-50 数据集(预发布版)

数据集概况

• 使用visionsim框架生成的模拟数据集
• 包含50个室内场景
• 数据特征:
  • 12秒动画时长
  • 100fps帧率
  • 800x800像素分辨率

标注信息

• 提供每帧的完整标注信息:
  • 度量深度
  • 法线
  • 光流(前向和后向)
  • 对象分割
  • 相机内外参

搜集汇总

数据集介绍

构建方式

Quanta Vision Sequences数据集通过多种专业摄像设备捕捉现实世界场景构建而成，包括被动单光子相机、高速相机以及事件/低光相机等。数据采集过程严格遵循科学实验标准，针对不同子集采用特定的采样频率（如96.8kHz或16kHz）和热像素掩模处理。每个序列均附带详细的元数据文件（如arguments.json）和对应的学术论文引用，确保数据溯源性和可重复性。数据集采用模块化存储架构，按研究项目划分anycam、color等子目录，并通过ZIP压缩格式实现高效分布式存储。

特点

该数据集最显著的特点是包含超高速摄影捕获的量子级视觉信息，时间分辨率最高达96.8kHz，空间维度完整保留原始传感器数据。不同子集针对特定研究目标设计：anycam聚焦软件定义相机验证，color强调彩色滤波阵列分析，pano提供全景视角数据。所有序列均配备热像素校正掩模和色彩滤波阵列说明文件，部分包含光子立方体位置标注。数据集总容量达2.4TB，涵盖动态物体追踪、HDR成像、低光环境分析等多模态场景，为计算摄影领域提供前所未有的高时空精度基准。

使用方法

用户可通过AWS命令行工具访问威斯康星大学公开S3存储桶，使用预置脚本实现批量下载与自动解压。针对特定研究需求，支持通过数据集前缀（如quanta-vision/sequences）选择性下载子集。本地使用时需注意：不同子序列需加载对应的热像素掩模（如colorSPAD_continuous_stream.npy），彩色滤波阵列数据需参照rgbw_oh_bn_color_ss2_padded.tif文件进行解析。数据集与visionsim仿真框架兼容，支持将真实捕获数据与合成数据联合分析。为优化传输效率，建议在UW-Madison校园网络环境下操作。

背景与挑战

背景概述

Quanta Vision Sequences数据集由威斯康星大学麦迪逊分校的WISION-Lab团队创建，旨在推动单光子成像技术在计算机视觉领域的应用。该数据集收录了多种特殊相机（如被动单光子相机、高速相机、事件相机等）捕获的真实世界序列数据，时间跨度为2020至2024年，相关研究成果发表于ICCV、CVPR、SIGGRAPH等顶级会议。数据集通过高时间分辨率（最高96.8kHz）捕捉瞬态光量子行为，为计算摄影、低光成像、事件相机建模等前沿方向提供了关键实验基准，其多模态特性对跨领域研究具有显著推动作用。

当前挑战

该数据集主要解决单光子成像中高动态范围重建、极低光环境下信号提取、跨传感器数据融合等核心问题。构建过程中面临三大技术挑战：1) 热像素噪声消除需针对不同传感器定制掩膜（如SwissSPAD_ddr3_mode.npy）；2) 彩色滤波阵列（CFA）数据需处理6.25%的稀疏采样像素插值问题；3) 超高频序列（如96.8kHz）导致单序列数据量高达百GB级，对存储与传输提出严峻考验。此外，不同子集采用异构捕获参数（10-96.8kHz帧率、不同CFA模式），需建立统一预处理框架。

常用场景

经典使用场景

Quanta Vision Sequences数据集在计算机视觉和光子成像领域具有广泛的应用价值。该数据集通过被动单光子相机、高速相机和其他专用相机捕获的真实世界序列，为研究者提供了丰富的高频时序数据。这些数据在动态场景分析、低光环境成像和事件相机算法开发中表现出色，尤其在研究光子级成像和超高速视觉任务时成为不可或缺的基准资源。

实际应用

在实际应用中，该数据集支撑了自动驾驶夜视系统、工业检测高速成像和科学观测设备的发展。其提供的96.8kHz超高帧率序列特别适合分析快速物理现象，如流体动力学、材料断裂过程等。医疗影像领域也可利用其低光成像数据开发新型内窥镜和显微观测技术。

衍生相关工作

基于该数据集衍生的经典工作包括SoDaCam软件定义相机框架、随机RGBW滤波阵列的色彩重建算法，以及全景单光子成像系统。这些成果发表在ICCV、SIGGRAPH等顶级会议，其中多项技术已转化为商业相机系统的核心专利，持续影响着计算成像领域的技术演进。