合成GS/RS数据集

本研究利用Unreal Engine 5（UE5）创建了一个合成数据集，专门用于评估不同快门机制下的行人检测模型。数据集包含40个不同的城市街道场景，每个场景在五个不同的时间点进行渲染，以模拟多样的光照条件。此外，场景中随机生成的行人群体增加了数据的多样性和真实性。数据集的创建过程涉及高帧率的全局快门（GS）图像生成，并通过模拟滚动快门（RS）效应来合成RS数据集。该数据集主要应用于机器学习模型在行人检测中的性能评估，特别是在考虑RS效应时，旨在优化无ISP的机器学习管道，提高检测精度。This study utilized Unreal Engine 5 (UE5) to create a synthetic dataset specifically designed for evaluating pedestrian detection models under different shutter mechanisms. The dataset includes 40 distinct urban street scenes, each rendered at five different time points to simulate diverse lighting conditions. Additionally, randomly generated pedestrian crowds within the scenes enhance the data's diversity and realism. The dataset creation process involves generating high-frame-rate global shutter (GS) images, and synthesizing RS datasets by simulating the rolling shutter effect. This dataset is primarily used for performance evaluation of machine learning models in pedestrian detection, particularly when accounting for the RS effect, with the goal of optimizing ISP-free machine learning pipelines and improving detection accuracy.

搜集汇总

数据集介绍

构建方式

该数据集依托Unreal Engine 5的先进仿真能力构建，首先以每秒32,400帧的超高帧率生成全局快门（GS）图像序列，涵盖40个分布于8条街道的城市场景，每个场景在5种不同日照条件下渲染，并融入随机化行人群体以模拟真实世界多样性。随后，通过逐行替换GS图像序列中的像素行，模拟卷帘快门（RS）的逐行扫描机制，从每1080帧GS序列合成一帧RS图像，由此获得配对且空间对齐的GS/RS数据集。最终，对所有图像中的行人进行手工标注，生成边界框真值，形成包含正常与快速行走速度共4个子集的数据体系。

特点

该数据集的核心特色在于其高度可控的仿真环境与精细化的快门效应模拟。通过UE5引擎，数据集实现了场景、光照、行人速度及相机视角的多维度可变性，为分析RS效应提供了丰富的实验条件。尤为重要的是，数据集提供了严格配对的GS与RS图像，使得模型在两种快门模式下的性能对比成为可能。实验表明，该数据集在粗粒度检测（IoU=0.5）上GS与RS性能差异微小（<2%），但在细粒度检测（IoU=0.5:0.95）上差异显著（达24%），揭示了RS效应对定位精度的影响。此外，数据集还展示了跨快门模式的迁移学习能力，为无ISP校正的节能视觉管道研究提供了关键支撑。

使用方法

该数据集适用于训练和评估目标检测模型在卷帘快门与全局快门条件下的性能差异。研究者可分别使用GS和RS子集对主流检测模型（如YOLOv8、DETR）进行微调，通过对比mAP@IoU=0.5与mAP@IoU=0.5:0.95等指标，量化RS效应对粗粒度与细粒度检测的影响。数据集支持跨模态训练与验证，例如在RS数据上训练后在GS+RS混合数据上测试，以评估模型的泛化能力。此外，通过调整训练集包含的场景数量与相机视角数量，可系统分析数据多样性对检测精度的影响，从而为设计面向RS相机的无ISP视觉管道提供实验依据。

背景与挑战

背景概述

在数字摄影与计算机视觉领域，快门机制的选择对图像质量与后续分析精度具有深远影响。当前主流相机多采用卷帘快门（RS）机制，虽在成本与功耗上具备优势，但其行扫描成像方式在捕捉运动目标时易引入“果冻效应”等几何畸变。传统图像信号处理（ISP）管线虽能校正此类畸变，但其高计算复杂度与能耗在资源受限的智能视觉系统（如无人机、增强现实头显）中难以承受。为此，南加州大学Peter Beerel团队于2023年基于Unreal Engine 5构建了首个合成配对全局快门（GS）与卷帘快门（RS）行人检测数据集，旨在探究在无ISP校正条件下，机器学习模型是否能够直接适应RS畸变。该研究通过生成40种城市街景、5种光照条件及不同行人速度的模拟数据，为评估快门效应对目标检测的影响提供了关键基准，对推动低功耗视觉传感器与近传感计算架构的发展具有重要意义。

当前挑战

该数据集所解决的领域问题核心在于验证无ISP校正的计算机视觉管线对RS畸变的鲁棒性。实验表明，在粗粒度检测（IoU=0.5）场景下，GS与RS数据集的平均精度差异不足2%，暗示RS校正对多数应用并非必需；但在细粒度定位（IoU=0.5:0.95）条件下，精度差异高达24%，凸显RS畸变对精确边界框回归的显著干扰。构建过程中面临两大挑战：一是现有公开数据集缺乏GS与RS的严格配对样本，迫使研究团队利用UE5模拟超高速GS序列（32400fps）并逐行合成RS图像，以生成物理一致的配对数据；二是RS图像中行人因畸变产生几何形变，导致手动标注边界框的尺寸与位置与自动标注的GS数据存在系统性偏差（如平均框面积差异达40%），需通过多场景、多视角的数据增强来缓解标注不一致对模型泛化能力的影响。

常用场景

经典使用场景

合成GS/RS数据集主要用于评估和比较全局快门与卷帘快门在目标检测任务中的性能差异，尤其聚焦于行人检测这一典型场景。该数据集通过虚幻引擎5生成高帧率全局快门图像，并模拟卷帘快门逐行扫描的畸变效应，从而构建成对的GS与RS图像样本。研究者可借此在受控环境中分析不同快门机制对检测精度的量化影响，探索机器学习模型是否能够在不经图像信号处理校正的情况下直接适应卷帘快门带来的几何形变。这一数据集为理解快门效应对计算机视觉管线的实际影响提供了标准化测试基准。

解决学术问题

该数据集解决了学术界长期存在的核心问题：卷帘快门校正是否在目标检测任务中不可或缺。传统观点认为，卷帘快门引起的图像畸变必须通过ISP管线校正，否则会严重降低检测精度。然而，该数据集通过实验揭示，对于粗粒度检测（IoU=0.5），GS与RS数据集的mAP差异小于2%，表明在多数应用场景中无需显式校正；但对于细粒度定位（IoU=0.5:0.95），差异可达24%，凸显了高精度场景下校正的必要性。这一发现挑战了既有认知，为ISP-less节能视觉系统的设计提供了理论依据，并推动了边缘计算与传感器内计算架构的优化方向。

衍生相关工作

该数据集衍生了一系列富有影响力的后续研究。基于其成对GS/RS数据特性，研究者开发了多种卷帘快门畸变自适应算法，包括基于深度学习的端到端校正网络和运动感知特征提取模块。该数据集还促进了跨快门模态的迁移学习研究，验证了在RS数据上训练的模型可有效泛化至GS图像，为统一多相机系统的检测范式奠定了基础。此外，该工作启发了对场景多样性（如不同时间、视角与行人速度）对检测性能影响的分析，推动了更鲁棒的行人检测数据集构建，并成为评估新型ISP-less视觉芯片（如P2M-DeTrack架构）性能的标杆测试集。