quarry-unreal-synthetic

Quarry: Unreal Engine synthetic capture 是一个合成检测数据集，由在Unreal Engine 5.8.1中渲染的300帧图像组成，包含11,921个标注实例。数据集旨在为目标检测和图像分割任务提供合成训练或预训练数据。图像分辨率为1280×960，水平视场角57.3度，覆盖从07:00到19:00的时间段。数据集中包含7个类别：person（5,609个实例）、barrel（1,890）、crate（1,567）、haybayle（564）、container（488）、cone（1,331）、wheelbarrow（472）。根据COCO尺度阈值，小目标8,547个，中等目标2,766个，大目标608个，平均边界框占帧的0.16%，属于小目标数据集。数据目录结构包括：images/（原始RGB图像，PNG格式）、segmentation/（每个实例的ID缓冲，颜色编码）、labels/（YOLO格式的边界框文本文件）、annotations/（COCO格式的标注）、metadata/（每帧的相机、演员和生成记录）、reports/（验证报告）、capture.json（运行合同）、data.yaml（YOLO训练类名）。所有300帧未划分训练/验证集，用户可根据需要自行拆分。质量验证显示：0张损坏图像，0帧无标签，0近重复，0跨分割泄露，平均亮度107.5，2帧欠曝光，0帧过曝光。已知限制包括：类别不平衡（最稀有/最常见类别比率0.084）、相机视角仅来自3个作者区域，视角范围有限，且存在合成到真实的域差距。该数据集适合作为预训练或数据增强材料，而非替代真实评估集。Quarry: Unreal Engine synthetic capture is a synthetic detection dataset composed of 300 frames of images rendered in Unreal Engine 5.8.1, containing 11,921 annotated instances. The dataset is designed to provide synthetic training or pre-training data for object detection and image segmentation tasks. Images are at 1280×960 resolution with a horizontal field of view of 57.3 degrees, covering time periods from 07:00 to 19:00. The dataset includes 7 categories: person (5,609 instances), barrel (1,890), crate (1,567), haybayle (564), container (488), cone (1,331), and wheelbarrow (472). According to COCO scale thresholds, there are 8,547 small objects, 2,766 medium objects, and 608 large objects, with an average bounding box area of 0.16% of the frame, making it a small object dataset. The directory structure includes: images/ (raw RGB images, PNG format), segmentation/ (instance ID buffers, color-coded), labels/ (bounding box text files in YOLO format), annotations/ (COCO-format annotations), metadata/ (camera, actor, and generation records per frame), reports/ (validation reports), capture.json (run contract), and data.yaml (YOLO training class names). All 300 frames are not split into training/validation sets; users can split as needed. Quality validation shows: 0 corrupted images, 0 frames without labels, 0 near duplicates, 0 cross-segmentation leaks, average brightness 107.5, 2 underexposed frames, 0 overexposed frames. Known limitations include class imbalance (rarest/most common class ratio 0.084), camera views only from 3 author regions, limited viewpoint range, and synthetic-to-real domain gap. The dataset is suitable as pre-training or data augmentation material, not as a substitute for real evaluation sets.

原始信息汇总

数据集概述

Quarry: Unreal Engine synthetic capture 是一个基于虚幻引擎（Unreal Engine）渲染的合成目标检测数据集，专为计算机视觉任务设计，包含目标检测和实例分割任务所需的标注数据。

基本信息

• 任务类型：目标检测、图像分割
• 标注方式：机器生成（从引擎的实例ID缓冲区直接读取）
• 规模：300帧渲染图像，包含11,921个标注实例
• 分辨率：1280 x 960
• 水平视场角：57.3度
• 许可协议：其他（sample-capture-terms，详见LICENSE文件）

渲染环境

• 引擎版本：Unreal Engine 5.8.1（5.8.1-56057345+++UE5+Release-5.8）
• 地图：Quarry_Slate
• 相机策略：camera_zones_look_at_target（3个人工设定的区域）
• 镜头配置：realistic_drone at 0.6
• 时间段：07:00至19:00
• 主种子：20260817（用于确定性采样，相同种子可复现相同帧）
• 验证评分：A级，92.7分/100分

类别分布

ID	类别	实例数
0	person	5,609
1	barrel	1,890
2	crate	1,567
3	haybayle	564
4	container	488
5	cone	1,331
6	wheelbarrow	472

按COCO尺度阈值划分：小目标8,547个，中目标2,766个，大目标608个。平均检测框覆盖帧面积的0.16%，属于小目标检测数据集。

数据文件结构

• images/：渲染的RGB帧（未修改的PNG格式）
• segmentation/：逐实例ID缓冲区（每个实例对应一种颜色）
• labels/：YOLO格式的边界框标注（每帧一个文本文件）
• annotations/：COCO格式的标注
• metadata/：每帧相机、actor和生成清单记录
• reports/：数据集的验证报告输出
• capture.json：运行契约（类别、相机策略、种子）
• data.yaml：类别名称文件，可直接用于YOLO训练器

所有300帧图像未划分训练/验证/测试集，用户可根据实验需求自行划分。

质量验证结果

• 损坏图像：0/300
• 无标注的帧：0
• 近似重复图像：0
• 跨分割泄露：0
• 平均亮度：107.5（2帧曝光不足，0帧过度曝光）
• 逐帧核对：300帧请求、300图像、300标签文件、11,921个标注全部匹配

已知局限性

1. 类别不平衡：验证器扣除7.33分，最常见/最稀有类别比率为0.084
2. 构建溯源：未通过验证（BUILD_PROVENANCE_UNVERIFIED）
3. 人员漏标：6/5481个引擎可见人员未标注（0.11%）
4. 视角多样性有限：仅来自3个设定的相机区域，视角和距离范围较窄
5. 合成到真实的域差距：建议作为预训练或数据增强材料，而非真实评估集的替代品

来源与条款

图像由NameFrameCapture编辑器插件在Unreal Engine中渲染并标注。场景中的环境和道具资产来自第三方许可，仅发布渲染图像及其标注，不包含源资产（.uasset文件或地图文件）。数据集生成流程、系列中的其他环境以及相关测量方法详见：https://getnameframe.com。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，合成数据因能规避人工标注的昂贵与噪声而备受青睐，Quarry数据集正是这一范式的典型实践。其构建依托Unreal Engine 5.8.1渲染引擎，在名为Quarry_Slate的单一虚拟环境中，以主种子20260817为确定性驱动，对场景布局、物体位姿及相机参数进行采样，生成300帧1280×960分辨率的RGB图像。所有边界框与实例掩码均在渲染时直接从引擎的逐实例ID缓冲区读出，不经过任何模型预测或人工绘制，从而保证了标注与场景描述在逻辑上的一致性。最终产出涵盖7个类别的11921个标注实例，并按YOLO与COCO两种格式组织，配套提供逐帧元数据与验证报告。

特点

该数据集的核心特征在于其标注的机器生成本质与确定性可复现性。每一帧的物体位置、相机位姿均源自同一随机种子，确保相同场景下重复渲染可精确重现全部300帧。数据以中小尺度目标为主，平均边界框仅占画面面积的0.16%，其中小尺度实例达8547个，为密集小目标检测与实例分割提供了具有挑战性的测试条件。类别分布呈现一定不均衡，稀有类与最常见类的实例比率为0.084。验证报告显示，图像无损坏、无重复、无跨集泄漏，且深度探测下引擎可见人物的标注遗漏率仅为0.11%，展现出较高的标注完整性。

使用方法

在使用层面，该数据集可作为目标检测与实例分割任务的预训练或数据增强资源。图像、分割掩码、YOLO标签及COCO格式标注按帧编号严格对齐，研究者可依据实验需求自由划分训练与验证集。数据配置提供了data.yaml文件，可直接接入YOLO系列训练器；分割掩码需使用按文件声明通道顺序解码的库读取，以避免通道交换导致掩码失效。鉴于其合成域与真实域之间存在固有差异，建议将其定位于预训练或增强用途，而非替代真实世界评估集。相机视角仅覆盖3个预设区域，视角与距离分布较窄，使用时需留意这一采样局限。

背景与挑战

背景概述

合成数据在计算机视觉领域日益成为缓解真实标注瓶颈的重要途径。Quarry数据集由NameFrame团队于2025年前后构建，依托Unreal Engine 5.8渲染管线，从单一虚拟场景中生成300帧图像与11,921个实例标注，涵盖行人、桶、板条箱等七类目标。其核心研究问题在于验证引擎实例ID缓冲区直接导出标签的可行性，从而规避人工标注与模型伪标签的误差累积。该数据集为小目标检测与实例分割的预训练及域适应研究提供了可控、可复现的合成样本，对sim2real迁移方法学具有参考价值。

当前挑战

该数据集所应对的领域问题在于小目标检测与实例分割在真实场景中标注成本高昂且稀缺，而现有合成数据常受限于场景多样性不足与域间鸿沟。构建过程中的挑战体现为：引擎可见但未标注的行人漏标比例虽仅0.11%，仍揭示场景描述与渲染结果间的语义偏差；类别不平衡显著，最稀有与最常见类别实例比仅为0.084；相机位姿受限于三个预设区域，视角与距离覆盖狭窄；构建溯源未通过验证，仓库提交状态不明。此外，合成影像与真实世界间存在固有域差，限制其作为独立评估基准的效力。

常用场景

经典使用场景

在计算机视觉领域，合成数据日益成为缓解标注瓶颈的重要途径。quarry-unreal-synthetic数据集凭借虚幻引擎渲染的300帧高保真图像与11,921个实例标注，经典地服务于小目标检测与实例分割模型的预训练及数据增强。研究者常将其作为域适应研究的源域，利用精确的逐实例ID缓冲区标签，在无需人工标注的情况下训练YOLO等检测器，并借助其确定性种子机制复现实验，从而系统评估模型在模拟环境下的学习能力。

衍生相关工作

基于该数据集，衍生出一系列围绕合成数据质量评估与域适应的工作。后续研究常将其与真实数据集配对，探索对抗性域适应、自训练伪标签等方法的有效性。部分工作借鉴其确定性采样策略，设计可复现的合成数据生成协议。此外，该数据集所属的NameFrame系列环境推动了虚幻引擎合成捕获标准化流程的讨论，为同类资源建设提供了参考范式。

数据集最近研究

最新研究方向

在计算机视觉领域，合成数据作为弥合真实世界标注鸿沟的关键手段日益受到瞩目。Quarry: Unreal Engine合成捕获数据集依托虚幻引擎5.8的高保真渲染能力，从引擎自身实例ID缓冲区直接读取标注，规避了人工标注的噪声与模型伪标签的偏差，为小目标检测与实例分割提供了纯净的监督信号。当前研究前沿聚焦于利用此类合成数据进行预训练或数据增强，以提升模型在真实场景下的泛化能力，尤其针对小尺度目标（如本数据集中占比高达71.7%的小目标）的检测难题。该数据集与sim2real迁移、自动驾驶感知、无人机视觉等热点方向紧密关联，其确定性种子采样与逐实例标注机制，为可复现的域适应研究提供了理想试验平台，对推动合成数据在安全关键领域的可信应用具有积极意义。