airbase-unreal-synthetic

Airbase 是一个由 Unreal Engine 渲染的合成检测数据集，包含 300 帧图像，共 32,546 个标注对象实例。所有边界框和分割掩码均直接从引擎的每个实例 ID 缓冲区读取，无需模型或人工标注，确保标签的准确性。数据集来自单个 Unreal Engine 环境（地图 Map_Airbase_Demo），分辨率为 1280×960，水平视场角 64 度，相机策略为 4 个预设区域的目标跟踪，时间范围从 07:00 到 19:00，天气为场景默认。主种子为 67，确保可复现性。 数据集包含 6 个类别：person（7,921 个实例）、car（1,811 个）、tank（570 个）、container（2,573 个）、crate（8,717 个）、barrel（10,954 个）。按 COCO 尺度阈值，小目标 22,648 个，中目标 8,637 个，大目标 1,261 个，平均边界框覆盖帧面积的 0.13%，属于小目标数据集。 数据文件结构包括：images/（RGB PNG 图像）、segmentation/（每个实例 ID 缓冲区 PNG）、labels/（YOLO 格式文本文件）、annotations/（COCO 格式注释）、metadata/（每帧相机、角色和生成清单记录）、reports/（验证输出）、capture.json（运行配置）和 data.yaml（YOLO 训练类名）。所有帧未划分训练/测试集，用户可根据需要自行划分。 质量评估报告显示：300 帧中无损坏图像，无零标签帧，2 个近重复图像，无跨集泄露，平均亮度 100.8，18 帧曝光不足，0 帧过曝。已知限制包括：最稀有的类别与最常见类别之比为 0.052，导致类别不平衡评分扣分 7.58；近重复图像扣分 0.33；构建来源未验证；深度探测的人中 0.04% 未被标记；相机视角来自 4 个预设区域，间隔较窄；合成图像存在领域差距，不建议作为真实评估集，适合作为预训练或数据增强材料。 数据集许可为 other，具体条款见 LICENSE 文件。环境资产由第三方授权用于 Unreal Engine 项目，仅发布渲染图像和标签，不包含源资产。Airbase is a synthetic detection dataset rendered by Unreal Engine, consisting of 300 frames with a total of 32,546 annotated object instances. All bounding boxes and segmentation masks are directly read from the per-instance ID buffer of the engine, without any model or human annotation, ensuring label accuracy. The dataset comes from a single Unreal Engine environment (map Map_Airbase_Demo), with a resolution of 1280×960, a horizontal field of view of 64 degrees, and a camera strategy of target tracking in 4 preset areas. The time range is from 07:00 to 19:00, with default scene weather. The master seed is 67, ensuring reproducibility. The dataset contains 6 categories: person (7,921 instances), car (1,811), tank (570), container (2,573), crate (8,717), and barrel (10,954). According to COCO scale thresholds, there are 22,648 small objects, 8,637 medium objects, and 1,261 large objects, with an average bounding box coverage of 0.13% of the frame area, making it a small object dataset. The data file structure includes: images/ (RGB PNG images), segmentation/ (per-instance ID buffer PNG), labels/ (YOLO format text files), annotations/ (COCO format annotations), metadata/ (per-frame camera, character, and generation manifest records), reports/ (validation output), capture.json (run configuration), and data.yaml (YOLO training class names). All frames are not split into training/test sets; users can partition them as needed. The quality assessment report shows: no damaged images in 300 frames, no zero-label frames, 2 near-duplicate images, no cross-set leakage, average brightness 100.8, 18 frames underexposed, 0 frames overexposed. Known limitations include: the ratio of the rarest category to the most common category is 0.052, resulting in a class imbalance penalty of 7.58; near-duplicate images penalty of 0.33; build source not verified; 0.04% of humans in depth probing are unlabeled; camera perspectives come from 4 preset areas with narrow intervals; synthetic images have domain gaps, not recommended as a real evaluation set, but suitable as pre-training or data augmentation material. The dataset license is other, with specific terms in the LICENSE file. Environmental assets are licensed by third parties for Unreal Engine projects; only rendered images and labels are released, not source assets.

原始信息汇总

数据集概述

该数据集名为 “Airbase: Unreal Engine synthetic capture”，是一个由 Unreal Engine 渲染生成的合成目标检测数据集，适用于计算机视觉领域的对象检测（object detection）和图像分割（image segmentation）任务。数据集以“sim2real”为背景，即利用合成数据辅助真实场景的模型训练。

基本信息

• 数据规模：共 300 帧渲染图像，包含 32,546 个标注对象实例；数据量级别为 n<1K。
• 图像分辨率：1280 x 960 像素。
• 水平视场角：64 度。
• 引擎版本：Unreal Engine 5.8.1。
• 场景地图：Map_Airbase_Demo。
• 标注方式：所有边界框与掩码均直接读取自引擎的 per-instance ID buffer，属于机器自动生成，无人工标注。
• 生成策略：使用主种子（master seed）67，确定性采样保证相同种子和场景可复现完全相同的数据。

类别分布

id	类别	实例数
0	person	7,921
1	car	1,811
2	tank	570
3	container	2,573
4	crate	8,717
5	barrel	10,954

按 COCO 尺度阈值划分：小目标 22,648 个，中目标 8,637 个，大目标 1,261 个。平均框面积占帧面积的 0.13%，属于典型的小目标数据集。

数据文件结构

• images/：渲染的 RGB 图像帧，未修改的 PNG 格式。
• segmentation/：逐实例 ID 缓冲区图像，每个实例一种颜色。
• labels/：YOLO 格式的边界框标签，每帧一个文本文件。
• annotations/：COCO 格式的相同标签。
• metadata/：每帧的相机、角色和生成清单记录。
• reports/：本数据集的验证报告与输出。
• capture.json：运行契约（类别、相机策略、种子等）。
• data.yaml：类别名称，可直接用于 YOLO 训练器。

所有 300 帧统一置于一个数据池中，未预设划分，用户可根据实验需求自行切分。

质量验证

验证器输出表明：

• 损坏图像：0/300
• 无标签帧：0
• 近似重复图像：2
• 跨分割泄漏：0
• 平均亮度 100.8，欠曝帧 18，过曝帧 0
• 逐帧核对：300 帧、300 图像、300 标签文件、32,546 个标注全部对应

已知局限性

• 类别不平衡：最稀有/最常见类别比例为 0.052，验证器为此扣分 7.58。
• 近似重复图像：存在 2 张视觉上几乎相同的图像（dHash <= 4）。
• 构建来源未验证：BUILD_PROVENANCE_UNVERIFIED: UNVERIFIED_REPOSITORY_COMMIT。
• 标注完整性：深度探测的 7,370 人中，有 3 人（0.04%）未被标注。
• 相机视角受限：相机位置仅来自 4 个自定义区域，视角和距离变化范围较窄。
• 合成到真实的域差距明显，仅适合作为预训练或增强数据，不应替代真实世界评估集。

许可与来源

• 许可类型：other，具体为 sample-capture-terms，许可文件为 LICENSE。
• 场景中的环境和道具资产来自第三方许可，仅用于 Unreal Engine 项目内部；本数据集仅发布渲染图像及其标签，不包括源资产、.uasset 或地图文件。
• 数据集的生成管线、其他环境及测量方法详见 https://getnameframe.com。

搜集汇总

数据集介绍

构建方式

该数据集基于虚幻引擎5.8.1版本，在单一环境Map_Airbase_Demo中通过确定性采样生成300帧渲染图像。每帧图像的分辨率为1280x960，水平视场角64度，模拟了从清晨7时至傍晚19时的光照变化。所有标注信息，包括边界框和实例分割掩码，均直接从引擎的逐实例ID缓冲区读取，无需人工干预或模型预测，确保了标注的精确性和一致性。相机位置由四种预设区域策略控制，主种子67确保了场景布局、物体姿态及相机位姿的可复现性。

特点

数据集包含32,546个标注实例，涵盖人员、车辆、坦克、集装箱、板条箱和桶六类物体，其中小物体占绝大多数，平均边界框仅覆盖画面的0.13%。所有帧未划分训练集和测试集，便于用户根据实验需求灵活划分。附带的验证报告显示，图像无损坏，交叉泄漏为零，但存在轻微的类别不平衡和少量近重复图像。该数据集强调合成到真实领域的迁移潜力，适合作为预训练或数据增强材料。

使用方法

数据集以标准格式组织，包括RGB图像、实例分割PNG、YOLO格式标签、COCO格式注释及每帧的相机和演员元数据。用户可根据任务需求选择不同的标注格式进行模型训练，例如直接使用YOLO格式训练检测器，或利用分割掩码进行实例分割任务。由于未预设数据划分，用户可自行创建训练、验证和测试集。需注意解码分割图像时保持通道顺序正确，并遵循提供的许可证条款，尤其涉及图像再发布时需谨慎。

背景与挑战

背景概述

Airbase-unreal-synthetic数据集诞生于计算机视觉领域对高质量合成数据日益增长的需求之际，由NameFrame团队于2023年创建。该数据集利用Unreal Engine 5.8渲染引擎，从单一军事基地场景中捕获了300帧图像，包含32,546个标注实例，涵盖人员、车辆、集装箱等六类目标。其核心创新在于直接利用引擎的实例ID缓冲区生成像素级标注，完全摒弃了人工或模型标注，确保了标注的绝对精确性。这一方法不仅大幅降低了标注成本，更为目标检测与实例分割任务提供了可扩展的合成数据生产范式，对sim2real迁移学习研究具有重要推动作用。数据集一经发布，便因其高精度标注与可复现性，成为合成数据领域备受关注的基准资源。

当前挑战

该数据集面临的首要挑战是解决合成数据向真实世界迁移的领域差距问题，尽管其标注精确，但渲染图像与真实场景间的视觉差异限制了模型在现实应用中的泛化能力。在构建过程中，团队遭遇了类别不平衡问题，最稀有类别与最常见类别比例仅0.052，导致验证评分扣减7.58分；此外，存在2张近重复图像，可能引起数据冗余。更关键的是，由于场景单一且相机策略仅覆盖4个预设区域，视角多样性受限，使得数据集无法作为广泛基准。此外，深度探测发现0.04%的可见人员未被标注，且构建来源未完全验证，这些均对数据集的完整性与可靠性提出了挑战。

常用场景

经典使用场景

该数据集作为合成视觉数据的典范，在计算机视觉领域具有广泛的应用前景。其核心使用场景聚焦于目标检测与实例分割任务的模型训练与评估。凭借Unreal Engine渲染的高保真图像和引擎自身实例ID缓冲生成的精确标注，该数据集为研究者提供了一个无标注噪声干扰的纯净实验环境。其包含300帧、32,546个标注实例，涵盖人物、车辆、坦克、集装箱、板条箱和桶等六类目标，且目标尺寸以小型为主，特别适合研究小目标检测的挑战性课题。研究者可依据实验需求灵活划分训练与测试集，从而在受控条件下验证模型性能。

实际应用

在实际应用中，该数据集展现了对无人机侦察、自动驾驶和安防监控等领域的显著价值。其低空飞行视角和真实感场景模拟，使其成为训练无人机视觉系统、提升对地面目标（如人员、车辆）检测能力的理想素材。在自动驾驶领域，合成数据可用于扩充感知算法的训练集，增强模型对罕见场景和极端天气的适应性。此外，该数据集支持在虚拟环境中快速迭代和验证算法，降低实景测试的成本与风险，为工业级视觉系统的部署提供了高效预训练方案。

衍生相关工作

围绕该数据集，衍生了一系列值得关注的学术与应用工作。基于其精确的实例级标注，研究者可开展域随机化、风格迁移和图像合成等方法研究，以弥合合成与真实数据间的领域鸿沟。该数据集也催生了针对小目标检测的算法改进，如特征金字塔网络的优化和超分辨率技术的集成。其可复现的种子机制和确定性生成流程，为标准化评估协议的设计提供了参考，推动了更严谨的模型对比研究。此外，该数据集的发布带动了关于合成数据在负责任AI中的角色讨论，尤其是在数据伦理和模型公平性方面。