barnyard-unreal-synthetic

Barnyard: Unreal Engine synthetic capture 是一个由 Unreal Engine 渲染生成的合成检测数据集。该数据集包含从单个 Unreal Engine 环境中捕获的300帧渲染图像，共计15,369个标注实例。所有标注（边界框和实例分割掩码）均直接从引擎的逐实例ID缓冲区读取，无需人工标注或模型预测，因此标注仅当场景描述错误时才可能出错。数据集支持目标检测和图像分割任务，并提供多种格式的数据：RGB图像（PNG）、实例分割掩码（每个实例一种颜色）、YOLO格式的边界框文本文件、COCO格式的标注文件以及每帧的相机、角色和生成清单等元数据。图像分辨率为1280×960，水平视场角57.3度，相机策略为3个预设区域的目标注视模式。数据集包含7个类别：person（7434实例）、redbarrel（1806）、traffic_cone（2145）、box（784）、haybayle（1758）、tractor（257）、bucket（1185）。按COCO尺度标准，有10925个小目标、4033个中等目标和411个大目标，平均边界框覆盖帧面积的0.12%，属于小目标捕获数据集。所有帧通过确定性种子可重现。质量验证报告显示：0张损坏图像、0帧无标签、0张近似重复图像、0跨分割泄露，平均亮度88.6，15帧欠曝光。已知限制包括：类别不平衡（最稀有/最常见类别比0.035）、0.04%的引擎可见人物未被标注、相机视角仅来自3个预设区域导致视角范围较窄，以及合成图像与真实世界的域差距。建议将本数据集用作预训练或数据增强材料，而非替代真实世界评估集。数据集根据特定许可条款发布，不包含原始资产文件。Barnyard: Unreal Engine synthetic capture is a synthetic detection dataset rendered by Unreal Engine. It contains 300 rendered frames captured from a single Unreal Engine environment, with a total of 15,369 annotated instances. All annotations (bounding boxes and instance segmentation masks) are directly read from the engines per-instance ID buffer, requiring no human annotation or model prediction, so annotations are only erroneous when the scene description is incorrect. The dataset supports object detection and image segmentation tasks, and provides data in multiple formats: RGB images (PNG), instance segmentation masks (one color per instance), YOLO-format bounding box text files, COCO-format annotation files, and metadata such as camera, character, and generation manifests per frame. Image resolution is 1280×960, horizontal field of view 57.3 degrees, camera strategy is a target-gazing mode from 3 preset areas. The dataset contains 7 categories: person (7434 instances), redbarrel (1806), traffic_cone (2145), box (784), haybayle (1758), tractor (257), bucket (1185). According to COCO scale standards, there are 10,925 small objects, 4,033 medium objects, and 411 large objects, with an average bounding box covering 0.12% of the frame area, making it a small object capture dataset. All frames are reproducible via deterministic seeds. Quality verification report shows: 0 damaged images, 0 frames without labels, 0 near-duplicate images, 0 cross-split leakages, average brightness 88.6, 15 frames underexposed. Known limitations include: class imbalance (rarest/most common class ratio 0.035), 0.04% of engine-visible persons not annotated, limited camera perspectives from only 3 preset areas, and domain gap between synthetic images and the real world. It is recommended to use this dataset as pre-training or data augmentation material, not as a substitute for real-world evaluation sets. The dataset is released under specific license terms and does not contain original asset files.

原始信息汇总

Barnyard: Unreal Engine 合成检测数据集

数据集概览

Barnyard 是一个由 Unreal Engine 渲染生成的合成目标检测数据集，包含 300 帧渲染图像，共计 15,369 个标注对象实例。所有标注框和掩码均直接从引擎的实例 ID 缓冲区读取，无需人工标注或模型生成。

技术规格

属性	值
引擎版本	Unreal Engine 5.8.1
地图	Map_BarnEnvironment
帧数	300
实例数	15,369
分辨率	1280 x 960
水平视场角	57.3 度
摄像机策略	camera_zones_look_at_target（3个指定区域）
镜头配置	realistic_drone at 0.6
时间段	07:00 至 19:00
主种子	20260817

类别分布

类别 ID	类别名称	实例数
0	person	7,434
1	redbarrel	1,806
2	traffic_cone	2,145
3	box	784
4	haybayle	1,758
5	tractor	257
6	bucket	1,185

按 COCO 尺度标准划分：小目标 10,925 个、中目标 4,033 个、大目标 411 个。平均检测框覆盖帧面积的 0.12%，属于小目标检测数据集。

文件结构

• images/：渲染的 RGB 图像（PNG 格式，未修改）
• segmentation/：实例 ID 缓冲区（每个实例一种颜色）
• labels/：YOLO 格式的边界框标注
• annotations/：COCO 格式的标注
• metadata/：逐帧摄像机、角色和生成清单记录
• reports/：验证输出报告
• capture.json：运行契约（类别、摄像机策略、种子）
• data.yaml：类别名称，适用于 YOLO 训练

帧数据在 images/、segmentation/、labels/ 和 metadata/ 中同步对应。数据未预设划分，所有 300 帧位于同一池中，可按需自行切分。

质量验证结果

• 损坏图像：0/300
• 无标签帧数：0
• 近似重复图像：0
• 跨划分泄漏：0
• 平均亮度：88.6（15 帧曝光不足，0 帧曝光过度）
• 逐帧核对：300 帧请求、300 张图像、300 个标签文件、15,369 条标注全部匹配

已知限制

• 类别不平衡：最稀有/最常见类别比率为 0.035，验证器扣分 7.72 分
• 曝光不足：平均亮度低于 35.0 的帧存在，扣分 0.03 分
• 构建来源未验证：BUILD_PROVENANCE_UNVERIFIED
• 漏检人员：引擎可见但未标注的人仅 3/7,074（0.04%）
• 视角范围有限：摄像机从 3 个指定区域采样，视角和距离覆盖较窄，仅代表单个环境样本
• 合成域差距：渲染图像与真实世界存在领域差异，适合作为预训练或增强数据，而非真实评测集

许可与来源

数据集采用自定义许可（sample-capture-terms），许可证文件为 LICENSE。场景中的环境和道具资产由第三方授权用于 Unreal Engine 项目，但仅发布渲染图像和标注，不包含源资产文件（无 .uasset 或地图文件）。生成管线和其他相关文档可在 getnameframe.com 获取。

搜集汇总

数据集介绍

构建方式

该数据集依托虚幻引擎5.8.1构建，基于单一环境地图“Map_BarnEnvironment”生成300帧合成图像。所有标注均非人工绘制或模型预测，而是于渲染阶段直接读取引擎的逐实例ID缓冲区，确保每个边界框与掩码源自场景描述本身。放置、姿态及相机位姿通过主种子以确定性方式采样，同一场景与种子可精确复现相同的300帧。捕获过程由编辑器插件NameFrameCapture执行，生成RGB图像、实例分割图、YOLO与COCO格式标注及元数据记录。

特点

数据集包含300帧1280×960分辨率图像，共标注15,369个实例，涵盖人、红色油桶、交通锥、箱子、草垛、拖拉机和铲斗七类。按COCO尺度标准，小目标占比高达71%，平均边界框仅占画面0.12%，凸显小目标检测挑战。所有帧源自同一环境与三个固定相机区域，视角与距离覆盖范围有限，且无预设训练/验证划分。图像携带合成到真实域的差异，适用于预训练或数据增强，而非真实世界评估的替代。

使用方法

使用时可依据实验需求自由划分300帧为训练、验证或测试子集，无需遵循固定拆分。标注文件同时提供YOLO与COCO两种格式，并附data.yaml便于YOLO训练器直接加载。分割图像需使用正确解析通道顺序的库读取，实例颜色为精确8位值，通道错位将导致掩码查找失败。帧号在图像、分割、标签与元数据间一一对应，可结合metadata进行相机与演员状态分析。

背景与挑战

背景概述

随着深度学习在计算机视觉领域的迅猛发展，高质量标注数据的需求与日俱增。传统人工标注成本高昂且难以规模化，促使研究者探索利用游戏引擎生成合成数据以辅助模型训练。barnyard-unreal-synthetic数据集由NameFrameCapture团队于2026年构建，基于Unreal Engine 5.8渲染了300帧谷仓环境图像，涵盖15,369个实例标注，旨在为小目标检测与实例分割提供可复现的合成预训练资源。该数据集通过引擎实例ID缓冲区自动生成标注，规避了人工标注的主观误差，为sim2real研究提供了可控的实验平台。

当前挑战

该数据集所应对的核心挑战在于小目标检测与实例分割的精度瓶颈，其平均边界框仅占画面0.12%，且类别分布严重不均衡，稀有类别与常见类别比例低至0.035。构建过程中，团队需确保渲染标注与引擎内部状态严格同步，并解决跨帧一致性、曝光不足以及合成到真实域的迁移鸿沟等问题。此外，相机视角受限于三个预设区域，导致视角与距离覆盖范围狭窄，且构建来源未被验证，这些因素共同限制了数据集作为独立评测基准的效力，更适宜作为预训练或数据增强材料使用。

常用场景

经典使用场景

在计算机视觉的合成数据研究脉络中，barnyard-unreal-synthetic 凭借虚幻引擎渲染的300帧高保真图像与15,369个实例级标注，成为目标检测与实例分割任务的经典实验平台。其标注直接读取引擎逐实例ID缓冲区，涵盖person、tractor、traffic_cone等七类目标，尤其以占比逾七成的小尺度实例构成显著挑战，常被用于YOLO系列检测器的预训练、微调及域适应评测。

实际应用

在农业机械感知、无人机巡检与仓储物流等场景中，该数据集可作为预训练资源或数据增强素材，辅助模型在真实部署前习得对桶、干草包、拖拉机等目标的鲁棒表征。借助YOLO格式标注与COCO格式注释的双重供给，工程人员能够快速接入主流训练框架，以较低标注代价提升检测器在边缘设备上的初始精度。

衍生相关工作

以该捕获为起点，后续研究常将其与同系列其他虚幻引擎环境数据联合使用，探索多环境预训练对sim2real泛化能力的增益。相关经典工作包括基于实例ID缓冲的自动标注流水线验证、面向小目标的合成数据增强策略，以及以确定性渲染种子为控制变量的域随机化消融实验，持续推动合成数据在检测与分割任务中的可信应用。