D435i FOD Dataset

一个使用Intel RealSense D435i深度相机捕获的外来物碎片（FOD）数据集，包含中小型物体在混凝土路面上的数据。数据集具有420帧，总大小约19 GB，分辨率1280×720，帧率30 FPS，采集高度0.6米，深度范围0.2-3.0米，表面为干燥混凝土粗糙纹理。

This is a Foreign Object Debris (FOD) dataset captured using an Intel RealSense D435i depth camera, containing data of small and medium-sized objects on concrete pavement. The dataset consists of 420 frames, with a total size of approximately 19 GB, a resolution of 1280×720, a frame rate of 30 FPS, an acquisition height of 0.6 meters, a depth range of 0.2–3.0 meters, and the surface is dry concrete with rough texture.

原始信息汇总

数据集概述

数据集名称：D435i FOD Dataset（基于Intel RealSense D435i深度相机的外来碎片数据集）

数据集地址：https://github.com/Victor-sck/Realsense_D435i_FOD_Dataset

采集与硬件参数

• 相机型号：Intel RealSense D435i
• 分辨率：1280 × 720
• 帧率：30 FPS
• 采集高度：距地面0.6米
• 深度范围：0.2米 – 3.0米
• 路面条件：干燥混凝土路面，表面粗糙
• 数据总量：约19 GB，共420帧

目录结构与数据模态

D435i_FOD_Dataset/ ├── calib/ # 相机标定参数 ├── color/ # RGB图像（PNG, 1280×720, 8-bit） ├── left_ir/ # 左IR立体图像（PNG, 1280×720） ├── right_ir/ # 右IR立体图像（PNG, 1280×720） ├── depth/ # 深度图（raw PNG + 米级NPY） ├── disparity/ # 视差图（PFM, float32） ├── mask/ # 有效深度二值掩码（8-bit PNG） ├── pointcloud/ # 彩色3D点云（PLY, 二进制） ├── pointcloud_array/ # 点云NumPy数组（NPY） └── meta/ # 每帧元数据（JSON）

每帧文件命名统一采用6位数字前缀（000001 – 000420），示例（frame 000001）：

模态	文件路径
Color	color/000001.png
Left IR	left_ir/000001.png
Right IR	right_ir/000001.png
Depth raw	depth/000001_depth_raw.png
Depth (meters)	depth/000001_depth_m.npy
Disparity	disparity/000001.pfm
Valid mask	mask/000001.png
Point cloud	pointcloud/000001.ply
Point cloud array	pointcloud_array/000001.npy
Metadata	meta/000001.json

相机标定参数

标定文件位于 calib/realsense_d435i_1280x720.json

参数	左IR / 右IR / 深度相机	彩色相机
焦距 (fx, fy)	639.14, 639.14	914.31, 912.38
主点 (cx, cy)	633.05, 357.06	646.72, 371.75
畸变模型	Brown-Conrady（全零）	Inverse Brown-Conrady（全零）
基线长度	50.01 mm	—
深度缩放因子	0.001 m/unit	—

物体类别与分布

共20类物体，总计420帧：

数量	类别
40	metalpart
20	tape, metalsheet, nail, hammer, wire, adjustablewrench, rock, nut, bolt, hose, sodacan, boltwasher, pen, screwdriver, boltnutset, plasticpart, pliers, battery, cutter

物体属性分布：

• 材质：金属（280）、塑料（100）、PVC（20）、石头（20）
• 尺寸等级：中等（120）、大（120）、小（120）、未知（40）、极小（20）
• 形状：全部为不规则碎片

每帧元数据（JSON）

每个 meta/*.json 包含：

• frame_id：帧索引
• capture_time：采集时间戳
• image_files：所有模态的相对路径
• camera_setting：分辨率、FPS、流配置
• scene_label：物体类别、材质、尺寸（mm）、形状、尺寸等级、物体数量、路面类型与状况、相机高度
• valid_depth_rule：有效深度阈值（0.2 m / 3.0 m）
• disparity_formula：视差计算公式及参数

深度与视差

• 深度图提供两种形式：原始16位PNG（毫米级）和float32 NPY（米级）

• 视差图以单通道float32 PFM文件存储，计算公式：

  d = fx × baseline / Z

  其中 fx = 639.14，baseline = 0.05001 m，Z 为以米为单位的深度

使用说明

• 有效深度掩码（mask/）标记像素深度在 [0.2 m, 3.0 m] 内的区域
• 点云（PLY）由深度图和彩色图像预计算生成，包含 XYZ + RGB
• 点云数组（NPY）以形状为 (N, 6) 的NumPy数组存储，列顺序为 (x, y, z, r, g, b)
• 左IR和右IR图像构成立体像对，基线约50 mm

许可与下载

• 许可：仅用于研究目的，使用时请引用或标注本仓库
• 下载地址：
  • 数据集页面：https://huggingface.co/datasets/VictorS0908/D435i_FOD_Dataset
  • 直接下载：https://huggingface.co/datasets/VictorS0908/D435i_FOD_Dataset/resolve/main/D435i_FOD_Dataset.rar
• 文件信息：文件名 D435i_FOD_Dataset.rar，RAR压缩格式，下载后需解压使用

搜集汇总

数据集介绍

构建方式

D435i FOD数据集由Intel RealSense D435i深度相机在离地0.6米高度采集，聚焦于混凝土路面上的小型至中型异物碎屑。数据集包含420帧、1280×720分辨率、30帧/秒的影像序列，覆盖0.2至3.0米的深度范围。每帧同步记录彩色图像、左右红外立体图像、原始深度图、米制深度数组、视差图、有效深度掩码、彩色点云及逐帧元数据。标定参数以JSON形式提供，涵盖内外参及基线距离。同时，数据集按20种类别组织样本，包括金属片、螺钉、锤子等，材质涵盖金属、塑料、PVC与石材，形状均为不规则碎片。

特点

该数据集具有多模态同步记录与精细标注的显著特点。除标准RGB图像外，还提供左右红外立体对、16位原始深度PNG与float32米制深度NPY、单通道float32视差PFM以及包含XYZRGB的点云PLY和NPY格式。每帧附带JSON元数据，详细记录采集时间、相机参数、场景标注（含物体类别、材质、尺寸、形状、数量及路面状态）与深度有效性规则。数据集中物体尺寸覆盖微小、小型、中型与大型，保证了尺度多样性，适用于异物检测算法的鲁棒性评估。

使用方法

研究人员可通过Hugging Face数据集页面直接下载RAR压缩包，解压后得到标准目录结构。彩色图像、深度图和掩码等以PNG格式存放，便于直接可视化；深度数组为NPY格式，适合Python生态快速加载与运算。点云数据以PLY和NPY两种形式提供，可灵活应用于三维目标检测与分割任务。有效深度掩码剔除了超出0.2至3.0米范围的像素，简化了预处理流程。逐帧元数据JSON文件可直接解析，用于提取场景标签与物体属性，支撑有监督学习与算法评估。

背景与挑战

背景概述

在航空与基础设施建设领域，跑道异物（Foreign Object Debris, FOD）对飞行安全构成重大威胁，轻则损伤航空器，重则引发灾难性事故。传统的人工巡检或基于固定摄像头的监测方案效率有限，难以覆盖广阔且环境复杂的跑道区域。为此，该数据集于近年由相关研究团队采用Intel RealSense D435i深度相机创建，核心研究问题聚焦于利用立体视觉与深度传感技术，在粗糙混凝土路面上实现对小至中等尺寸异物的精准检测与识别。数据集包含20类常见FOD物体（如金属零件、工具、石块等），并提供了同步的彩色图、红外立体图、深度图、视差图、点云及相机标定参数等丰富模态。其发布为基于深度学习的FOD自主检测与三维感知研究提供了标准化评测基准，对推动机场跑道安全智能化监测领域的发展具有重要影响力。

当前挑战

该数据集所对应的核心领域挑战在于：如何克服户外复杂光照、路面纹理干扰与异物目标尺度多变等困难，实现高精度低漏检率的FOD检测。具体而言，小尺寸异物在远距离深度范围内仅有极少像素，区分度不足，易与粗糙路面背景混淆；金属表面产生的强镜面反射与阴影也会严重干扰深度与立体匹配的准确性。在构建过程中，挑战包含多模态数据的时间同步与空间标定，保证彩色、红外与深度信息在像素级精确对齐；其次，在0.2米至3.0米有限的深度范围内，需手工标注420帧中20类异物的精确边界与属性，同时平衡物体材质、尺寸、形状的多样性，以避免数据集过偏而影响模型泛化性能。

常用场景

经典使用场景

在机场跑道、高速公路及工业厂区等复杂室外环境中，异物检测（FOD）是保障基础设施安全与运营效率的关键任务。该数据集专为此场景设计，利用Intel RealSense D435i深度相机在干燥混凝土路面上采集了420帧涵盖20类小到中型物体的多模态数据，包括RGB图像、左右红外立体对、深度图、视差图、点云及有效深度掩膜等。其经典用法在于为基于深度学习的视觉检测模型提供高精度且配准良好的训练与评估基准，尤其适用于需要在低成本深度传感器下实现鲁棒FOD识别的研究与开发。

实际应用

在实际应用中，该数据集为机场助航侧区、高速公路养护以及自动化物流仓库的外来物监测系统提供了关键算法验证平台。基于其多视角与点云数据，工程师可开发部署于嵌入式设备上的轻量化FOD检测模型，实现拍照即判别的高效巡检流程。此外，结合深度与视觉数据，系统能够精准估计异物三维尺寸与空间位置，辅助自动化清扫或警示决策，从而显著降低人工巡检成本，提升民航与交通运营的安全冗余度，展现出从学术原型向行业解决方案转化的巨大潜力。

衍生相关工作

该数据集的出现催生了一系列高影响力的学术贡献，包括基于注意力机制的多模态FOD检测网络、用于小目标发现的深度视差协同分割方法以及知识蒸馏驱动的实时异物识别框架。研究者们还利用其精准对齐的多模态数据，构建了跨场景域自适应FOD特征学习基准，推动了对深度传感器在复杂光照下的成像退化建模。这些衍生工作不仅深化了对纹理受限环境中安全监测问题的理解，还为后续开发可扩展的智能道面评估系统提供了方法论与评价标准上的重要起点。