bshepp/residuals-fingerprints

RESIDUALS数据集包含LiDAR DEM（数字高程模型）残差指纹，由39,716个残差图像组成。这些图像是通过对俄亥俄州费尔菲尔德县的单一LiDAR-derived DEM（1500×375，分辨率为3.33英尺/像素）应用593种不同的分解配置和25种上采样方法生成的。每行数据包含一个256×256的PNG残差图像（使用标准`RdBu_r`色彩映射和99百分位对称裁剪渲染）、生成该图像的算法和参数、一个40维特征向量以及预计算的2D/3D UMAP坐标。该数据集适用于算法分类基准测试、算法指纹识别/信号处理取证等任务。所有残差图像均来自同一地形，为研究不同算法的保留与破坏特性提供了干净的实验基础。数据集还包含详细的模式描述、源数据信息、分割信息和使用示例。The RESIDUALS dataset consists of LiDAR DEM residual fingerprints, comprising 39,716 residual images. These images were generated by applying 593 distinct decomposition configurations and 25 upsampling methods to a single LiDAR-derived Digital Elevation Model (DEM) in Fairfield County, Ohio (1500×375 at 3.33 ft/px resolution). Each row pairs a 256×256 PNG of the residual (rendered with the standard `RdBu_r` colormap and 99th-percentile symmetric clipping) with the algorithm and parameters that produced it, a 40-dimensional signature vector, and pre-computed 2D/3D UMAP coordinates. The dataset is designed for tasks such as algorithm classification benchmarking, algorithm fingerprinting/signal-processing forensics, and studying the effects of different algorithms on the same underlying terrain. It includes detailed schema descriptions, source data information, splits, and usage examples.

搜集汇总

数据集介绍

构建方式

该数据集以美国俄亥俄州费尔菲尔德县约1平方英里区域的LiDAR数字高程模型（DEM）为基底，通过系统性地组合593种不同的分解配置与25种上采样方法，生成总计39,716幅残差图像。每一幅残差图像均以256×256像素的PNG格式呈现，采用RdBu_r色图进行渲染，并执行第99百分位对称裁剪以增强视觉对比。除图像外，每条数据还记录了生成该残差的算法名称、参数配置、40维签名向量（涵盖径向FFT功率谱与统计矩），以及预先计算好的2D与3D UMAP坐标，形成一个结构紧凑的算法指纹库。

特点

该数据集的核心特色在于其独特的“同场景、全算法”设计理念——所有残差图像均源自同一地形场景，这使得研究不同算法对地形的保留与破坏模式成为可能。数据集支持算法分类基准测试（包含24个粗粒度家族类别或593个细粒度类别），并提供了清晰的UMAP空间聚类结果，便于信号处理溯源与逆问题研究。此外，所有原始数据均可通过公开的源码与DEM哈希值完全复现，确保了科学研究的可重复性。

使用方法

用户可通过Hugging Face的`datasets`库便捷加载该数据集，具体代码为`load_dataset("bshepp/residuals-fingerprints")`。数据集仅包含一个`train`分割，共39,716条记录，每条记录可直接通过索引访问其`decomp_family`、`decomp_params`等元数据字段及对应的`image`对象（返回PIL Image）。实际应用中，用户可自行定义数据划分策略，例如按算法家族类别进行留出法泛化测试，或采用随机划分进行独立同分布评估。由于数据量适中，亦适合在分类与特征提取任务中作为小型基准数据集使用。

背景与挑战

背景概述

RESIDUALS数据集由Brian Sheppard于2026年创建，旨在系统性地探索LiDAR数字高程模型（DEM）的分解与上采样算法指纹。该数据集通过593种不同的分解配置与25种上采样方法，对俄亥俄州费尔菲尔德县单一LiDAR DEM提取了39,716幅残差图像，构建了一个高纯度的算法分类基准。其核心研究问题在于：不同数学变换（如高斯滤波、小波、形态学滤波等）在相同地形上留下的‘指纹’是否具有可区分性，从而为信号处理取证、逆问题溯源以及算法特性分析提供标准化的参考空间。该数据集对遥感、考古学及计算机视觉领域具有重要影响，填补了在统一场景下系统比较算法行为的空白，其提供的40维签名向量与UMAP嵌入为算法指纹识别提供了可复现的量化工具。

当前挑战

该数据集所解决的领域挑战在于：在遥感与信号处理中，不同分解算法对地形信息的选择性保留与破坏难以在统一场景下进行系统比较，且算法指纹的可分辨性缺乏标准化基准。RESIDUALS通过单一场景下的全面参数扫描，首次实现了对24种算法家族共593种配置的视觉与量化指纹识别。构建过程中面临的挑战包括：从原始LiDAR点云到DEM的生成涉及复杂的坐标转换与精度控制（CRS: EPSG:3737）；大规模参数扫描（593×25种组合）产生了4.28 TB的float64输出，需通过256×256 PNG图像与40维签名向量进行压缩降维；此外，15个样本因签名计算中的除零边界被剔除，表明算法稳定性本身也是研究的重要维度。

常用场景

经典使用场景

RESIDUALS — LiDAR DEM residual fingerprints 数据集的核心使用场景在于对数字高程模型（DEM）残差图像进行算法分类与指纹识别。该数据集通过将593种不同的分解配置与25种上采样方法组合，从同一片俄亥俄州费尔菲尔德县的LiDAR DEM中提取出39,716幅残差图像。每幅256×256像素的残差图像均标注了生成算法及其参数，同时附带40维信号特征向量与UMAP降维坐标。研究者可将其作为基准，训练模型预测残差图像是由何种分解算法（24个家族类或593个细分类别）生成的，这对于理解不同地形分解算法的视觉特征差异具有重要意义。

解决学术问题

该数据集有效解决了遥感与信号处理领域中的两个关键学术问题。其一，揭示了不同地形分解算法在相同地形场景下的保留与破坏特性，为量化评估各类算法（如高斯滤波、小波变换、形态学滤波、各向异性扩散等）的地形信息保持能力提供了标准化测试平台。其二，通过40维径向FFT功率谱与统计矩组成的签名向量，展示了算法家族在UMAP嵌入空间中的清晰聚类结构，为信号处理取证和逆向问题溯源提供了可重复的参考基准。这些特性使得数据集成为了研究算法指纹识别与地形分解机制的重要资源。

衍生相关工作

该数据集衍生了一系列重要工作。其配套的RESIDUALS项目（https://github.com/bshepp/RESIDUALS）公开了完整的4.28TB浮点输出重建源代码，保证了研究的完全可复现性。residuals-visuals项目则提供了残差图像的全景图集、扫描视频与Blender漫游动画，为算法差异的可视化比较树立了新范式。在学术研究层面，数据集构建的593种分解配置与25种上采样方法的穷举组合，可作为算法分类和信号处理取证领域的标准基准，带动了DEM残差分析、地形特征提取以及基于UMAP的算法聚类研究的发展。这些衍生工作共同推动了遥感与信号处理领域的交叉创新。