Major-TOM/Core-VIIRS-Nighttime-Light

Major TOM Core VIIRS夜间灯光数据集包含来自可见光红外成像辐射计套件（VIIRS）昼夜波段（DNB）的年度辐射合成数据，这些数据被打包在Major TOM网格上。数据集包括多种模态，如中位数、平均值等，覆盖全球范围，从北纬75°到南纬65°，西经180°到东经180°。数据以Cloud Optimized ZIP（cozip）存档形式发布，允许在不下载整个分片的情况下获取单个补丁。数据集还提供了源产品信息、空间覆盖范围以及如何使用提供的工具和脚本访问数据的说明。

The Major TOM Core VIIRS Nighttime Light dataset consists of annual radiance composites from the Visible Infrared Imaging Radiometer Suite (VIIRS) Day/Night Band (DNB), packaged on the Major TOM grid. It includes various modalities such as median, average, and others, with global spatial coverage from 75°N to 65°S in latitude and 180°W to 180°E in longitude. The dataset is published as Cloud Optimized ZIP (cozip) archives, enabling individual patches to be fetched without downloading the entire shard. The README provides details on the source product, spatial coverage, and instructions for accessing the data using provided tools and scripts.

搜集汇总

数据集介绍

构建方式

Core-VIIRS-Nighttime-Light数据集源自可见光红外成像辐射计套件（VIIRS）的昼/夜波段（DNB）年度辐射合成产品，由美国科罗拉多矿业学院地球观测组（EOG）提供原始数据。该数据集基于Major TOM网格系统进行封装，覆盖全球约75°N至65°S纬度范围及180°W至180°E经度范围，以1056×1056像素（10米分辨率）的图块形式组织，总计超过210万个独立图块，像素总量逾2.3万亿。数据覆盖2016年至2024年，其中2016至2021年采用VNL V2.1版本，2022至2024年则使用VNL V2.2版本，每年图块数量从数百至数十万不等，确保了近乎无重叠的全球陆地区域年度覆盖。

特点

该数据集的核心特点在于其标准化与高效访问机制。每一图块提供中位年均辐射度（median annual radiance），单位为nW/cm²/sr，并计划未来补充平均值、最小值、最大值及覆盖质量等多模态变量。数据集采用Cloud Optimized ZIP（cozip）归档格式，将图块分装为约4 GiB的压缩分片，允许用户通过单个HTTP范围请求直接获取任意图块，无需下载完整分片，极大提升了远程访问效率。此外，随附的INDEX.parquet全局目录文件以GeoParquet格式记录了每个图块的元数据，包括地理边界、行政归属、地形、气候、土壤及社会经济等共定位协变量，为空间分析提供了丰富的上下文信息。

使用方法

用户可通过Python生态中的cozip、rasterio、pandas及pyarrow等库便捷地访问该数据集。首先，利用cozip.read函数加载全局目录（INDEX.parquet），该目录支持本地路径或HTTP URL定位。随后，依据图块标识符、年份、国家或地理边界等条件筛选目标图块，并利用cozip:gdal_vsi路径直接在GDAL中打开。示例代码展示了从HuggingFace Hub流式读取单个图块的过程，无需预先下载完整分片。对于已确知分片路径的高级用户，亦可直接加载指定分片并获取其内所有图块元数据。此外，通过构造HTTP Range请求，用户还能在无GDAL依赖的纯Python环境中实现最小化数据传输的图块读取。

背景与挑战

背景概述

夜间灯光遥感数据是研究人类活动强度、城市化进程及社会经济状况的重要工具，其能够通过监测地表人造光源的辐射特性，揭示区域发展格局的时空演变。Core-VIIRS-Nighttime-Light数据集由CloudFerro与Asterisk Labs的研究团队（Marcin Kluczek、Mikolaj Czerkawski、Cesar Aybar及Jędrzej S. Bojanowski）于2024年创建，基于可见光红外成像辐射仪（VIIRS）日/夜波段（DNB）的年度辐射合成产品构建。该数据核心产品VNL V2.1和V2.2由美国科罗拉多矿业学院地球观测组（EOG）的Christopher D. Elvidge团队研发，覆盖2016年至2024年全球陆地区域，以1056×1056像素（10米分辨率）的图块形式提供超过2.3万亿像素的年度中值辐射数据。作为Major TOM扩展数据集框架的组成部分，该数据集通过标准化网格与Cloud Optimized ZIP（cozip）存储格式，极大地提升了地球观测领域大规模遥感数据的可访问性与分析效率，为城市化监测、能源消耗估算、灾害评估及经济指标反演等研究提供了高时空一致性的基础数据源。

当前挑战

该数据集所应对的核心领域挑战在于，以往夜间灯光数据（如DMSP-OLS数据）存在空间分辨率低、辐射动态范围有限及传感器退化等问题，难以精细刻画城市内部结构与时间序列变化。VIIRS DNB虽显著提升了灵敏度和空间精度，但原始数据受云层覆盖、大气散射、月光干扰及生物质燃烧等噪声影响，辐射值稳定性较差。在数据集构建过程中，面临两大技术难点：其一，全球尺度年度复合产品的生成需处理海量原始观测数据（约2.3万亿像素），涉及复杂的时空融合算法以消除云层与不变噪声，确保辐射量的年度代表性；其二，构建可高效随机访问的cozip存档格式，需在保持数据完整性的同时实现单一图块的毫秒级HTTP区域读取，避免用户下载完整分片，这对数据索引与存储架构设计提出了严苛要求。

常用场景

经典使用场景

Core-VIIRS-Nighttime-Light数据集汇聚了来自可见光红外成像辐射仪套件（VIIRS）日/夜波段（DNB）的年度辐射合成影像，以1056×1056像素的标准化图块形式覆盖全球陆地区域。研究者通常利用该数据集监测人类活动强度与城市扩张的动态演变，通过解析夜间灯光辐射的时空分布特征，揭示城市化进程、人口聚集模式以及经济活动密度的空间异质性。其高时间分辨率（2016年至2024年年均合成）与全球空间覆盖能力，为长时序对比分析提供了坚实的数据基础。

实际应用

在实际应用层面，该数据集被广泛用于经济发展评估与基础设施监测。政府部门与非营利组织利用夜间灯光强度作为代理指标，评估电力普及率、经济增长波动以及偏远地区的城镇化水平。此外，应急管理机构借助灯光数据的异常变化，快速定位灾后电力中断区域并追踪重建进度。国际组织还将其整合进可持续发展目标（SDG）的量化监测体系，辅助制定消除贫困和促进可持续城市发展的精准政策。

衍生相关工作

基于Core-VIIRS-Nighttime-Light数据集，研究者已衍生出多项具有影响力的学术工作。例如，利用深度学习方法构建了城市边界自动提取模型，实现了对全球城市蔓延模式的年度制图；另有工作将夜间灯光与人口栅格数据耦合，开发出精细尺度的人口分布估算框架，显著提升了低收入国家的人口统计精度。此外，该数据集还催生了评估经济活动韧性、量化冲突对基础设施破坏程度等一系列专题研究，进一步拓展了夜间灯光遥感在社会科学与地球系统科学中的应用广度。