BlackMarbleLeivaProject

Black Marble项目：选定国家的每日VIIRS夜间灯光数据集是一个开源数据集，基于NASA Black Marble VIIRS VNP46A2产品构建，提供聚合到次国家级行政区划单位的每日夜间灯光面板数据。它覆盖秘鲁、玻利维亚和印度尼西亚，使用经过间隙填充和月球BRDF校正的夜间灯光变量，通过区域统计方法聚合到行政区划多边形。数据输出包括均值、中位数、总和、标准差、最小值、最大值、像素计数等统计指标，以Parquet格式组织，包含月度文件、应用就绪文件和元数据文件。适用于空间经济学、区域发展研究、环境监测、灾害分析等任务，但需注意云污染、传感器噪声等局限性，且数据不能直接解释为收入或经济活动的测量。数据集采用CC-BY-4.0许可证发布。The Black Marble Project: Daily VIIRS Nighttime Lights Dataset for Selected Countries is an open-source dataset repository that provides research-ready daily nighttime lights panel data, constructed from NASA Black Marble VIIRS VNP46A2 products and aggregated to sub-national administrative units. It currently covers three countries: Peru, Bolivia, and Indonesia, using gap-filled and lunar BRDF-corrected nighttime lights variables aggregated via zonal statistics to administrative polygons. The dataset outputs multiple statistical metrics such as mean, median, sum, standard deviation, min, max, pixel counts, and more, organized in Parquet format including monthly files, application-ready files, and metadata files. It is suitable for spatial economics, regional development studies, environmental monitoring, disaster impact assessment, and interactive visualizations, with limitations including cloud contamination, sensor noise, and boundary inconsistencies, and should not be directly interpreted as measures of income or economic activity without additional validation. The dataset is released under the CC-BY-4.0 license.

原始信息汇总

数据集概述：Black Marble Project: Daily VIIRS Nighttime Lights for selected countries

数据集简介

• 这是一个基于 NASA Black Marble VIIRS VNP46A2 产品，构建的每日夜间灯光面板数据集。
• 数据被聚合到次国家级行政单元，覆盖秘鲁、玻利维亚和印度尼西亚三个国家。
• 项目目标是为空间分析、地方经济监测、环境研究、灾害与冲击分析以及次国家发展模式的可视化，提供研究就绪的每日夜间灯光数据。

数据来源

• 主要遥感产品：NASA Black Marble VNP46A2（VIIRS/NPP Gap-Filled Lunar BRDF-Adjusted Nighttime Lights Daily L3 Global 500m product）。
• 核心变量：Gap_Filled_DNB_BRDF-Corrected_NTL。
• 行政边界来源：秘鲁使用INEI 1993年区级边界；玻利维亚和印度尼西亚使用QuaRCS项目边界。

当前覆盖范围

国家	行政单元类型	单元数量	状态
秘鲁	区（Districts）	1,793	进行中
玻利维亚	市（Municipalities）	339	进行中
印度尼西亚	县/市（Districts / regencies）	514	进行中

数据内容与变量

• 聚合到行政单元的典型输出变量包括：平均值（mean）、中位数（median）、总和（sum）、标准差（std）、最小值（min）、最大值（max）、像素计数（count）、有效像素计数（count_valid）、正光像素计数（count_positive）。

数据结构

• 仓库按国家组织，包含以下子目录：
  • figures/：预计算图表。
  • metadata/：元数据文件（如单元信息、国家均值、变量字典）。
  • daily_monthly_parquets/：月度Parquet文件，每个文件包含该月所有行政单元的有效日数据。
  • daily_app_by_unit/：按行政单元组织的轻量级Parquet文件，便于应用程序快速加载单个单元的时间序列。
  • boundaries/（秘鲁）：行政边界文件。

使用方法

• 可通过 hf://datasets/faviolc/BlackMarbleLeivaProject/ 路径直接使用Python读取Parquet文件。
• 示例：加载单个行政单元数据、加载单月文件、加载元数据。

方法论

• 工作流程包括：定义边界、加载NASA数据、选择变量、处理栅格、聚合到多边形、保存月检查点文件、验证、导出应用就绪文件、生成图表和元数据、发布至Hugging Face。

已知限制

• 数据可能受云污染、积雪、月球光照校正、极光、传感器噪声、火灾、天然气燃烧或临时光源影响。
• 不应直接解释为收入、人口、电力消耗或经济活动的直接测量值。

许可证与引用

• 许可证：Creative Commons Attribution 4.0 International License。
• 引用建议：Leiva, Favio. 2026. Black Marble Project: Daily VIIRS Nighttime Lights for selected countries. Hugging Face Dataset Repository.
• 同时建议引用NASA Black Marble VNP46A2产品、BlackMarblePy软件及对应国家的行政边界来源。

搜集汇总

数据集介绍

构建方式

在遥感与夜间灯光数据分析领域，高时空分辨率的亚国家级面板数据对于揭示区域发展动态具有关键价值。BlackMarbleLeivaProject 致力于将 NASA Black Marble VNP46A2 每日夜间灯光产品转化为可直接用于研究的行政单元级别面板数据。其构建流程始于选定目标国家及其行政边界，随后通过加载每日 NASA 卫星影像，提取 Gap_Filled_DNB_BRDF-Corrected_NTL 变量，借助分区统计（Zonal Statistics）将 500 米分辨率的栅格像元聚合至多边形行政单元中，计算均值、中位数、总和、标准差及有效像元数等统计指标。数据处理以月为单位生成 Parquet 检查点文件，并经质量验证后，进一步输出按行政单元组织的轻量化时间序列文件，最终将所有成果发布至公开存储库。

使用方法

用户可通过 Hugging Face Datasets 接口便捷地访问该数据集。通过指定路径加载按行政单元划分的 Parquet 文件，可快速获取单个地区的每日时间序列；若需进行全局分析，可调用月度 Parquet 文件，一次性读取指定月份内所有行政单元的观测数据。此外，数据仓库内还提供包含地区标识符、名称、行政层级及地理坐标等信息的元数据表，便于数据集与其他空间数据的连接与融合。项目同时提供可视化与编译两类 Colab Notebook，分别用于结果展示与流程再现，降低了使用门槛，助力研究人员高效开展区域经济发展监测、灾害影响评估及环境变化分析等实证工作。

背景与挑战

背景概述

夜间灯光遥感数据作为人类活动强度的关键代理变量，在城镇化监测、经济活动评估及灾害响应等领域发挥着不可替代的作用。由Favio Leiva于2026年主导创建的BlackMarbleLeivaProject数据集，依托NASA Black Marble VNP46A2每日500米分辨率产品，面向秘鲁、玻利维亚和印度尼西亚三国，将原始栅格数据聚合至次国家级行政单元，首次构建了以日度为时间粒度的标准化夜间灯光面板。该数据集通过提供研究即用的每日灯光时间序列，显著降低了遥感数据在空间经济学、环境科学和灾害分析等交叉学科中的使用门槛，为理解区域发展动态的微观尺度变化提供了数据基础。

当前挑战

该数据集在构建与应用中面临多重挑战。在领域问题层面，夜间灯光数据受云层污染、雪面反射、月照校正偏差及极光等大气效应干扰，导致观测值存在系统性的缺失与噪声，如何从这些混杂信号中准确分离出人类活动引起的灯光变化是一个核心难题。在构建过程中，跨国的行政边界来源不统一（如秘鲁采用INEI 1993年区划，玻利维亚和印尼则依赖QuaRCS项目），不同时期的边界变更增加了数据融合的复杂度。此外，原始工作流依赖私有仓库与NASA Earthdata认证，限制了完全复现的便利性，而临时光源（如火灾、渔火）的干扰也需要在后续版本中引入更精细的过滤机制。

常用场景

经典使用场景

BlackMarbleLeivaProject数据集的核心应用在于将每日NASA黑玛瑙VIIRS夜间灯光数据降尺度至次国家级行政单元，形成高时间分辨率的时序面板数据。研究者可基于此数据集，追踪秘鲁、玻利维亚、印度尼西亚等国家数千个行政区的夜间灯光辐射变化，从而捕捉局部经济活动、基础设施利用与人类活动的动态图谱，为区域发展研究提供精细化的遥感观测基础。

解决学术问题

该数据集系统性地填补了传统夜间灯光数据在时间粒度与空间聚合上的空白，解决了低频年度数据无法揭示短期波动与突发冲击的学术困境。它使学者能够在日尺度上分析自然灾害、政策干预或重大事件对地方经济活动的瞬时影响，并支持缺失值处理、异常检测等计量方法的稳健验证，极大地拓展了夜间灯光遥感在社会经济学、灾害管理学与地理信息科学交叉领域的研究深度。

实际应用

在实际应用层面，该数据集驱动了交互式数据探索与决策支持平台的构建，如计划中的Streamlit应用，允许用户实时选取国家、行政单元，可视化其日度灯光时序并与全国均值对比。地方政府与规划部门可借此快速评估地震、停电等事件的恢复进程；非政府组织亦可将其用于偏远地区能源接入与电网覆盖的监测，提升资源配置的科学性与时效性。

数据集最近研究

最新研究方向

将NASA Black Marble VNP46A2每日夜间灯光遥感数据降尺度至次国家行政单元（如秘鲁的区、玻利维亚的市、印尼的县市），构建高频、细粒度的逐日夜间灯光面板数据集，为区域经济动态监测、灾害冲击评估、环境遥感分析及交互式可视化研究提供研究就绪型数据基础设施。