1aurent/PovertyMap

这是一个处理过的数据集，包含来自Google Earth Engine的LandSat 5/7/8卫星图像、DMSP和VIIRS卫星的夜间灯光图像，以及处理过的DHS调查元数据。这些数据用于研究非洲不同国家的经济福祉。数据集的特征包括图像、标签、经纬度、财富池、国家、年份、城市/农村、夜间灯光均值、夜间灯光中心、家庭数量等。数据集分为训练集、验证集和测试集，每个集的大小和样本数都有详细说明。

This is a processed version of LandSat 5/7/8 satellite imagery originally from Google Earth Engine under the names `LANDSAT/LC08/C01/T1_SR`,`LANDSAT/LE07/C01/T1_SR`,`LANDSAT/LT05/C01/T1_SR`, nighttime light imagery from the DMSP and VIIRS satellites (Google Earth Engine names `NOAA/DMSP-OLS/CALIBRATED_LIGHTS_V4` and `NOAA/VIIRS/DNB/MONTHLY_V1/VCMSLCFG`) and processed DHS survey metadata obtained from https://github.com/sustainlab-group/africa_poverty and originally from `https://dhsprogram.com/data/available-datasets.cfm`. These data are used to study economic well-being in Africa.

原始信息汇总

数据集概述

数据集描述

数据文件配置

• 默认配置 (default)
  • 训练集 (train): 路径为 data/train-*
  • 内部验证集 (id_val): 路径为 data/id_val-*
  • 内部测试集 (id_test): 路径为 data/id_test-*
  • 验证集 (val): 路径为 data/val-*
  • 测试集 (test): 路径为 data/test-*

数据集信息

• 特征
  • 图像 (image): 序列类型为 float32
  • 标签 (label): 数据类型为 int64
  • 纬度 (lat): 数据类型为 float64
  • 经度 (lon): 数据类型为 float64
  • 财富指数 (wealthpooled): 数据类型为 float64
  • 国家 (country): 数据类型为 int64
  • 年份 (year): 数据类型为 int64
  • 城市 (urban): 数据类型为 bool
  • 夜间灯光均值 (nl_mean): 数据类型为 float64
  • 夜间灯光中心 (nl_center): 数据类型为 float64
  • 家庭数量 (households): 数据类型为 int64

数据集分割

• 训练集 (train)
  • 字节数: 15801660900.87406
  • 样本数: 9797
• 内部验证集 (id_val)
  • 字节数: 1611295216.9003966
  • 样本数: 999
• 内部测试集 (id_test)
  • 字节数: 1612908125.025422
  • 样本数: 1000
• 验证集 (val)
  • 字节数: 6304857860.724375
  • 样本数: 3909
• 测试集 (test)
  • 字节数: 6391954899.475747
  • 样本数: 3963

数据集大小

• 下载大小: 16974411052 字节
• 数据集大小: 31722677003 字节

许可证

• 类型: other
• 详细信息: LandSat/DMSP/VIIRS 数据为美国公共领域

任务类别

• 图像分类 (image-classification)

标签

• 地图 (map)
• 贫困 (poverty)
• 卫星 (satellite)

大小类别

• 10K<n<100K

搜集汇总

数据集介绍

构建方式

PovertyMap数据集的构建融合了多源遥感数据与实地调查信息，旨在通过卫星影像揭示非洲地区的经济福祉分布。其数据源包括来自Google Earth Engine的Landsat 5/7/8卫星影像、DMSP和VIIRS卫星的夜间灯光影像，以及经处理的DHS调查元数据。影像与调查数据经过地理配准与时间对齐，形成以图像、标签及经纬度、国家、年份等多元特征为结构的样本。数据集按训练、域内验证、域内测试、域外验证和域外测试划分，共计近两万样本，为跨域贫困映射研究提供了坚实基础。

使用方法

使用PovertyMap时，研究者可加载预定义的训练、验证和测试划分，直接应用于图像分类或回归任务。数据以HuggingFace Datasets格式提供，支持通过Python API快速访问图像张量和标签。典型流程包括利用卷积神经网络提取影像特征，结合经纬度等元数据进行空间上下文建模，并针对财富指数进行预测。数据集还兼容域外评估设置，便于检验模型在跨区域场景下的稳健性。建议引用原始论文以遵循学术规范，并注意卫星数据为美国公共领域许可，而DHS数据需遵守其使用条款。

背景与挑战

背景概述

PovertyMap数据集由斯坦福大学和加州大学伯克利分校的研究团队于2020年创建，核心研究问题在于利用公开可获取的卫星影像与深度学习技术，实现对非洲地区经济福祉的精准评估。该数据集融合了Landsat 5/7/8多光谱卫星图像、DMSP与VIIRS夜间灯光数据，以及来自DHS（人口与健康调查）的地面真实财富指标，旨在突破传统贫困测绘中数据稀疏、成本高昂的局限。通过构建包含近万个样本的多国标注图像库，该数据集为跨区域贫困预测提供了标准化基准，其成果发表在《自然·通讯》上，对发展经济学、遥感科学与人工智能的交叉领域产生了深远影响，推动了卫星数据在可持续发展目标监测中的实际应用。

当前挑战

PovertyMap面临的挑战首先体现在领域问题的复杂性上：贫困是一个多维概念，仅依赖卫星图像与夜间灯光数据难以全面捕捉收入、消费、资产等经济指标的细微差异，且不同国家间的社会经济结构与地理环境差异显著，导致模型泛化能力受限。在构建过程中，研究人员遭遇了数据对齐的困难——DHS调查点坐标的精度限制与卫星影像的时间匹配问题，使得标签与图像间的关联存在噪声；同时，多源遥感数据（如Landsat与DMSP）的空间分辨率与光谱特征不一致，增加了特征融合的难度。此外，训练样本的稀疏性（仅约一万个标注点）与地理分布的偏倚，进一步加剧了模型在未观测区域的预测不确定性。

常用场景

经典使用场景

PovertyMap数据集是面向贫困制图与经济发展评估的经典遥感影像基准，其核心应用场景在于利用多源卫星数据（Landsat 5/7/8、DMSP与VIIRS夜光影像）结合DHS调查元数据，训练深度学习模型以预测区域财富指数。该数据集通过提供包含图像、经纬度、国家、年份及城市/农村标签的结构化样本，支持监督式回归与分类任务，尤其适合跨国家、跨时间序列的经济福祉建模研究。

解决学术问题

该数据集有效解决了传统贫困调查数据稀疏、更新滞后且难以覆盖偏远地区的问题，为计算机视觉与空间经济学交叉领域提供了可复现的基准。研究者借此可探究卫星影像中隐含的建成环境、基础设施与经济活动特征，从而量化贫困程度的空间异质性，并验证深度学习模型在低资源环境下的泛化能力，推动了地理空间人工智能在可持续发展目标（SDGs）中的应用。

实际应用

在实际应用中，PovertyMap支持非政府组织与国际发展机构利用公开卫星数据替代昂贵入户调查，实现贫困区域的快速识别与动态监测。例如，通过模型输出的财富池化（wealthpooled）指标，可辅助扶贫资源分配、基建投资优先级排序以及灾后经济影响评估，显著降低数据获取成本并提升决策时效性。

数据集最近研究

最新研究方向

近年来，基于卫星影像与深度学习的贫困地图绘制研究，正从单一国家或区域的静态评估，迈向跨国家、跨时段的动态泛化分析。PovertyMap数据集的发布，为探索遥感图像中的社会经济特征与财富指标之间的复杂映射关系提供了关键支撑。前沿研究聚焦于解决模型在域迁移中的鲁棒性问题，例如利用对抗训练与自监督学习提升模型在未见过的国家或年份上的预测能力。同时，结合夜间灯光强度、土地利用类型等多模态数据，学者们正致力于捕捉贫困的细粒度空间异质性，以支持可持续发展目标中的精准减贫决策。这一方向不仅推动了地理空间人工智能的理论发展，也为政策制定者提供了低成本、高时效的贫困监测工具，具有深远的社会经济影响。