electricsheepafrica/africa-displacement-ethiopia

该数据集来自国际移民组织（IOM）的位移追踪矩阵（DTM）公开API，允许人道主义社区、学术界、媒体、政府和非政府组织利用DTM收集的数据。DTM API仅提供非敏感的国内流离失所者（IDP）数据，按国家、Admin 1（州、省或等效）和Admin 2（较小的次国家行政区域）级别汇总。数据集中的每一行代表次国家行政单位的观察结果，时间覆盖范围由`reportingdate`列指示，地理范围为埃塞俄比亚（ETH）。数据集由Electric Sheep Africa整理为适合机器学习的Parquet格式，包含训练和测试分割。

This dataset comes from the International Organization for Migration (IOM)s displacement tracking matrix (DTM) publicly accessible API, allowing the humanitarian community, academia, media, government, and non-governmental organizations to utilize the data collected by DTM. The DTM API only provides non-sensitive IDP figures, aggregated at the country, Admin 1 (states, provinces, or equivalent), and Admin 2 (smaller subnational administrative areas) levels. Each row in this dataset represents subnational administrative unit observations, with temporal coverage indicated by the `reportingdate` column(s) and geographic scope limited to Ethiopia (ETH). The dataset is curated into ML-ready Parquet format by Electric Sheep Africa, including train and test splits.

搜集汇总

数据集介绍

构建方式

该数据集源自国际移民组织（IOM）在埃塞俄比亚提格雷地区开展的村庄评估调查（Village Assessment Survey），是人口流动追踪项目的一个子模块。数据通过实地走访村庄设施或站点，收集返乡境内流离失所者（IDPs）、当前境内流离失所者、返乡移民及收容社区成员的多维度信息，重点评估村庄对返乡IDPs的吸收能力，涵盖服务可及性、生计状况和重返社会进程。原始数据来自人道主义数据交换平台（HDX），经Electric Sheep Africa团队清理并转换为机器学习就绪的Parquet格式，构建为包含训练集771条、测试集192条记录的标准化数据集。

特点

该数据集具备高维度和多模态特征，共计523列，涵盖87个数值型、434个类别型和2个时间型变量。其核心特色在于精细的地理颗粒度，记录了从国家、区域到村落乃至经纬度的多级空间信息；时间跨度体现在调查日期和报告日期字段，支持纵向分析；人口统计维度详尽，包含性别、年龄分层的返乡IDPs和收容社区人数；此外还纳入了生计类型、农作物种植、灌溉设施、饮用水获取等与社会经济复苏密切相关的指标，为探究流离失所与重返社会动态提供了丰富的数据基础。

使用方法

用户可通过Hugging Face Datasets库快速加载该数据集，示例代码为`load_dataset("electricsheepafrica/africa-displacement-ethiopia")`，加载后可直接获取训练集和测试集的pandas DataFrame对象进行进一步分析。数据集适用于监督学习任务，如基于村落特征预测返乡IDPs人数或水资源可及性等回归与分类问题；也可用于探索性数据分析，揭示流离失所模式、生计恢复路径及服务覆盖缺口。研究者可利用其高维特征进行特征工程或迁移学习，以支持人道主义决策与政策评估。

背景与挑战

背景概述

在非洲之角，武装冲突与气候冲击交织引发的境内流离失所（IDP）危机日益严峻，精准的人道主义数据成为制定有效干预策略的基石。由国际移民组织（IOM）于2025年5月最新更新的Ethiopia Displacement数据集，依托其位移追踪矩阵（DTM）下的村级评估调查（VAS），系统记录了埃塞俄比亚提格雷地区返乡IDP、返乡移民及收容社区的多维生存状况。该数据集聚焦于村庄对返乡人口的接纳能力，涵盖服务可及性、生计恢复与重新融入社会等核心指标，为定量分析流离失所动态与恢复韧性提供了标准化、可重复利用的机器学习就绪语料，有力地推动了人道主义领域的数据驱动决策。

当前挑战

该数据集所应对的核心领域挑战在于：如何从碎片化的现场调查中捕捉流离失所人口的复杂恢复轨迹，并量化村庄层面的接纳瓶颈，如土地获取障碍、水源与免疫服务的可及性不足等，这要求模型具备处理极度稀疏与高维分类变量的能力。构建过程中，数据集面临显著的挑战：原始调查数据以非结构化的‘选择全部适用’格式存储，导致产生522列高维稀疏特征（87个数值型、434个分类型），超过73%的列存在高缺失率；且时间覆盖度有限（仅第16轮调查），空间范围严格局限于提格雷地区，这些特性对模型的泛化与鲁棒性构成了严峻考验。

常用场景

经典使用场景

该数据集源自国际移民组织在埃塞俄比亚提格雷地区开展的村级评估调查，聚焦于境内流离失所者返乡后的村庄吸纳能力。经典使用场景包括构建返乡人口规模与时间分布预测模型，分析流离失所持续时间、返乡潮汐与村庄基础设施承载力之间的关联。研究者可借助其中数百个涵盖地理、人口、生计、服务可及性的字段，评估村庄在饮用水、耕地、灌溉系统及医疗免疫等方面的恢复状况，从而量化人道主义干预的优先级与资源配置效率。

解决学术问题

该数据集为冲突驱动的人口流动与灾后恢复研究提供了精细的微观证据。它帮助学界突破宏观统计数据的局限，深入揭示返乡流离失所者在土地获取、生计重建与社会融入中面临的结构性障碍。基于这些数据，研究者可以检验‘返乡吸纳能力’这一概念的操作化定义，并构建计量模型以评估冲突烈度、流离失所时长与村庄服务缺口之间的因果链条。其意义在于为人道主义响应策略的循证决策奠定了数据基础。

衍生相关工作

该数据集催生了多项围绕非洲人道主义数据标准化与机器学习就绪化的衍生工作。例如，Electric Sheep Africa 团队将其转化为 Parquet 格式并分割训练与测试集，为后续的表格分类与回归任务铺平了道路。此外，该数据推动了 HXL（人道主义交换语言）标签体系在结构化调查数据中的应用，促进了跨组织数据互操作。基于此数据，已有研究者探索利用梯度提升树预测村庄层面的返乡人口峰值，以及运用聚类方法识别人道主义援助的优先区域。