osm-polygon-selection

osm-polygon-selection 是一个从 OpenStreetMap 中精选出的多边形数据集，覆盖了 39 个欧洲国家。该数据集包含 3,657,631 个多边形，每个多边形都根据其面积（范围在 0.1 至 100 平方公里之间）被分类为小、中或大三种尺寸分箱，并通过 Natural Earth admin0 形状文件查找其质心所在的大陆（continent）和国家（country）信息。数据以 Parquet 格式提供，包括一个整合了所有多边形的文件以及按国家划分的独立文件。每个数据样本包含以下字段：OpenStreetMap 对象 ID（osm_id）和类型（osm_type）、多边形质心的经纬度坐标（centroid_lon， centroid_lat）、以平方公里计的面积（area_km2）、OSM 的键值对标签列表（tags）、所属大陆（continent）、尺寸分箱（size_bin）、所属国家（country）、数据提取状态（extract_status，分为clean完成和killed中断）以及源 PBF 文件日期（pbf_date）。数据经过了严格的筛选流程：首先过滤面积在指定范围内的多边形，然后确保其至少包含一个来自包含 22,075 个 OSM 标签的白名单中的标签（该白名单基于对 OSM 标签的 TF-IDF 和嵌入向量分析聚类得出），最后进行地理分类和尺寸分箱。数据集主要适用于地理空间分析、土地利用/土地覆盖研究、遥感应用以及作为地理空间基础模型的训练数据。需要注意的是，在 39 个国家中，有 38 个国家的数据提取过程已完成（状态为clean），而荷兰（Netherlands）的数据提取在流程中被中断（状态为killed）。osm-polygon-selection is a curated polygon dataset from OpenStreetMap, covering 39 European countries. It contains 3,657,631 polygons, each classified into small, medium, or large size bins based on its area (ranging from 0.1 to 100 square kilometers), and its centroids continent and country information is determined using Natural Earth admin0 shapefiles. The data is provided in Parquet format, including a consolidated file of all polygons and separate files by country. Each data sample includes the following fields: OpenStreetMap object ID (osm_id) and type (osm_type), polygon centroid longitude and latitude coordinates (centroid_lon, centroid_lat), area in square kilometers (area_km2), a list of OSM key-value pair tags (tags), continent (continent), size bin (size_bin), country (country), data extraction status (extract_status, categorized as clean for completed or killed for interrupted), and source PBF file date (pbf_date). The data undergoes a rigorous screening process: first, polygons are filtered by area within the specified range; then, they must contain at least one tag from a whitelist of 22,075 OSM tags (derived from TF-IDF and embedding vector analysis clustering of OSM tags); finally, geographic classification and size binning are performed. The dataset is primarily suitable for geospatial analysis, land use/land cover studies, remote sensing applications, and as training data for geospatial foundation models. Note that among the 39 countries, data extraction is completed (clean) for 38 countries, while for the Netherlands, the extraction was interrupted (killed) during the process.

原始信息汇总

数据集名称：osm-polygon-selection

许可协议：ODbL

任务类别：其他

语言：英语

标签：地理空间、OpenStreetMap、多边形、土地利用、土地覆盖、遥感、基础模型

数据规模：大于1M且小于10M条记录

数据集简介： 这是一个经过筛选的OpenStreetMap多边形数据集，覆盖45个欧洲国家。每个多边形按面积大小分为小（0.1-1 km²）、中（1-10 km²）、大（10-100 km²）三类，并标注了所在大洲（基于Natural Earth admin0查找表）。当前状态：39个国家数据清洗完成，6个国家在处理过程中被中断（详情见“已知问题”）。

数据文件：

• all_europe.parquet：包含全部3,727,404个多边形
• <country>.parquet：按国家分组的文件
• map_preview.png：地理分布预览图
• metadata.yaml：HuggingFace数据集查看器元数据
• manifest.json：机器可读的构建清单
• README.md：本说明文件

数据结构：

列名	类型	描述
osm_id	int64	OSM对象ID
osm_type	string	"way" 或 "relation"
centroid_lon	float64	多边形质心经度 (WGS84)
centroid_lat	float64	多边形质心纬度 (WGS84)
area_km2	float64	多边形面积 (km²，基于Web Mercator投影，中纬度区域准确)
tags	list(string)	OSM键值对标签
continent	string	质心所属大洲（基于Natural Earth admin0）
size_bin	string	尺寸分类："small" (0.1-1)、"medium" (1-10)、"large" (10-100) km²
country	string	ISO风格国家名称
extract_status	string	"clean"（提取完成）或 "killed"（提取中断）
pbf_date	string	源PBF文件的日期

数据来源与构建：

• 流水线版本：v0.1.0
• Git提交哈希：aeef743
• 构建时间：2026-06-29T14:34:49.390043
• 原始数据来源：Geofabrik区域提取包 (https://download.geofabrik.de/)
• 白名单：基于osm-stats项目，包含22,075个OSM键值对标签

筛选流程： 每个多边形经过三次筛选：

1. 尺寸筛选（Stage 0）：面积在0.1至100 km²之间，小于0.1 km²或大于100 km²的多边形被剔除。
2. 白名单筛选（Stage 2）：至少包含一个来自22,075标签白名单中的OSM标签。该白名单基于对OSM标签的TF-IDF和嵌入分析聚类生成。
3. 分类（Stage 3）：通过Natural Earth admin0 shapefile分配大洲，并根据面积分配尺寸分类。

各国家数据概况：

• albania: 14,738 polygons (clean)
• andorra: 776 polygons (clean)
• austria: 133,711 polygons (clean)
• azores: 2,640 polygons (clean)
• belarus: 223,750 polygons (clean)
• belgium: 125,108 polygons (clean)
• bosnia-herzegovina: 49,715 polygons (clean)
• bulgaria: 74,567 polygons (clean)
• croatia: 47,140 polygons (clean)
• cyprus: 4,846 polygons (clean)
• czech-republic: 271,062 polygons (clean)
• denmark: 175,795 polygons (clean)
• estonia: 47,160 polygons (clean)
• faroe-islands: 1,278 polygons (clean)
• finland: 427,870 polygons (clean)
• france: 45,905 polygons (clean)
• greece: 45,142 polygons (clean)
• guernsey-jersey: 670 polygons (clean)
• hungary: 77,569 polygons (clean)
• iceland: 47,896 polygons (clean)
• isle-of-man: 2,648 polygons (clean)
• italy: 26 polygons (killed)
• kosovo: 5,377 polygons (clean)
• latvia: 47,133 polygons (clean)
• liechtenstein: 565 polygons (clean)
• lithuania: 76,550 polygons (clean)
• luxembourg: 11,460 polygons (clean)
• malta: 620 polygons (clean)
• moldova: 35,690 polygons (clean)
• monaco: 2 polygons (clean)
• montenegro: 11,785 polygons (clean)
• netherlands: 169,468 polygons (killed)
• poland: 133 polygons (killed)
• portugal: 66,287 polygons (clean)
• romania: 115,401 polygons (clean)
• serbia: 47,189 polygons (clean)
• slovakia: 54,888 polygons (clean)
• slovenia: 41,526 polygons (clean)
• spain: 5,126 polygons (killed)
• sweden: 397,661 polygons (clean)
• switzerland: 61,156 polygons (clean)
• turkey: 113,609 polygons (clean)
• ukraine: 645,578 polygons (clean)
• united-kingdom: 188 polygons (killed)
• norway: 0 polygons (killed)

相关资源：

• 博客文章：OSM数据分析用于土地利用（详细解释osm-stats聚类生成白名单的过程及算术修正）
• GitHub代码仓库：包含流水线源代码、白名单决策和数据集状态文档
• 关联仓库：osm-stats项目，提供了TF-IDF和嵌入分析结果，用于生成22,075标签白名单
• 项目文档：docs/whitelist_decisions.md（A级/B级白名单纳入规则）和docs/dataset_state.md（各国覆盖详情及已知问题）

搜集汇总

数据集介绍

构建方式

osm-polygon-selection数据集精心遴选自OpenStreetMap中覆盖45个欧洲国家的多边形要素，其构建遵循一套严谨的多阶段过滤流程。首先，通过尺寸过滤器（阶段0）仅保留面积介于0.1至100平方公里之间的多边形，剔除极小或极大的要素。随后，应用基于22,075个OSM标签的白名单过滤器（阶段2），该白名单源自对tags进行的TF-IDF与嵌入分析聚类结果，确保所选多边形具备明确的土地利用或土地覆盖语义。最终，经自然地球行政边界数据标注大陆归属，并根据面积划分小型、中型与大型三类尺寸标签。数据以单一Parquet文件与按国别划分的多个子文件形式呈现，便利于不同粒度的地理空间分析。

特点

该数据集的核心特色在于其高度精选的语义针对性与规模可控性。通过融合基于聚类的标签白名单机制，它从海量OSM数据中精准提取出与土地利用、土地覆盖及遥感基础模型密切相关的多边形要素，而非简单的地物集合。覆盖范围横跨欧洲44个有效国家（39国处理完整），囊括超过372万条记录，从微型地块（0.1平方公里）到大型区域（100平方公里）均有所涉及，为下游任务提供了多样化的尺度样本。此外，数据集明确记录了每个多边形在处理过程中的提取状态（clean或killed），以及来源PBF文件的时间戳，确保了数据溯源透明度与可复现性。

使用方法

研究人员可直接利用all_europe.parquet文件进行全欧尺度的分析与模型训练，亦可根据国别代码加载特定国家的子文件以聚焦区域研究。每一行记录包含OSM对象标识符、几何类型、WGS84坐标系下的质心坐标、基于Web Mercator投影计算的面积、原始键值对标签、大陆归属及尺寸分类标签，为地理信息检索、遥感影像分类、语义分割及基础模型预训练等任务提供了结构清晰、便于接入的特征输入。建议使用者结合配套的GitHub代码库与文档中的白名单决策说明，深入理解标签筛选逻辑，从而在迁移学习或跨区域应用中合理评估数据的适用边界。

背景与挑战

背景概述

osm-polygon-selection数据集由Noé Flandre于2026年创建，旨在从OpenStreetMap中系统提取欧洲区域的地理多边形，覆盖45个欧洲国家，包含超过370万个面积在0.1至100平方公里之间的多边形。该数据集围绕土地覆盖与土地利用的遥感与地理空间基础模型研究，通过构建包含22,075个OSM标签的白名单，实现了对多边形的高效语义过滤。其设计不仅服务于地理空间建模的训练与评估，还推动了开源街道地图在基础模型时代的数据标准化进程，为欧洲大陆尺度的地学分析提供了可复现的基准资源。

当前挑战

该数据集所解决的领域核心挑战在于，OSM原始数据中多边形标签高度异构、噪声大，且缺乏统一的土地覆盖分类标准，难以直接用于遥感基础模型的预训练。构建过程中面临的挑战包括：海量多边形（千万级）需经过面积与白名单两级过滤器，计算资源与时间成本极高；同时，因区域提取管道稳定性问题，6个国家的数据未完全完成（如意大利、荷兰、波兰等），导致覆盖不均；此外，准确的多边形面积在Web Mercator投影下存在中纬度偏差，需要额外处理。

常用场景

经典使用场景

osm-polygon-selection数据集为地理空间分析与遥感领域提供了一套经过精心筛选的欧洲多边形地理要素集合。该数据集涵盖了45个欧洲国家中面积介于0.1至100平方公里之间的开放街道地图多边形对象，并依据面积大小划分为小、中、大三个尺度类别。最经典的使用场景是作为土地覆盖与土地利用分类研究的基准数据源，研究人员可基于其丰富的标签信息和大规模的空间分布特性，训练和评估地理空间基础模型。得益于其跨国家的广泛覆盖与严格的质量过滤，该数据集为欧洲尺度的地理要素识别、景观格局分析以及环境监测提供了标准化的数据支撑。

解决学术问题

该数据集有效解决了地理信息科学领域中开放街道地图数据标签噪声大、质量参差不齐的核心难题。通过实施面积筛选与基于TF-IDF和嵌入分析的22075个标签白名单过滤，显著提升了数据的一致性与可靠性，为学术研究提供了高质量的训练与验证样本。它支撑了土地利用变化检测、城市扩张建模、生态廊道识别等前沿议题的探索，推动了地理空间基础模型从概念验证向实际应用的跨越，对理解人类活动与环境交互具有深远的方法论意义。

衍生相关工作

围绕osm-polygon-selection数据集已衍生出多项具有影响力的研究工作。其中，基于该数据集的开源过滤管线被集成到多个地理空间基础模型项目，促进了OSM数据在遥感领域的大规模预训练应用。GitHub仓库中的白名单决策文档和状态文档为后续学者构建定制化地理数据过滤器提供了范例。此外，该数据集与NoeFlandre开发的osm-stats项目紧密关联，后者通过嵌入分析优化标签选择策略，启发了跨模态地理特征对齐的研究方向，推动了地理信息与自然语言处理领域的交叉创新。