dfichuk/tree-species-vancouver-island

Vancouver Island Tree Species LiDAR Dataset 是一个用于树种分类的数据集，包含从机载LiDAR点云中提取的4,040个标记树冠样本，专注于温哥华岛和太平洋西北地区的原生树种。每个样本包含25个工程化的LiDAR特征（如高度百分位数、强度统计、冠层结构指标）、原始点云补丁（.npy文件）、物种标签、质量置信度分数以及训练/验证/测试集划分。数据集整合了来自NEON WREF/ABBY、IDTReeS Competition和BC Vancouver Island Local三个来源的数据，支持基于特征或点云的分类任务，并包含地理泛化测试集（BC温哥华岛本地样本）。license: CC-BY-4.0许可 任务类别： - 表格分类（tabular-classification） 标签： - 激光雷达（LiDAR） - 林业 - 树木物种 - 温哥华岛 - 太平洋西北地区 - 点云（point cloud） - 物种分类 漂亮名称：温哥华岛树木物种激光雷达数据集（Vancouver Island Tree Species LiDAR Dataset） 规模类别：1K-10K # 温哥华岛树木物种激光雷达数据集 ## 数据集描述 本数据集包含从机载激光雷达（LiDAR）点云中提取的4040个带标注树冠样本，用于对温哥华岛及太平洋西北地区本土树木物种进行分类。每个样本包含25个经过特征工程处理的激光雷达特征（高度百分位数、强度统计量、冠层结构指标），以及原始点云补丁（.npy文件）、物种标签、质量置信度分数和训练/验证/测试集划分分配。 ## 物种 本数据集包含覆盖74个分类单元ID（76个唯一科学学名条目）的4040个样本，优势物种如下： | 分类单元ID | 科学学名 | 通用名 | 样本数 | |---------|----------------|-------------|-------| | PSMEM | *Pseudotsuga menziesii* var. *menziesii* | 花旗松 | 1,639 | | TSHE | *Tsuga heterophylla* | 西部铁杉 | 541 | | PIPA2 | *Pinus palustris* | 长叶松 | 295 | | ABAM | *Abies amabilis* | 太平洋冷杉 | 195 | | QURU | *Quercus rubra* | 北美红栎 | 166 | | ACRU | *Acer rubrum* | 红枫 | 138 | | QUAL | *Quercus alba* | 白栎 | 103 | | RUSP | *Rubus spectabilis* | 鲑莓 | 81 | | ALRU2 | *Alnus rubra* | 红桤木 | 70 | | QULA2 | *Quercus laevis* | 土耳其栎 | 69 | | THPL | *Thuja plicata* | 西部红柏 | 57 | | RUAR9 | *Rubus armeniacus* | 喜马拉雅黑莓 | 53 | | QUCO2 | *Quercus coccinea* | 猩红栎 | 52 | | NYSY | *Nyssa sylvatica* | 黑胶木 | 45 | | ACCI | *Acer circinatum* | 藤枫 | 43 | | AMLA | *Amelanchier laevis* | 阿勒格尼唐棣 | 43 | | VAPA | *Vaccinium parvifolium* | 红越橘 | 42 | | TABR2 | *Taxus brevifolia* | 太平洋红豆杉 | 28 | 另有56个物种（完整列表请参阅`unified_metadata.json`）。 ## 数据来源 本数据集整合自三个数据源： ### NEON WREF/ABBY（2,949个样本） - **站点**：美国华盛顿州风河实验森林（WREF）与艾比路（ABBY） - **生态系统**：太平洋西北地区针叶林 - **数据**：NEON DP1.10098.001植被结构（标注）+ DP1.30003.001离散返回激光雷达（2023 RELEASE-2026） - **划分**：训练/验证集 - **引用**：国家生态观测站网络。https://www.neonscience.org/data ### IDTReeS竞赛（1,055个样本） - **站点**：美国弗吉尼亚州山湖生物站（MLBS）与佛罗里达州奥德威-斯威舍生物站（OSBS） - **生态系统**：东部落叶林与东南部混交林 - **数据**：来自冠层高度模型的单个树冠多边形，附带物种标签 - **划分**：训练/验证集 - **引用**：Weinstein, B. G., et al. (2022). Individual Tree Crowns and Species from NEON (IDTReeS). https://doi.org/10.5281/zenodo.5553697 ### BC温哥华岛本地（36个样本） - **位置**：加拿大不列颠哥伦比亚省温哥华岛 - **生态系统**：沿海温带雨林 - **数据**：带有野外团队物种标注的GPS定位树干；BC省政府机载激光雷达数据（约5点/平方米） - **划分**：测试集（预留——用于地理泛化测试） - **备注**：这些来自温哥华岛的野外标注样本作为真正的地理预留样本。 ## 数据格式 ### 表格数据（CSV文件） `unified_dataset.csv`包含4040个样本，共44列： | 列名 | 描述 | |--------|-------------| | `sample_id` | 唯一样本标识符 | | `source` | 数据来源：`neon`、`idtrees`或`bc_local` | | `taxonID` | 标准化4-6位物种代码（USDA植物数据库） | | `scientificName` | 完整科学学名 | | `species` | 分组后的通用名（仅在`unified_dataset.csv`中存在） | | `species_raw` | 数据源提供的原始物种标签（仅在`unified_dataset.csv`中存在） | | `pnw_native` | 是否为太平洋西北地区本土物种（布尔值） | | `x_utm10`、`y_utm10` | UTM 10N带坐标（单位：米） | | `patch_file` | 点云补丁的相对路径（.npy文件） | | `n_points` | 激光雷达总点数 | | `n_veg` | 植被返回点数 | | `n_ground` | 地面返回点数 | | `ground_elevation` | 地面高程（单位：米） | | `height_max` | 最大植被高度（单位：米） | | `height_mean` | 平均植被高度（单位：米） | | `height_std` | 高度标准差 | | `height_skew` | 高度分布偏度 | | `height_p10/25/50/75/90/95/99` | 高度百分位数（单位：米） | | `intensity_mean` | 平均返回强度 | | `intensity_std` | 强度标准差 | | `intensity_p25/50/75/95` | 强度百分位数 | | `pct_single_return` | 单次返回百分比 | | `pct_ground_return` | 地面返回百分比 | | `density_understory` | 2米以下的点密度 | | `density_mid_canopy` | 2-15米的点密度 | | `density_upper_canopy` | 15米以上的点密度 | | `label_quality_score` | 标签质量置信度（0-1） | | `measurement_quality_score` | 测量质量置信度（0-1） | | `lidar_quality_score` | 激光雷达质量置信度（0-1） | | `spatial_quality_score` | 空间质量置信度（0-1） | | `overall_confidence` | 总体置信度分数（0-1） | | `siteID` | NEON站点代码（ABBY、WREF、MLBS、OSBS） | | `recommendation` | 推荐使用方式 | | `split` | 数据集划分分配 | 划分文件（每个42列，不含`species`和`species_raw`列）方便直接使用： - `train_set.csv`（2,850个样本：训练集+弱监督样本） - `validation_set.csv`（304个样本） - `test_set.csv`（35个样本：BC预留集） **注意**：`species`和`species_raw`列仅在`unified_dataset.csv`中可用。如需使用这些列，请使用统一数据集文件。 ### 点云补丁（.npy文件） 每个样本对应一个点云补丁，存储为形状为`(N, 3)`的NumPy .npy数组，包含`[x, y, z]`坐标。补丁是以每棵树的树干为中心的5米半径圆柱体。 补丁以压缩归档形式提供： patches.tar.gz ├── patches/ # BC温哥华岛样本（36个文件） ├── neon_lidar/patches/ # NEON WREF/ABBY样本（2,949个文件） └── idtrees/patches/ # IDTReeS竞赛样本（1,055个文件） ## 使用方法 ### 加载表格数据 python import pandas as pd from datasets import load_dataset dataset = load_dataset("dfichuk/tree-species-vancouver-island") df_train = dataset['train'].to_pandas() df_val = dataset['validation'].to_pandas() df_test = dataset['test'].to_pandas() ### 加载点云补丁 python import urllib.request import tarfile import numpy as np import os # 下载并解压补丁（压缩后约83 MB） url = "https://huggingface.co/datasets/dfichuk/tree-species-vancouver-island/resolve/main/patches.tar.gz" tar_path = "patches.tar.gz" urllib.request.urlretrieve(url, tar_path) with tarfile.open(tar_path, "r:gz") as tar: tar.extractall() # 加载指定补丁 patch_path = df_train.iloc[0]["patch_file"] patch = np.load(patch_path) print(f"Patch shape: {patch.shape}") # (N, 3) ### 基于特征的分类器 python import pandas as pd from xgboost import XGBClassifier from sklearn.metrics import classification_report from datasets import load_dataset dataset = load_dataset("dfichuk/tree-species-vancouver-island") train = dataset['train'].to_pandas() val = dataset['validation'].to_pandas() # 选取以height_、intensity_、pct_、density_开头的特征列 feature_cols = [c for c in train.columns if c.startswith(('height_', 'intensity_', 'pct_', 'density_'))] # 在太平洋西北地区本土的NEON数据上训练 mask = (train['source'] == 'neon') & (train['pnw_native'] == True) X_train = train.loc[mask, feature_cols] y_train = train.loc[mask, 'taxonID'] X_val = val[feature_cols] y_val = val['taxonID'] model = XGBClassifier() model.fit(X_train, y_train) print(classification_report(y_val, model.predict(X_val))) ## 数据集划分 | 划分集 | 样本数 | 描述 | |-------|---------|-------------| | 训练集 | 2,850 | 高置信度样本+弱监督样本 | | 验证集 | 304 | 预留验证集 | | 测试集 | 35 | BC温哥华岛预留集（地理泛化测试） | | 弱监督集 | 819 | 低置信度标签样本（包含在`train_set.csv`中） | | 排除样本 | 32 | 因质量问题被排除的样本 | 如需使用更高质量的训练数据，请使用`recommendation == 'train_high_quality'`或筛选`overall_confidence >= 0.7`的样本。 ## 质量分数 每个样本包含四个分量质量分数和一个总体置信度分数（0-1）： | 维度 | 权重 | 衡量内容 | |-----------|--------|------------------| | 标签质量 | 0.35 | 物种级ID与属级ID/未知的区分；专家验证情况 | | 测量质量 | 0.25 | 树干直径、植物健康状况、数据质量标记 | | 激光雷达质量 | 0.30 | 冠层点密度、高度一致性、返回比例 | | 空间质量 | 0.10 | 树冠是否完全在瓦片内（未在边缘） | 总体置信度为各可用维度的加权平均值，取值范围：0.3 -- 0.9。 ## 引用 若使用本数据集，请引用以下源数据集： bibtex @misc{neon_data, title = {National Ecological Observatory Network Data Products}, url = {https://www.neonscience.org/data} } @software{weinstein2022idtreees, author = {Weinstein, Ben G. and others}, title = {Individual Tree Crowns and Species from NEON (IDTReeS)}, year = {2022}, doi = {10.5281/zenodo.5553697} } 以及本衍生数据集： bibtex @misc{fichuk2025tree, title = {Vancouver Island Tree Species LiDAR Dataset}, author = {Fichuk, Dexter}, year = {2025}, publisher = {Hugging Face} } ## 许可 CC-BY-4.0。各独立数据源可能有其自身条款（NEON数据：CC0，IDTReeS：CC-BY-4.0）。 ## 仓库结构 ├── unified_dataset.csv # 全部4040个样本（44列，包含species/species_raw列） ├── train_set.csv # 2850个训练样本（42列） ├── validation_set.csv # 304个验证样本（42列） ├── test_set.csv # 35个BC预留样本（42列） ├── unified_metadata.json # 数据集摘要与物种列表 ├── patches.tar.gz # 点云补丁（约83 MB） ├── README.md # 本说明文件 └── download_patches.py # 补丁下载与解压脚本

搜集汇总

数据集介绍

构建方式

该数据集源自空中激光雷达点云数据，融合了三大来源：美国国家生态观测网络（NEON）的WREF与ABBY站点（2949个样本）、IDTReeS竞赛数据（1055个样本），以及源自不列颠哥伦比亚省温哥华岛的本地实地采集样本（36个样本）。每个样本均以树木主干为中心，半径为5米的圆柱体截取点云块，并从中提取出25个工程化激光雷达特征，涵盖高度百分位数、强度统计量及冠层结构指标。此外，样本还附带物种标签、质量置信度评分，并预先划分好训练、验证与测试集，其中测试集作为地理泛化能力的独立留出集。

特点

数据集共包含4040个标注树冠样本，覆盖74个分类单元（taxonID），主要优势物种包括花旗松、西部铁杉、长叶松等，且囊括了大量太平洋西北地区的原生树种。每个样本除特征向量外，还保存了原始点云块（.npy格式），其空间坐标为（N,3）维数组。数据集提供了从标签质量、测量质量、激光雷达质量到空间质量的四维置信度评分体系，综合为0.3至0.9的整体置信度，并附有推荐使用标记，便于筛选高质量子集。

使用方法

用户可通过HuggingFace Datasets库直接加载表格数据，转换为Pandas DataFrame后即可进行特征工程与模型训练。示例代码展示了基于高度、强度、回波比例与密度等特征的XGBoost分类器构建流程。点云块的下载与加载亦可通过简单的Python脚本实现，从压缩包中解压后以NumPy读取。为保障训练质量，建议根据推荐标记或整体置信度阈值筛选样本，亦可针对PNW原生种源数据训练后，在温哥华岛留出集上评估地理泛化性能。

背景与挑战

背景概述

该数据集由Dexter Fichuk于2025年创建，旨在利用机载LiDAR点云数据对温哥华岛及太平洋西北地区的本土树种进行分类。研究核心聚焦于通过工程化特征与原始点云补丁的结合，提升树种自动识别的精确度与泛化能力。数据集整合了来自NEON观测网络、IDTReeS竞赛及温哥华岛实地采集的4,040个标注树冠样本，覆盖74个分类单元，其中以花旗松、西部铁杉等优势物种为主。作为首个专门针对该地理区域树种分类的公开数据集，它填补了高分辨率遥感数据在温带雨林生态系统中应用的重要空白，为森林生态监测、生物多样性评估及可持续林业管理提供了关键支撑，推动了LiDAR技术与机器学习在生态学领域的交叉研究。

当前挑战

该数据集所解决的领域问题在于应对树种分类中因地理变异、物种多样性高及点云数据稀疏性带来的挑战。温哥华岛不同区域的地形与冠层结构复杂，导致传统特征工程难以捕捉物种间的细微差异。构建过程中面临多重困难：首先，需从不同来源（NEON、IDTReeS、实地）整合数据，处理标签不一致性与质量差异，如IDTReeS中的弱监督标签；其次，BC本地采集仅36个样本，作为地理泛化测试集，数量稀少且点云密度较低（约5 pts/m²），给模型训练与评估带来局限；此外，数据包含74个物种，长尾分布中大量稀有样本导致类别不平衡，进一步增加了分类挑战。

常用场景

经典使用场景

在森林生态学与遥感智能解译的交汇领域，tree-species-vancouver-island数据集为基于机载激光雷达（LiDAR）点云数据的树种精细分类提供了极具代表性的基准资源。该数据集汇聚了来自太平洋西北部温带雨林与东部落叶林的4,040个标注树冠样本，每个样本不仅包含25个工程化的LiDAR衍生特征，如高度分位数、强度统计指标和冠层结构度量，还保留了原始点云块数据。研究者通常将其用于构建和验证从传统机器学习（如XGBoost）到深度学习框架的树种识别模型，尤其聚焦于跨地理区域的泛化能力测试，其中包含的36个温哥华岛本地样本作为独立测试集，完美适配了生态学中模型迁移性与物种分布预测的经典研究范式。

实际应用

在实际林业管理与生态监测领域，该数据集的应用潜力覆盖了从可持续采伐规划到生物多样性保护的全链条。借由对道格拉斯冷杉、异叶铁杉等优势针叶树以及太平洋紫杉等珍稀树种的可靠分类，相关模型可直接赋能无人机与有人机LiDAR巡护系统，实现大范围林区物种组成的自动清查。在温哥华岛及类似沿海温带雨林区域，数据集训练的算法能够辅助区分非本地入侵种（如喜马拉雅黑莓）与原生灌木，指导精准生态修复。此外，基于该数据集的分类器已可集成至森林资源管理决策支持系统，用于快速生成物种级冠层高度模型与生产力图谱，显著降低了传统地面样方调查的人力与时间成本，使高频次、高分辨率的森林健康监测成为现实。

衍生相关工作

该数据集的公开已催生了一系列富有启发性的衍生研究，其核心贡献在于为跨区域物种识别提供了权威的零样本与少样本学习基准。受此启发，研究者开发了基于域自适应（Domain Adaptation）的LiDAR特征对齐框架，有效弥合了不同传感器平台（如NEON与BC省政府LiDAR）之间的点云密度与辐射度差异。另一前沿方向是结合图神经网络（GNN）对树冠邻域空间拓扑结构进行建模，从该数据集衍生的点云邻接关系出发，实现了对群落共生模式的隐式学习。在深度学习领域，该数据集被用作预训练树种识别模型的评测集，催生了面向3D点云的通道注意力机制改进，使得高度分布与强度统计的跨模态融合更为高效。这些工作共同巩固了该数据集在生态信息学中作为核心验证平台的学术地位。