Voxel51/pheno4d

Pheno4D是一个时空3D点云数据集，包含7株玉米植物（在12天内每天扫描）和7株番茄植物（在20天内每天扫描）。这些植物在温室中盆栽生长，并使用亚毫米精度激光三角测量扫描仪（Perceptron ScanWorks V5安装在ROMER Infinite 2.0测量臂上，σ ≈ 0.012mm）进行测量。每个扫描都是原始、无结构的3D表面点云，覆盖整个盆栽植物，包括土壤，没有颜色/强度通道，只有XYZ几何数据。部分扫描带有手动标注的时间一致性点级实例标签：每片叶子在整个时间序列中保持相同的数字ID，并且玉米数据还提供了两种独立的并行标注方案（叶颈法和叶尖法）。数据集由波恩大学等机构的研究人员创建，由德国研究基金会资助，用于植物表型分析和高级植物分析研究。Pheno4D is a spatiotemporal 3D point cloud dataset encompassing 7 maize plants (scanned daily over a 12-day period) and 7 tomato plants (scanned daily over a 20-day period). All plants were cultivated in pots within a greenhouse and scanned using a sub-millimeter accuracy laser triangulation scanner (Perceptron ScanWorks V5 mounted on a ROMER Infinite 2.0 measuring arm, with measurement precision σ ≈ 0.012mm). Each scan yields a raw, unstructured 3D surface point cloud covering the entire potted plant including the soil substrate, with no color or intensity channels, only XYZ geometric data. A subset of the scans comes with manually annotated temporally consistent point-level instance labels: each leaf retains a consistent numerical ID across the entire time series, and the maize subset additionally provides two independent parallel annotation frameworks (the "leaf collar method" and the "leaf tip method"). This dataset was developed by researchers from institutions including the University of Bonn, and was funded by the German Research Foundation (Deutsche Forschungsgemeinschaft, DFG) for research on plant phenotyping and advanced plant analysis.

搜集汇总

数据集介绍

构建方式

在植物表型分析领域，高精度时序三维点云数据的匮乏长期制约着相关研究进展。Pheno4D数据集正是为填补这一空白而构建，其采集自温室盆栽环境中的7株玉米（连续12天每日扫描）与7株番茄（连续20天每日扫描），使用搭载于ROMER Infinite 2.0测量臂上的Perceptron ScanWorks V5激光三角扫描仪（精度σ≈0.012mm）获取亚毫米级精度的原始三维表面点云。数据仅包含XYZ几何信息，无颜色或强度通道。构建过程中，对部分扫描进行了人工逐点标注，为每个叶片赋予跨时间序列一致的实例ID；针对玉米叶片与茎秆难以视觉区分的特点，同时采用了两种独立的标注约定——叶领法与叶尖法。最终数据通过格式转换、坐标居中及字段映射等处理，以FiftyOne原生格式存储为223个PCD文件。

特点

Pheno4D数据集的核心特色在于其时空一致性与高标注密度。它提供了同一植物个体在长达20天内的连续三维形态观测，使研究者能够追踪叶片面积、叶长、茎粗等表型性状的动态变化。标注方案设计精巧：番茄数据直接区分茎与每个叶片；玉米则并行提供叶领法和叶尖法两套独立标注，分别对应不同的植物学发育阶段定义。此外，数据集通过两种互补方式保留标注信息——原始逐点标签以PCD标量字段形式嵌入，可于可视化器中动态着色查看；同时导出为FiftyOne标准的三维检测框格式，便于查询与过滤。这种设计既确保了精确点级信息不丢失，又提供了便捷的算法接口。

使用方法

使用Pheno4D数据集需先通过Hugging Face Hub下载快照至本地目录，随后利用FiftyOne库加载。具体流程为：使用`snapshot_download`函数下载仓库`Voxel51/pheno4d`至当前工作目录，再调用`fo.Dataset.from_dir`方法指定目录类型为`FiftyOneDataset`格式，即可将数据加载为名为'Pheno4D'的数据集对象。加载完成后，通过`fo.launch_app`启动FiftyOne图形界面，可交互式浏览各样本的三维点云、按物种或植株筛选，并利用'Shade By'功能根据标注值着色。数据集内置了36个保存视图，方便按植株、扫描日期或物种进行快速导航。该数据集适用于语义分割、实例分割、时空点云配准、表面重建及表型分析等研究任务。

背景与挑战

背景概述

Pheno4D数据集由德国波恩大学的大地测量学实验室、摄影测量与机器人实验室以及自主智能系统实验室联合哥廷根大学甜菜研究所与波恩大学植物育种研究组于2021年创建。该数据集包含7株玉米（连续12天每日扫描）和7株番茄（连续20天每日扫描）的亚毫米精度三维点云，由Perceptron ScanWorks V5激光三角扫描仪配合ROMER Infinite 2.0测量臂采集，每点精度达0.012毫米。数据集的核心研究问题聚焦于植物表型分析中的器官级实例分割、时空点云配准、非刚性变形追踪以及生长性状量化，为高精度三维植物表型研究提供了稀缺的时空标注基准。其发表论文刊于《PLOS ONE》，并获德国研究基金会卓越战略项目PhenoRob资助，在农业计算机视觉与三维植物分析领域具有重要影响力。

当前挑战

该数据集解决的领域问题在于推动植物表型计算对高精度、多时序三维点云数据的需求，克服二维图像无法捕捉植物立体形态与生长动态的局限，支持器官级语义与实例分割任务。构建过程中，主要挑战包括：植物点云获取耗时且成本高昂，单株拍摄需数分钟，且需在保持时间一致性的前提下为每片叶片赋予跨时一致的实例标识符；玉米叶片因从叶鞘中抽出时无明显视觉边界，需同时采用叶环法与叶尖法两套独立标注体系，增加了标注复杂度与一致性保障难度；此外，原始扫描数据包含土壤与花盆等背景噪声，且存在传感器坐标偏移与个别扫描缺失的问题，需经坐标重定位与格式转换等精细预处理。

常用场景

经典使用场景

Pheno4D数据集在植物表型分析领域展现出独特的学术价值，其核心应用场景聚焦于三维点云的语义与实例分割任务。该数据集包含7株玉米和7株番茄在亚毫米精度下连续多日的激光扫描点云，并提供了跨时间一致性的人工标注信息，使得研究者能够训练模型精确区分土壤、茎秆与各叶片个体，为实现植物器官级别的智能识别奠定了坚实基础。

实际应用

在实际应用中，Pheno4D数据集所驱动的算法可部署于温室自动化表型采集平台，实现对作物生长的无损、高频次监测。基于其标注框架开发的实例分割模型能够自动提取叶片的几何参数，为育种专家提供高通量的性状筛选工具。此外，该数据集训练的时空配准技术可应用于机器人田间作业，辅助实现植株个体的长期生长轨迹追踪与精准管理。

衍生相关工作

该数据集孵化了一系列具有影响力的前沿工作，包括但不限于基于图神经网络的植物点云分割方法、结合时序信息的非刚性生长配准模型，以及多视图融合的植物三维重建管线。这些衍生研究不仅提升了器官分割与表型参数的提取精度，更开创性地将跨时间点的一致性标注框架引入植物点云领域，为后续开展大规模、多物种的时序表型数据分析树立了方法论范本。