Voxel51/treescope-vat0723-multimodal

这是一个经过整理的TreeScope v1.0机器人数据集的10个多模态子集，重新打包为时间同步的MCAP记录，用于FiftyOne的多模态数据集支持。每个样本都是来自TreeScope VAT-0723站点（位于弗吉尼亚州Appomattox-Buckingham州立森林）的连续无人机飞行片段，可以在FiftyOne的平铺多模态查看器中查看，同步播放相机、LiDAR点云、GPS、IMU、诊断和日志数据。TreeScope本身是一个用于精准农业和林业的LiDAR数据集，通过无人机和移动机器人平台在六个森林和果园站点收集，带有手动标注的语义标签和现场测量的树木直径，用于基准测试分割和直径估计算法。这个重新打包版本仅使用一个站点的原始传感器流，不包含TreeScope原始的语义分割或DBH地面真值。数据集由GRASP实验室（宾夕法尼亚大学）等团队创建，由IoT4Ag ERC等机构资助，采用CC BY-NC-SA 4.0许可证（仅限非商业使用）。This dataset is a curated, 10-episode multimodal subset of the TreeScope v1.0 robotics dataset, repackaged as time-synchronized MCAP recordings for FiftyOnes native multimodal dataset support (introduced in FiftyOne 1.19). Each sample is one continuous UAV flight episode from TreeScopes VAT-0723 site (Appomattox-Buckingham State Forest, Virginia), viewable in FiftyOnes tiled multimodal viewer with synchronized camera, LiDAR point cloud, GPS, IMU, diagnostics, and log playback. TreeScope itself is a LiDAR dataset for precision agriculture and forestry, collected with UAV and mobile robot platforms across six forest and orchard sites, with manually-annotated semantic labels and field-measured tree diameters for benchmarking segmentation and diameter-estimation algorithms. This repackaging uses only the raw sensor streams from one site — it does not carry over TreeScopes original semantic-segmentation or DBH ground truth. The dataset is curated by the GRASP Laboratory (University of Pennsylvania) and others, funded by IoT4Ag ERC and other grants, and licensed under CC BY-NC-SA 4.0 (non-commercial use only).

搜集汇总

数据集介绍

构建方式

该数据集源自TreeScope v1.0林业机器人数据集，专注于弗吉尼亚州阿波马托克斯-白金汉州立森林中VAT-0723站点的无人机激光雷达飞行记录。数据集构建过程涉及将原始与经优化的ROS1数据包对进行合并，通过rosbags库转换为单一的时间同步MCAP文件。合并时，对来自原始与处理包的/odometry和/tf话题进行了重映射，分别保留为/refined/Odometry和/refined/tf，以避免数据冲突；对于GPS定位消息，则剔除了处理包中的冗余副本，确保每条GPS修正数据唯一存在。同时，处理包的时间戳被重新校准至实际飞行捕获时间，解决了离线处理带来的时间偏移问题。最终数据集包含10个完整飞行片段，每个片段作为一个独立的样本，以MCAP格式封装，由FiftyOne多模态查看器实现实时解码与同步播放。

特点

该数据集的核心特色在于其多模态传感器的深度融合与时间同步播放能力。每个样本均包含激光雷达点云、立体相机图像、GPS轨迹、惯性测量单元数据、诊断消息及日志等多种数据流，由FiftyOne平台的原生多模态查看器支持，以图像、三维点云、地图、图表、日志和消息六个平铺窗口实现同步可视化。数据集通过样本级标签标识飞行模式（手动或自主），并利用has_*布尔字段（如has_image、has_pointcloud）帮助用户快速筛选具备特定数据流的样本。所有样本均未附带语义分割标签或胸径标注，专注于原始传感器数据的浏览与验证，体现了真实传感器覆盖的异质性。

使用方法

使用本数据集需先安装FiftyOne库，通过pip命令完成。随后在Python环境中，从fiftyone.utils.huggingface模块导入load_from_hub函数，调用该函数并传入数据集标识符harpreetsahota/treescope-vat0723-multimodal即可完成加载。加载后，数据集包含10个样本，每个样本被自动识别为多模态媒体类型。用户可通过fo.launch_app(dataset)启动FiftyOne图形界面，在提供多模态查看器中浏览各飞行片段的同步传感器数据。此外，可基于样本元数据字段（如飞行模式、是否包含相机流）进行条件过滤，或利用内置的full_multimodal_showcase视图快速定位包含全部可解码传感器类型的9个样本，以开展分析与原型验证工作。

背景与挑战

背景概述

TreeScope VAT-0723 Multimodal数据集由宾夕法尼亚大学GRASP实验室的研究人员于2023年创建，核心团队包括Derek Cheng、Fernando Cladera、Ankit Prabhu、Xu Liu等人，旨在推动精准农业与林业中的机器人感知研究。该数据集聚焦于基于LiDAR的树木测绘，通过无人机（Falcon 4 UAV）在弗吉尼亚州阿波马托克斯-白金汉州立森林的林地中采集多模态传感数据，涵盖64线Ouster OS1-64 LiDAR点云、立体相机图像、GPS、IMU及诊断日志。作为TreeScope v1.0的子集，它提供了10个连续飞行片段，专为FiftyOne多模态可视化平台重新打包为MCAP格式，支持同步回放与交互分析。该工作受IoT4Ag ERC、NSF及NIFA等机构资助，为农业机器人领域的多源数据融合与森林结构感知提供了重要基准。

当前挑战

该数据集面临的挑战集中于两个方面。领域层面，精准农业与林业中的树木分割与直径估计长期受困于林冠遮挡、光照变化及地形复杂性，传统图像方法难以应对，而多模态LiDAR与惯性数据的时空对齐、点云噪声抑制及跨平台泛化能力不足，成为算法鲁棒性的关键瓶颈。构建层面，原始ROS1包需经时间同步、主题重映射（如将精化里程计独立为/refined/Odometry）及时间戳基线校正，以消除离线处理时差；同时，候选片段需通过HTTP范围请求预检格式完整性，避免下载损坏数据。此外，该子集剔除语义标签以保持纯硬件流纯净性，但限制了监督学习直接应用，需依赖无监督或自监督方法挖掘其价值。

常用场景

经典使用场景

该数据集以FiftyOne框架为核心，提供了10个时间同步的MCAP多模态样本，每个样本代表一段连续的无人机飞行航次。它集成了激光雷达点云、立体相机图像、GPS定位、IMU惯性测量及日志信息等多种传感器数据流，通过FiftyOne内置的多模态查看器实现同步回放与交互式浏览。研究者可借助这一整合平台，直观观察林冠下无人机飞行的完整传感轨迹，快速筛选具备特定传感器覆盖的航次（如同时包含图像和IMU的样本），为林业与精准农业场景中的多源数据融合分析提供了一种高效、可视化的工具。

实际应用

在实际应用中，该数据集可用于训练与测试无人机在复杂林区环境下的自主飞行和避障系统。例如，开发者可利用其中的点云与图像数据构建语义分割模型，识别树木、地面与障碍物，从而优化无人机航迹规划。同时，GPS与IMU数据为高精度定位和姿态估计提供了现实输入，支持林间低成本导航系统的研发。在精准农业领域，这些多模态信息还可辅助林地资源监测、树木生长状态评估以及采伐规划，显著提升林业管理的自动化与智能化水平。

衍生相关工作

该多模态子集源自TreeScope v1.0数据集，而TreeScope本身催生了一系列基于LiDAR的林业与农业机器人研究工作。其原始论文提出了针对森林与果园环境的树木分割与胸径估计算法，并公开了六处不同场景的标注数据。后续工作在此基础上拓展了深度学习点云分割方法（如RangeNet++的迁移应用）以及快速LiDAR惯性里程计（Faster-LIO）在低矮林冠下的适应性改进。此外，本子集的MCAP打包方式也为FiftyOne多模态功能的普及提供了示范，间接激励了更多基于统一框架的机器人数据管理工具的出现。