OpenAcces_RGBD_apple_dataset

该数据集包含RGB和深度图像以及标注和地面实况数据，专门用于促进利用RGB-D图像的水果尺寸算法的发展、测试和评估。数据集涵盖了广泛的照明条件，跟踪了24个富士苹果在两个苹果树上的大部分生长季节，从约40毫米大小到约95毫米直径。因此，该数据集为开发基于RGB-D的尺寸算法并使用卡尺测量的地面实况数据评估其性能提供了机会。

This dataset comprises RGB and depth images, along with annotations and ground truth data, specifically designed to facilitate the development, testing, and evaluation of fruit size algorithms utilizing RGB-D imagery. The dataset encompasses a wide range of lighting conditions and tracks 24 Fuji apples on two apple trees throughout most of the growing season, from approximately 40 mm in size to about 95 mm in diameter. Consequently, this dataset offers an opportunity to develop RGB-D-based size algorithms and assess their performance using ground truth data measured with calipers.

原始信息汇总

OpenAcces_RGBD_apple_dataset 数据集概述

数据集基本信息

• 名称: OpenAcces_RGBD_apple_dataset
• 内容: 包含RGB图像（.png）、深度图像（.npy）、标注信息（.json）和地面实况数据。
• 目的: 用于开发、测试和评估利用RGB-D图像的水果尺寸算法。
• 对象: 数据集包含2022年生长季节的富士苹果（品种：Aztec）的RGB-D图像，以及用于性能评估的网球。

数据收集与处理

• 设备: 使用Intel RealSense D435i相机进行数据采集。
• 方法: 相机通过USB 3.0接口连接到运行Ubuntu 18.04的PC，数据以bag格式记录，并提取各日期帧。
• 训练系统: 苹果树采用planar cordon训练系统，以减少果实遮挡并增加光照截获和生产力。

数据标注与地面实况

• 标注: 手动标注与参考生长数据关联的24个果实和网球。
• 地面实况: 分为evaluation_ground_truth和applicative_ground_truth，分别用于算法性能评估和统计目的。
• 图像标签: 包括通过YOLOv5l模型获得的果实检测边界框坐标。

数据集引用

• 引用方式: Bortolotti, G., Piani, M., Gullino, M., Franceschini, C., Mengoli, D., & Manfrini, L. (2024). OpenAcces_RGBD_apple_dataset [Data set]. https://doi.org/10.5281/zenodo.10687503

搜集汇总

数据集介绍

构建方式

OpenAcces_RGBD_apple_dataset的构建基于2022年富士苹果的生长季节，通过使用Intel RealSense D435i相机在不同光照条件和视角下拍摄RGB和深度图像。数据集涵盖了从40毫米到95毫米直径的苹果生长过程，并包括了手动标注的边界框和参考数据。此外，数据集还包含了网球作为对照对象，以评估尺寸算法的性能。数据采集过程中，相机通过USB 3.0接口连接到运行Ubuntu 18.04的PC，并通过Intel® RealSense™ Viewer软件将视频流保存为bag格式，随后提取帧图像。

特点

该数据集的显著特点在于其多样化的光照条件和视角，以及包括RGB和深度图像的组合，这为开发和测试基于RGB-D的水果尺寸算法提供了丰富的资源。数据集中的苹果和网球分别代表了非均匀形状和均匀形状的对象，有助于评估算法的鲁棒性和准确性。此外，数据集提供了两种类型的地面真实数据，分别用于算法评估和统计分析，增强了数据集的实用性和可靠性。

使用方法

使用OpenAcces_RGBD_apple_dataset时，用户可以利用提供的RGB和深度图像进行水果尺寸算法的开发和测试。数据集中的标注文件包含了手动标注和通过YOLOv5l模型自动生成的边界框，用户可以根据需要选择使用。此外，数据集支持转换为Supervisely或YOLO格式，便于不同平台的集成和应用。用户还可以参考数据集附带的详细描述和研究论文，以更好地理解和利用数据集。

背景与挑战

背景概述

OpenAcces_RGBD_apple_dataset由Bortolotti Gianmarco等研究人员于2024年创建，旨在推动基于RGB-D图像的水果尺寸测量算法的发展与评估。该数据集涵盖了24个富士苹果在生长季节中的多种光照条件下的图像，从直径约40毫米到95毫米不等。通过结合RGB和深度图像，该数据集为开发和测试水果尺寸测量算法提供了丰富的资源，并附有卡尺测量的真实数据，极大地促进了计算机视觉技术在农业自动化中的应用。

当前挑战

该数据集在构建过程中面临多项挑战。首先，苹果的非均匀形状增加了尺寸测量的复杂性，导致计算机视觉系统可能检测到与参考值不同的直径，从而增加测量误差。其次，数据采集过程中需要处理多种光照条件和不同的拍摄角度，确保数据的多样性和代表性。此外，数据标注的准确性也是一个关键挑战，手动标注与参考数据的关联需要高度的精确性，以确保算法评估的可靠性。

常用场景

经典使用场景

OpenAcces_RGBD_apple_dataset的经典使用场景主要集中在利用RGB-D图像进行水果尺寸估算的算法开发与评估。该数据集通过提供不同光照条件下的苹果图像及其深度信息，支持研究人员开发和测试基于RGB-D的水果尺寸估算算法。通过结合手动标注的边界框和预训练的YOLOv5模型，该数据集为算法性能的评估提供了可靠的基准。

衍生相关工作

基于OpenAcces_RGBD_apple_dataset，许多相关研究工作得以展开。例如，研究人员可以利用该数据集开发新的深度学习模型，提升水果尺寸估算的准确性。此外，该数据集还激发了在不同光照条件下图像处理算法的研究，以及如何利用RGB-D数据进行多目标检测和分类的研究。这些衍生工作进一步推动了计算机视觉技术在农业领域的应用。

数据集最近研究

最新研究方向

在农业自动化与计算机视觉领域，OpenAcces_RGBD_apple_dataset 数据集的最新研究方向主要集中在利用RGB-D图像进行苹果尺寸估算的算法优化与性能评估。该数据集通过捕捉不同生长阶段的苹果图像，结合深度信息，为开发和验证基于RGB-D的尺寸估算算法提供了丰富的数据支持。研究者们正致力于通过深度学习模型，如YOLOv5，提升苹果检测与尺寸估算的准确性，并探索在复杂光照条件和不同视角下的鲁棒性。此外，该数据集还引入了网球作为标准物体，以辅助评估算法的性能，进一步推动了农业自动化中计算机视觉技术的应用与发展。