hyperspectral-fruit

该数据集包含100张在控制光照下拍摄的各种水果和蔬菜的图像，使用Living Optics相机捕捉。数据类型包括RGB图像、稀疏光谱样本和实例分割掩码。数据集中有超过43万个光谱样本，其中超过8.5万个属于19个类别之一。此外，还提供了13张标记图像作为验证集和一些未注释的演示视频。数据集主要用于图像分割和分类任务。

This dataset contains 100 images of various fruits and vegetables captured under controlled lighting conditions using a Living Optics camera. The data types include RGB images, sparse spectral samples, and instance segmentation masks. The dataset encompasses over 430,000 spectral samples, with more than 85,000 of these belonging to one of 19 distinct categories. Additionally, 13 annotated images are provided as the validation set, alongside some unannotated demonstration videos. This dataset is primarily intended for image segmentation and classification tasks.

原始信息汇总

Living Optics Hyperspectral Fruit Dataset

概述

该数据集包含100张在受控光照条件下拍摄的各种水果和蔬菜的图像，使用Living Optics Camera。数据包括RGB图像、稀疏光谱样本和实例分割掩码。从100张图像中，我们提取了超过430,000个光谱样本，其中超过85,000个属于数据集中的19个类别之一。其余的光谱可用于训练分类器时的负采样。此外，提供了11张带标签的图像作为验证集。还提供了一组未标注的.lo格式的演示视频，可用于定性测试基于此数据集构建的算法。

类别

训练数据集包含19个类别：

• 🍋 柠檬 - 8275个总光谱样本
• 🍈 甜瓜 - 9507个总光谱样本
• 🥒 黄瓜 - 227个总光谱样本
• 🍏 Granny Smith苹果 - 3984个总光谱样本
• 🍏 Jazz苹果 - 272个总光谱样本
• 🍎 塑料苹果 - 6693个总光谱样本
• 🍎 Pink Lady苹果 - 17311个总光谱样本
• 🍎 Royal Gala苹果 - 21319个总光谱样本
• 🍅 番茄 - 3748个总光谱样本
• 🍅 樱桃番茄 - 360个总光谱样本
• 🍅 塑料番茄 - 569个总光谱样本
• 🫑 青椒 - 226个总光谱样本
• 🫑 黄椒 - 4752个总光谱样本
• 🫑 橙椒 - 552个总光谱样本
• 🍊 橙子 - 4641个总光谱样本
• 🍊 Easy Peeler橙子 - 2720个总光谱样本
• 🍐 梨 - 194个样本
• 🍇 绿葡萄 - 106个总光谱样本
• 🍋‍🟩 青柠 - 43个总光谱样本

下载说明

命令行

commandline mkdir -p hyperspectral-fruit huggingface-cli download LivingOptics/hyperspectral-fruit --repo-type dataset --local-dir hyperspectral-fruit

Python

python from huggingface_hub import hf_hub_download dataset_path = hf_hub_download(repo_id="LivingOptics/hyperspectral-fruit", filename="train", repo_type="dataset") print(dataset_path)

使用方法

python import os.path as op import numpy.typing as npt from typing import List, Dict, Generator from lo.data.tools import Annotation, LODataItem, LOJSONDataset, draw_annotations from lo.data.dataset_visualisation import get_object_spectra, plot_labelled_spectra from lo.sdk.api.acquisition.io.open import open as lo_open

加载数据集

path_to_download = op.expanduser("~/Downloads/hyperspectral-fruit") dataset = LOJSONDataset(path_to_download)

获取训练数据作为迭代器

training_data: List[LODataItem] = dataset.load("train")

检查数据

lo_data_item: LODataItem for lo_data_item in training_data[:3]: draw_annotations(lo_data_item) ann: Annotation for ann in lo_data_item.annotations: print(ann.class_name, ann.category, ann.subcategories)

绘制每个类别的光谱

fig, ax = plt.subplots(1) object_spectra_dict = {} class_numbers_to_labels = {0: "background_class"} for lo_data_item in training_data: object_spectra_dict, class_numbers_to_labels = get_object_spectra( lo_data_item, object_spectra_dict, class_numbers_to_labels )

plot_labelled_spectra(object_spectra_dict, class_numbers_to_labels, ax) plt.show()

搜集汇总

数据集介绍

构建方式

该数据集通过Living Optics相机在受控光照条件下拍摄了100张水果和蔬菜的图像，涵盖了RGB图像、稀疏光谱样本以及实例分割掩码。从这些图像中提取了超过43万个光谱样本，其中超过8.5万个样本属于19个类别之一，其余样本可用于分类器训练中的负采样。此外，还提供了11张标注图像作为验证集，以及未标注的演示视频，用于定性测试基于该数据集构建的算法。

使用方法

使用该数据集时，首先需要通过Hugging Face的命令行或Python接口下载数据。下载完成后，可以使用提供的Python脚本加载数据集，并通过迭代器访问训练数据。数据集支持对图像进行注释绘制，并可以提取每个类别的光谱数据进行可视化分析。此外，数据集还提供了用于训练和运行分割与光谱分类算法的示例项目，用户可参考该项目进行进一步的算法开发与测试。

背景与挑战

背景概述

Living Optics Hyperspectral Fruit数据集由Living Optics公司创建，旨在推动高光谱成像技术在农业科技领域的应用。该数据集包含100张在受控光照条件下拍摄的水果和蔬菜图像，涵盖了RGB图像、稀疏光谱样本和实例分割掩码。数据集中的光谱样本超过43万个，其中8.5万个样本属于19个类别，其余样本可用于分类器训练中的负采样。该数据集的创建时间为2023年，主要研究人员来自Living Optics公司，核心研究问题聚焦于高光谱成像技术在水果和蔬菜的亚类分类与检测中的应用。该数据集为农业科技领域的研究提供了重要的数据支持，推动了高光谱成像技术在精准农业中的发展。

当前挑战

Living Optics Hyperspectral Fruit数据集在解决高光谱图像分类与分割问题时面临多重挑战。首先，高光谱数据的维度较高，如何在保持数据信息完整性的同时降低计算复杂度是一个关键问题。其次，数据集中某些类别的样本数量较少，例如青柠仅有43个光谱样本，这可能导致模型在这些类别上的泛化能力不足。此外，高光谱数据的采集和处理对设备和技术要求较高，数据质量易受光照条件和环境噪声的影响。在数据集构建过程中，研究人员还需解决光谱样本的标注问题，确保每个样本的类别和分割掩码的准确性。这些挑战为高光谱成像技术在农业领域的应用提出了更高的技术要求。

常用场景

经典使用场景

在农业科技领域，高光谱成像技术因其能够捕捉物体在不同波长下的光谱信息而备受关注。hyperspectral-fruit数据集通过提供多种水果和蔬菜的高光谱图像，成为研究图像分割和分类任务的经典工具。该数据集不仅包含RGB图像，还提供了稀疏光谱样本和实例分割掩码，使得研究者能够在复杂的光谱数据中进行精确的物体识别和分类。

解决学术问题

hyperspectral-fruit数据集解决了农业科技中水果和蔬菜的自动识别与分类问题。通过提供超过430,000个光谱样本，其中85,000个样本属于19个类别，研究者能够训练高效的分类器，实现对不同水果的精确识别。此外，数据集中的负样本也为分类器的鲁棒性训练提供了支持，推动了高光谱图像处理技术的发展。

实际应用

在实际应用中，hyperspectral-fruit数据集被广泛用于农业自动化系统的开发。例如，在水果分拣和品质检测中，该数据集可以帮助构建高精度的光谱分类模型，实现对水果成熟度、病害等的自动检测。这不仅提高了农业生产效率，还减少了人工分拣的成本和误差，推动了农业智能化的发展。

数据集最近研究

最新研究方向

近年来，高光谱成像技术在农业科技领域的应用日益广泛，尤其是在水果和蔬菜的分类与检测方面。Living Optics高光谱水果数据集（hyperspectral-fruit）凭借其丰富的多光谱样本和实例分割掩码，为研究者提供了强大的工具。该数据集不仅支持传统的图像分类任务，还推动了基于光谱特征的子类分类和检测技术的发展。特别是在水果品质检测、成熟度评估以及病虫害识别等前沿研究方向，该数据集的应用显著提升了算法的精度和鲁棒性。此外，随着深度学习与高光谱成像技术的深度融合，该数据集在农业自动化、精准农业等热点领域的研究中展现出巨大的潜力，为未来的智能农业系统奠定了坚实的基础。