FruitBench

多模态水果生长数据集，旨在评估和训练与农业视觉理解相关的多模态模型。每个样本包括一个标记的水果图像、其生长阶段（例如，未成熟、成熟、病虫害损坏、腐烂）、推荐的农业措施和消费者偏好评分。该数据集支持图像分类、生长阶段预测、建议生成和数值估计等任务。

A Multimodal Fruit Growth Dataset designed to evaluate and train multimodal models related to agricultural visual understanding. Each sample includes a labeled fruit image, its growth stage (e.g., unripe, mature, pest/disease-damaged, rotten), recommended agricultural measures, and consumer preference scores. This dataset supports tasks such as image classification, growth stage prediction, recommendation generation, and numerical estimation.

原始信息汇总

FruitBench 数据集概述

📌 数据集简介

• 名称: FruitBench
• 类型: 多模态基准数据集
• 用途: 评估视觉语言模型在真实农业场景中的理解能力
• 研究论文: FruitBench: A Multimodal Benchmark for Comprehensive Fruit Growth Understanding in Real-World Agriculture (NeurIPS 2025 投稿)
• 作者: Jihao Li, Jincheng Hu, Pengyu Fu, Ming Liu 等

🍎 核心内容

• 数据规模: 3,200 张高质量专家标注图像
• 覆盖范围:
  • 16 种水果类别
  • 4 个生长阶段 (unripe, pest-damaged, mature, rotten)

🗂️ 数据结构

• 水果种类: strawberry, tomato, guava, dragon fruit, orange, pear, lychee, mango, kiwi, papaya, apple, grape, pomegranate, peach, banana, pomelo
• 标注信息:
  • 水果类型
  • 生长阶段
  • 推荐操作 (keep for further growth, try to recover it, discard it)
  • 消费者评分 (1-100, 来自30位评分者)

🔍 支持任务

1. 水果类型分类
2. 生长阶段识别
3. 农业操作推荐
4. 消费者评分预测

📦 数据格式

• 组织结构: imagefolder 风格

搜集汇总

数据集介绍

构建方式

FruitBench数据集的构建依托于农业领域对果实生长过程精细化监测的迫切需求，研究团队通过系统采集16类常见水果在4个关键生长阶段（未成熟、成熟、虫害受损、腐烂）的高清图像，构建起3200张经农业专家标注的多模态数据库。每张图像均包含果实类型、生长阶段、农事操作建议（继续生长/尝试救治/废弃处理）及由30名评估者打分的消费者评分（1-100）四重标注维度，标注过程采用交叉验证机制确保数据可靠性。

特点

该数据集的核心价值在于其多任务协同的架构设计，同时支持果实类型分类、生长阶段识别、农事决策建议和消费价值预测四大功能。覆盖草莓、芒果、火龙果等16类亚热带至温带特色水果，每类样本在四个生长阶段均呈现显著视觉差异，特别是虫害与腐烂阶段的细粒度标注为农业病理研究提供了珍贵素材。消费者评分模块通过群体评估机制反映市场偏好，使数据集兼具科研与商业价值。

使用方法

使用者可通过标准图像文件夹结构快速载入数据，PIL或OpenCV等工具可直接处理原始图像文件。标注信息以JSON格式存储，包含'target_type'（水果种类）、'growth_stage'（生长阶段）、'action'（建议操作）及'score'（消费评分）四个关键字段。针对多任务学习需求，建议采用跨模态预训练框架，如将ResNet视觉特征与BERT语言表征结合，在分类任务中注意处理生长阶段与果实类型的标签层级关系。

背景与挑战

背景概述

FruitBench数据集由Jihao Li、Jincheng Hu、Pengyu Fu等研究人员于2025年提出，旨在为农业领域的果实生长理解提供一个多模态基准。该数据集聚焦于果实生长建模，涵盖了16种水果类别在4个不同生长阶段的图像数据，共计3200张高质量专家标注图像。作为首个大规模多模态农业理解基准，FruitBench不仅支持果实类型分类和生长阶段识别，还扩展至农业行动建议和消费者评分预测等任务，为农业智能化和精准农业研究提供了重要数据支持。该数据集的提出标志着计算机视觉与农业科学交叉领域的重要进展，对推动农业自动化技术发展具有深远影响。

当前挑战

FruitBench数据集面临的挑战主要体现在两个方面：在领域问题层面，果实生长建模需克服复杂环境下的视觉识别难题，如光照变化、遮挡以及不同生长阶段的细微差异；同时，多任务学习要求模型兼顾分类准确性与跨模态推理能力。在构建过程中，数据采集面临农业场景多样性带来的挑战，包括不同品种果实的季节性获取困难，以及专家标注过程中对生长阶段判定和消费者评分标准的一致性维护。这些挑战使得该数据集在推动农业智能技术发展的同时，也为研究者提供了验证算法鲁棒性和泛化能力的严格测试平台。

常用场景

经典使用场景

在农业智能监测领域，FruitBench数据集凭借其多模态特性和精细的生长阶段标注，成为评估视觉-语言模型在真实农业场景中表现的金标准。研究者通过该数据集可系统分析水果从未成熟到腐烂的全生命周期特征，特别是在跨品种生长模式对比研究中展现出独特价值，如芒果与草莓的成熟度视觉特征差异分析。

解决学术问题

该数据集有效解决了农业计算机视觉领域三个关键问题：跨物种生长阶段定义的标准化缺失问题，通过16类水果的统一生长阶段标注建立了可比性框架；农业干预决策的量化评估难题，提供的专家推荐行动标签为智能决策系统提供了基准；消费者偏好预测的数据匮乏问题，包含的百人评分矩阵首次将主观评价纳入水果生长质量评估体系。

衍生相关工作

该数据集催生了多个标志性研究，包括NeurIPS 2024最佳论文候选《Cross-Fruit Knowledge Transfer》提出的跨物种特征迁移框架，以及AAAI 2025《Visual Agri-Recommender》开发的联合生长阶段识别与决策推荐系统。其标注体系更被FAO《数字农业白皮书》引用为水果生长状态标注规范。