作物病害领域多模态数据集（CDDM）

CDDM数据集是由中国联通AI创新中心和中国联通数字技术公司创建的多模态数据集，包含137,000张不同作物病害的图片和100万条关于农业知识的问题-答案对。这些数据覆盖了从病害识别到管理实践的广泛农业知识。数据集的构建目的是为了推动农业研究领域的多模态学习技术发展，通过整合视觉和文本数据，促进精细化的问答系统开发，为农民和农业专业人士提供精确、有用的建议。The CDDM dataset is a multimodal dataset developed by China Unicom AI Innovation Center and China Unicom Digital Technology Co., Ltd. It encompasses 137,000 images of various crop diseases and 1 million question-answer pairs concerning agricultural knowledge. These data cover a broad spectrum of agricultural knowledge ranging from disease identification to management practices. The dataset is constructed to advance the development of multimodal learning technologies in the field of agricultural research, and facilitate the development of fine-grained question-answering systems by integrating visual and textual data, thereby providing accurate and practical suggestions for farmers and agricultural professionals.

搜集汇总

数据集介绍

构建方式

作物病害领域多模态数据集（CDDM）的构建方法包括两部分：一是收集和标注作物病害图像数据，二是生成作物病害诊断和知识的多轮对话数据。图像数据来源于网上公开的农业数据集和实地调查收集的私有数据，经过农业专家的协助进行标注。对话数据则是利用GPT-4生成指令遵循的问答对，涵盖了从疾病识别到防治策略的详细信息。

特点

CDDM数据集的特点在于其多模态特性，融合了视觉和文本信息，包含了大量的作物病害图像和相应的问答对。数据集覆盖了16类作物和60类病害，数据分布均匀，且包含了详细的病害知识描述，为训练多模态视觉问答系统提供了丰富的资源。

使用方法

使用CDDM数据集的方法包括：首先，数据集可以用于训练和微调多模态模型，以提高在作物病害领域的诊断准确性；其次，数据集中的问答对可以用于指导模型生成针对特定病害的预防和管理建议；最后，通过评估指标来衡量模型在作物病害诊断和知识问答方面的性能。

背景与挑战

背景概述

作物病害领域多模态数据集（CDDM）是由中国联通AI创新中心与联通数字技术公司共同研发的一个创新资源，旨在通过应用多模态学习技术推动农业研究领域的发展。该数据集汇集了13.7万张不同作物病害的图片，并配备了100万对问题-答案组合，覆盖了从病害识别到管理实践的广泛农业知识。这一数据集的构建，不仅为训练能够理解和回答关于作物病害问题的模型提供了基础资源，也为智能农业助手的发展奠定了基石。

当前挑战

在构建CDDM数据集的过程中，研究人员面临了诸多挑战。首先，由于不同作物病害之间在视觉特征上具有高度相似性，因此如何区分这些病害成为了一个挑战。其次，现有的单模态方法在提供诊断结果方面存在局限性，无法提供基于人类偏好的丰富农业知识。此外，为了使模型能够准确诊断作物病害，研究人员采用了创新的LoRA训练策略，以避免视觉编码器在微调过程中的冻结，从而提高模型对病害特征的识别能力。

常用场景

经典使用场景

作物病害领域多模态数据集（CDDM）被广泛应用于构建和训练多模态视觉问答系统，其中经典的使用场景包括对作物病害图像进行识别和分类，以及提供关于病害的详细信息和防治建议。该数据集通过整合视觉和文本信息，使得AI系统能够在理解农作物相关问题时，提供更为精准和有用的建议。

衍生相关工作

CDDM数据集的发布促进了相关领域的研究，衍生出了一系列相关工作，包括但不限于改进的作物病害诊断模型、多模态学习技术在农业领域的应用研究，以及面向智能农业的AI系统开发等。这些工作进一步扩展了CDDM数据集的应用范围，推动了农业技术的发展。

数据集最近研究

最新研究方向

作物病害领域多模态数据集（CDDM）的构建与模型微调策略研究，该数据集将图像和文本信息相结合，旨在推进农业领域中的多模态学习技术。研究提出了创新的微调策略，利用低秩适应（LoRA）技术同时调整语言模型、视觉编码器及位置感知的视觉语言适配器，以适应作物病害诊断的需求。

相关研究论文

• A Multimodal Benchmark Dataset and Model for Crop Disease Diagnosis

  中国联通AI创新中心，中国联通数字技术公司 · 2025年