DE-Dataset

DE-Dataset是一个大规模数据集，包含25个类别和261,806个标注实例，提供对象属性、关系和上下文的详细描述，用于遥感图像的对象级细粒度图像描述任务。

DE-Dataset is a large-scale dataset containing 25 categories and 261,806 annotated instances, which provides detailed descriptions of object attributes, relationships and contexts, and is designed for the object-level fine-grained image captioning task of remote sensing images.

原始信息汇总

DescribeEarth 数据集概述

数据集基本信息

• 数据集名称: DescribeEarth
• 核心任务: 面向遥感图像的对象级细粒度图像描述（Geo-DLC）
• 发布状态: 论文、代码、数据集和基准测试均已发布

数据集组成

DE-Dataset

• 数据规模: 包含261,806个标注实例

• 类别数量: 25个类别

• 数据来源: 基于DIOR和DOTA数据集构建

• 数据格式:

  DE-Dataset

  • {DIOR, DOTA}
  • • image
  • • description

• 下载地址: https://huggingface.co/datasets/earth-insights/DE-Dataset

DE-Benchmark

• 评估方式: LLM辅助的问答评估套件
• 功能: 系统性测量模型在Geo-DLC任务上的性能
• 下载地址: https://huggingface.co/datasets/earth-insights/DE-Benchmark

技术特点

• 标注粒度: 对象级细粒度描述
• 描述内容: 对象属性、关系和上下文
• 应用场景: 环境监测、城市规划、灾害管理

使用方法

• 数据格式化: 使用 bash scripts/format_data.sh 进行训练数据格式化
• 预训练模型: 可从 https://huggingface.co/earth-insights/DescribeEarth 下载
• 推理示例: 支持多边形边界框和两点边界框的对象描述

相关资源

• 论文地址: https://arxiv.org/abs/2509.25654
• 代码仓库: https://github.com/earth-insights/DescribeEarth
• 预训练权重: https://huggingface.co/earth-insights/Qwen2.5-VL-3B-RC

搜集汇总

数据集介绍

构建方式

在遥感图像分析领域，DE-Dataset的构建基于对现有图像标注局限性的深入考量。该数据集整合了DIOR与DOTA两大公开遥感数据源，通过人工与自动化协同标注的方式，系统性地完成了261,806个实例的精细标注。标注过程聚焦于25类典型地物目标，针对每个实例的属性特征、空间关系及环境上下文生成结构化描述文本，形成了层次化的多模态数据体系。

特点

作为面向地理空间对象细粒度描述的新型数据集，DE-Dataset展现出显著的领域特性。其标注体系突破了传统图像级描述的框架，实现了从宏观场景到微观对象的跨尺度表征。数据集涵盖航空器、建筑物等多样地物类别，每个实例均配备包含材质、形态、空间关系的三元组描述，这种设计为遥感图像的语义理解提供了前所未有的细粒度支撑。

使用方法

针对该数据集的应用实践，研究者可通过官方提供的格式化脚本快速构建训练环境。数据集采用标准化的目录结构组织，用户只需执行指定脚本即可完成数据预处理。在模型训练阶段，支持基于Qwen2.5-VL框架的微调流程，同时提供完整的评估体系。推理时通过指定图像路径与边界框坐标，即可获取针对特定地物对象的自然语言描述结果。

背景与挑战

背景概述

遥感图像自动文本描述技术作为环境监测与城市规划等领域的关键支撑，其发展长期受限于传统方法仅能生成图像级描述的粗粒度局限。2025年由Kaiyu Li、Zixuan Jiang等学者联合发布的DE-Dataset，通过构建包含25个类别、26万余实例标注的大规模数据集，开创性地提出了面向地理空间对象的细粒度描述任务Geo-DLC。该数据集通过系统化标注物体属性、空间关系及场景上下文，推动了多模态大语言模型在遥感解析领域的范式革新。

当前挑战

在遥感图像描述领域，传统方法难以突破对象级语义解析的瓶颈，包括复杂背景干扰下目标特征的精准提取、多尺度地物空间关系的逻辑建模等核心难题。数据集构建过程中需攻克海量遥感数据中细粒度标注的语义一致性难题，同时需平衡不同地物类别在形态尺度、纹理特征方面的巨大差异，这对标注规范设计及质量校验体系提出了极高要求。

常用场景

经典使用场景

在遥感图像分析领域，DE-Dataset作为首个面向对象级细粒度图像描述的大规模数据集，其经典应用场景聚焦于对遥感影像中特定目标的精细化语义解析。通过标注的26万余个实例覆盖25类地物目标，该数据集能够支撑模型对图像中各类地物进行属性识别、空间关系分析和场景上下文理解，为多模态大语言模型在遥感领域的适应性训练提供了标准化数据基础。

衍生相关工作

基于该数据集衍生的经典工作包括提出多模态大语言模型DescribeEarth，其创新的尺度自适应聚焦策略与领域引导融合模块已成为遥感细粒度描述的新范式。同时建立的DE-Benchmark评估体系开创了LLM辅助的遥感图像描述量化评估方法，推动了后续研究如RemoteCLIP视觉编码器优化、多尺度特征对齐等技术的持续演进。

数据集最近研究

最新研究方向

随着遥感图像智能解译需求的日益增长，面向对象级细粒度描述成为该领域的前沿突破点。DescribeEarth数据集通过构建包含25个类别、26万余标注实例的大规模样本库，推动了地理空间目标描述任务（Geo-DLC）的范式革新。当前研究聚焦于多模态大语言模型与遥感图像的深度融合，通过尺度自适应聚焦机制与领域引导融合模块，突破传统方法在细节捕捉与上下文关联的局限。这一进展不仅为环境监测、灾害评估等应用提供精准的语义支撑，更通过LLM辅助的评估体系建立了遥感细粒度描述的新基准，标志着遥感视觉语言模型向具身智能迈出关键一步。