RemoteSAM-270K

RemoteSAM-270K数据集是一个大规模的参考表达式分割数据集，旨在扩大类别覆盖和属性多样性，以实现丰富的语义覆盖。该数据集包含了超过27万个图像-文本-掩码三元组，涵盖了297个类别和16种细粒度属性描述，是通过多源集成主流遥感数据集，并由VLMs生成语义密集的参考表达式构建而成。RemoteSAM-270K数据集为遥感视觉基础模型RemoteSAM提供了强大的语义理解能力，使其能够在多个下游视觉任务中表现出优异的性能。

The RemoteSAM-270K dataset is a large-scale referring expression segmentation dataset, which aims to expand category coverage and attribute diversity to achieve rich semantic coverage. It contains over 270,000 image-text-mask triplets, covering 297 categories and 16 fine-grained attribute descriptions. The dataset is constructed by integrating multiple mainstream remote sensing datasets and generating semantically dense referring expressions via VLMs. The RemoteSAM-270K dataset equips the remote sensing visual foundation model RemoteSAM with powerful semantic understanding capabilities, enabling it to achieve excellent performance across multiple downstream visual tasks.

原始信息汇总

RemoteSAM 数据集概述

基本信息

• 数据集名称: RemoteSAM-270K
• 发布机构: 河海大学等机构联合发布
• 发布日期: 2025年5月7日
• 数据量: 270K Image-Text-Mask 三元组
• 下载地址: RemoteSAM-270K

数据集特点

1. 数据内容

   • 包含图像、文本描述和掩码标注的三元组数据
   • 覆盖1000+种物体类别
   • 包含丰富的属性标注（颜色、空间关系等）

2. 语义多样性

   • 通过语言多样化提示生成
   • 引入RSVocab-1K层次化语义词汇表

3. 生成方式

   • 基于视觉语言模型(VLMs)的自动化流水线生成

技术背景

• 关联模型: RemoteSAM视觉基础模型
• 模型特点:
  • 统一像素级、区域级和图像级任务
  • 采用Referring Expression Segmentation(RES)架构
  • 参数量大幅减少（从十亿级降至百万级）

数据准备

1. 目录结构

$DATA_PATH ├── RemoteSAM-270K │ ├── JPEGImages │ ├── Annotations └──── ├── refs(unc).p ├── instances.json

2. 使用步骤
   • 从HuggingFace下载数据集
   • 将数据复制到./refer/data/目录下

应用场景

支持多种遥感图像处理任务：

1. Referring Expression Segmentation
2. Semantic Segmentation
3. Object Detection
4. Visual Grounding
5. Multi-label classification
6. Image Classification
7. Image Captioning
8. Object Counting

引用信息

bibtex @misc{yao2025RemoteSAM, title={RemoteSAM: Towards Segment Anything for Earth Observation}, author={Liang Yao and Fan Liu and Delong Chen and Chuanyi Zhang and Yijun Wang and Ziyun Chen and Wei Xu and Shimin Di and Yuhui Zheng}, year={2025}, eprint={2505.18022}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2505.18022}, }

联系方式

• 联系人: [e-mail]

搜集汇总

数据集介绍

构建方式

RemoteSAM-270K数据集的构建采用了自动化的数据引擎，显著提升了可扩展性，避免了传统人工标注或基于规则方法的局限性。通过整合多源遥感数据集（如iSAID、LoveDA、DOTA等）并标准化其格式，该数据集生成了27万组图像-文本-掩码三元组。数据生成策略包括直接整合现有参考分割标注、基于模板生成参考表达式以及创建无目标样本以增强模型鲁棒性。此外，利用视觉语言模型（VLMs）提取丰富的语义信息，并通过混合教师模型迭代优化伪标签，确保了数据的多样性和质量。

使用方法

RemoteSAM-270K支持以参考表达式分割为核心的多任务统一范式。使用方法包括：1）直接加载图像-文本-掩码三元组进行模型训练；2）通过文本提示生成特定目标的像素级分割掩码；3）将分割输出转换为区域级（如目标检测）或图像级（如多标签分类）任务结果。该数据集特别适用于零样本迁移学习和开放词汇任务，无需微调即可在语义分割、视觉定位等下游任务中实现优异性能。模型支持高分辨率遥感图像的高效处理，参数规模较传统基础模型降低一个数量级。

背景与挑战

背景概述

RemoteSAM-270K是由河海大学、香港科技大学等机构的研究团队于2025年提出的遥感视觉基础模型数据集，旨在解决地球观测领域中多任务视觉感知的统一建模问题。该数据集包含27万组图像-文本-掩码三元组，覆盖297个语义类别和16种属性特征，创造了当前遥感指代表达分割领域最大规模的数据记录。其创新性地采用视觉语言模型驱动的自动化数据引擎，突破了传统人工标注在语义覆盖范围和标注效率上的局限，为构建具有像素级理解能力的通用遥感基础模型提供了关键数据支撑。

当前挑战

该数据集主要面临两大核心挑战：在领域问题层面，需解决遥感图像中多尺度目标识别、复杂地物关系建模以及跨任务统一表征的难题，特别是像素级密集预测任务与区域/图像级任务的兼容性问题；在构建过程中，需克服自动化标注的可靠性验证、多源异构数据融合以及语义属性表达的丰富性等挑战。现有遥感指代分割数据集普遍存在类别覆盖有限、属性描述单一等问题，而RemoteSAM-270K通过混合教师模型迭代优化和视觉语言模型辅助生成，实现了对细小目标、罕见地物及复杂空间关系的精准标注。

常用场景

经典使用场景

RemoteSAM-270K数据集在地球观测领域具有广泛的应用价值，尤其在遥感图像分割任务中表现卓越。该数据集通过自动数据引擎生成了270K图像-文本-掩码三元组，覆盖了前所未有的语义类别和属性规范，为遥感图像的分割任务提供了丰富的训练样本。其经典使用场景包括遥感图像中的目标分割、语义分割以及多任务视觉理解，特别是在像素级预测任务中展现了出色的性能。

解决学术问题

RemoteSAM-270K数据集解决了遥感图像分割中语义覆盖不足和任务异构性的关键问题。传统方法通常依赖于特定任务的架构和狭窄的数据领域，导致语义覆盖有限。该数据集通过自动数据引擎和大规模语义标注，显著提升了模型的泛化能力和多任务处理能力。此外，其提出的基于参考表达分割的任务统一范式，有效支持了分类、检测、分割和定位等多种视觉任务，显著提升了遥感图像理解的全面性和准确性。

实际应用

在实际应用中，RemoteSAM-270K数据集为城市发展、农业监测、灾害管理等领域提供了强大的技术支持。例如，在城市规划中，该数据集可以用于精确分割建筑物和道路；在农业监测中，可用于识别作物类型和生长状态；在灾害管理中，能够快速定位受灾区域。其高效的像素级预测能力和多任务支持特性，使其在复杂场景中表现出色，为实际应用提供了可靠的数据基础。

数据集最近研究

最新研究方向

RemoteSAM-270K作为当前地球观测领域规模最大的图像-文本-掩码三元组数据集，其最新研究聚焦于基于参考表达分割（Referring Expression Segmentation, RES）的任务统一范式。该数据集通过自动化数据引擎构建，覆盖297个语义类别和16种细粒度属性，显著提升了模型在像素级任务（如语义分割）、区域级任务（如目标检测）和图像级任务（如多标签分类）中的泛化能力。前沿研究验证了RemoteSAM在RRSISD和RisBench等基准测试上的优越性，其mIoU分别达到71.75%和71.46%，且参数量较传统多模态大模型减少一个数量级。这一突破为高分辨率遥感数据的实时处理提供了高效解决方案，同时推动了开放词汇识别和零样本迁移学习在遥感领域的发展。

相关研究论文

• RemoteSAM: Towards Segment Anything for Earth Observation

  河海大学, 香港科技大学, 东南大学, 南京信息工程大学 · 2025年