Chessboard

Chessboard是一个远程感知视觉问答（RSVQA）数据集，旨在通过3123253个问题和均衡的答案分布来最小化数据集偏差。该数据集基于reBEN数据集，使用190951个模板生成了62亿353万609个问题-答案对。数据集包含459361张图片，共有186731个独特的问题模板和519个独特的单词，分为训练集、验证集和测试集。

Chessboard is a remote sensing visual question answering (RSVQA) dataset designed to minimize dataset bias through 3,123,253 questions and a balanced answer distribution. Built upon the reBEN dataset, it generates 6,203,530,609 question-answer pairs using 190,951 templates. The dataset contains 459,361 images, with 186,731 unique question templates and 519 distinct vocabulary words, and is split into training, validation, and test sets.

搜集汇总

数据集介绍

构建方式

在遥感视觉问答领域，Chessboard数据集基于reBEN遥感图像库构建，采用像素级土地覆盖标注数据生成多样化问题模板。通过设计存在性、土地覆盖、面积比较和相对比较四类问题类型，利用190,951个语言模板自动生成3,123,253个问答对。每个图像被划分为4×4棋盘格式的16个单元格，记录各类别在单元格内的空间分布信息，并通过分层平衡算法消除答案分布偏差，确保数据集的均衡性与可靠性。

使用方法

该数据集适用于训练和评估可解释遥感视觉问答模型。使用时需加载图像与对应问答三元组，结合单元格空间标注信息进行多任务学习。典型应用流程包括：通过语义分割模型提取图像特征，转换为基于单元格的文本化摘要，再输入语言模型同步预测答案及相关单元格位置。评估时需综合考量答案准确率、单元格预测的微观F1分数及空间相关性指标，以全面衡量模型的可解释性与视觉推理能力。

背景与挑战

背景概述

Chessboard数据集由洛桑联邦理工学院和巴黎西岱大学等机构于2025年联合推出，专注于遥感视觉问答（RSVQA）领域。该数据集基于reBEN遥感图像库构建，包含312万余条问答对，通过棋盘格化空间分割技术将图像划分为16个单元格，每个答案均与特定图像区域关联。其核心研究目标在于解决RSVQA模型中可解释性不足与数据集偏差问题，通过平衡答案分布和细粒度视觉定位，推动遥感图像理解向透明化、可信化方向发展。

当前挑战

该数据集主要应对遥感视觉问答中模型决策黑箱化与数据集偏差两大挑战。具体而言，传统RSVQA模型常因答案分布不平衡（如“是/否”回答占比悬殊）陷入捷径学习，忽视图像内容本质；同时缺乏对决策依据的空间可视化能力。构建过程中需克服多模态对齐复杂性：既要确保186,731个问题模板的语言多样性，又需精确映射44种土地覆盖类别到棋盘格单元，并通过像素阈值控制（≥30像素）实现空间语义的量化平衡。

常用场景

解决学术问题

该数据集有效解决了RSVQA领域长期存在的两个核心学术问题：一是通过平衡的答案分布和精细的空间标注，显著降低了模型对统计偏差的依赖，遏制了捷径学习现象；二是通过单元级别的视觉 grounding 机制，为模型决策过程提供了可解释的物理依据，使得模型的推理过程变得透明可验证。这种设计推动了遥感视觉问答从黑箱预测向白箱推理的范式转变，为构建可信赖的遥感人工智能系统提供了数据基础。

实际应用

在实际应用层面，Chessboard数据集支撑的模型可广泛应用于智慧城市管理、环境监测和灾害评估等领域。例如在城市规划中，系统能够准确回答特定区域的土地利用分布问题，并明确指出决策依据的空间位置；在洪涝监测中，模型不仅能判断淹没区域的存在，还能精确定位受影响的具体区域范围。这种细粒度的空间推理能力使得人工智能系统能够为决策者提供更具操作性的参考依据，提升遥感数据在实际业务中的应用价值。

数据集最近研究

最新研究方向

遥感视觉问答领域正聚焦于模型决策透明性与可解释性研究，Chessboard数据集通过引入棋盘格空间单元标注机制，将答案与图像特定区域精准关联，推动了细粒度视觉推理范式的发展。当前研究热点集中于融合语义分割与语言模型的联合架构，如Checkmate系统通过解析土地覆盖类别与空间分布关系，有效缓解了传统RSVQA中的分布偏差问题。该方向显著提升了遥感AI系统在灾害监测、环境评估等关键领域的可信度，为构建可追溯的决策支持系统奠定了数据基础。

相关研究论文

• Checkmate: interpretable and explainable RSVQA is the endgame

  巴黎城市大学、洛桑联邦理工学院、法国国家航空航天研究局 · 2025年