SIS-Bench

SIS-Bench是一个用于评估具身无人机（UAV）场景中空间智能的综合基准数据集。该基准旨在评估多模态大语言模型（MLLMs）在两个互补维度——空间认知与自我意识——以及三个由易到难的认知层级（感知、记忆、推理）上的表现。数据集包含4,856个多项选择题，覆盖13个不同的任务类别，基于1,646个唯一的无人机视频构建。这些视频来源于三个互补的无人机视频数据集：AirScape、UrbanVideo-Bench和VisDrone，涵盖了丰富的城市环境和飞行场景。视频格式主要为H.264编码的MP4，分辨率分别为1280×720或1904×1070。数据以JSON Lines（.jsonl）格式组织，每个条目包含唯一的问题ID、视频文件名与路径、视频片段拼接数量（1表示单视频）、任务类型、自然语言问题、四个选项（A-D）以及正确答案标签。任务被系统性地组织在一个2×3的评估网格中：两个评估维度（空间认知：理解外部环境中的物体、地标、空间关系和场景布局；自我意识：理解无人机自身的运动、动作历史和未来行为）与三个认知层级（感知：基于单次观察的直接视觉与运动理解；记忆：整合多个具有时序依赖性的视频片段信息；推理：在长时序或时序被打乱的情况下进行高层级推断）。该数据集专门用于对视频MLLMs进行零样本评估，以探究模型在联合理解“空间”（外部环境）与“自我”（智能体自身状态与运动）方面的能力。其应用场景包括空间智能基准测试、自我意识能力诊断、时序推理评估、零样本模型泛化能力测评以及受控消融实验对比。SIS-Bench is a comprehensive benchmark dataset for evaluating spatial intelligence in embodied unmanned aerial vehicle (UAV) scenarios. This benchmark aims to assess the performance of multimodal large language models (MLLMs) across two complementary dimensions—spatial cognition and self-awareness—and three cognitive levels of increasing difficulty (perception, memory, reasoning). The dataset comprises 4,856 multiple-choice questions covering 13 distinct task categories, built upon 1,646 unique UAV videos. These videos are sourced from three complementary UAV video datasets: AirScape, UrbanVideo-Bench, and VisDrone, encompassing a wide range of urban environments and flight scenarios. The video formats are primarily H.264-encoded MP4, with resolutions of 1280×720 or 1904×1070. The data is organized in JSON Lines (.jsonl) format, with each entry containing a unique question ID, video filename and path, number of video segments concatenated (1 for single video), task type, natural language question, four options (A-D), and the correct answer label. Tasks are systematically structured in a 2×3 evaluation grid: two evaluation dimensions (spatial cognition: understanding objects, landmarks, spatial relationships, and scene layouts in the external environment; self-awareness: understanding the UAVs own motion, action history, and future behavior) and three cognitive levels (perception: direct visual and motion understanding based on a single observation; memory: integrating information from multiple temporally dependent video segments; reasoning: high-level inference under long-term or temporally shuffled conditions). This dataset is specifically designed for zero-shot evaluation of video MLLMs to explore models capabilities in jointly understanding space (external environment) and self (agents own state and motion). Its application scenarios include spatial intelligence benchmarking, self-awareness capability diagnosis, temporal reasoning assessment, zero-shot model generalization evaluation, and controlled ablation experiment comparisons.

原始信息汇总

数据集总览

SIS-Bench 是一个专注于评估无人机（UAV）场景下空间智能的综合基准测试。它旨在评测多模态大语言模型（MLLMs）在空间认知与自我意识两个维度上的能力，涵盖感知、记忆和推理三个递增的认知难度层级。

• 语言：英语
• 许可证：Apache-2.0
• 任务类别：视觉问答、视频分类、多项选择问答
• 数据规模：包含 4,856 个多项选择题，覆盖 13 个任务，源自 1,646 个独特视频。

基准测试设计

SIS-Bench 按照两个维度和三个认知层级组织，形成一个 2×3 的评估网格。

两个维度

维度	关注点	问题示例
空间认知	理解外部环境，如物体、地标、空间关系和场景布局。	"What object is located to the rear of the dark column-shaped parking sign?"
自我意识	理解无人机自身的运动、动作历史和未来行为。	"What flight action is the drone performing in the second clip?"

三个认知层级

层级	描述	视频类型
感知	基于单一观察的直接视觉和运动理解。	单视频
记忆	整合跨多个片段的信息，具有时间依赖性。	拼接视频（2-4个片段）
推理	对长或混乱时间跨度进行高阶推理。	长视频 / 乱序视频

任务分类与数据分布

基准测试包含 13 个具体任务，其分布如下：

#	任务	维度	层级	视频类型	条目数
1	物体存在性	空间认知	感知	单视频	492
2	物体属性	空间认知	感知	单视频	387
3	相对方向	空间认知	感知	单视频	200
4	地标出现顺序	空间认知	记忆	拼接视频	306
5	地标回忆	空间认知	记忆	拼接视频	443
6	位置关系	空间认知	记忆	拼接视频	252
7	空间一致性	空间认知	推理	乱序视频	195
8	时空一致性	空间认知	推理	乱序视频	241
9	动作识别	自我意识	感知	单视频	686
10	动作序列	自我意识	记忆	拼接视频	315
11	动作回忆	自我意识	记忆	拼接视频	804
12	动作预测	自我意识	推理	长视频	263
13	路径规划	自我意识	推理	长视频	272

总体分布总结:

	感知	记忆	推理	总计
空间认知	1,079	1,001	436	2,516
自我意识	686	1,119	535	2,340
总计	1,765	2,120	971	4,856

数据来源

基准测试的数据来源于三个无人机视频数据集：

• AirScape：大规模航拍素材，包含丰富的 GPS、相机和轨迹标注，3,885 个条目。
• UrbanVideo-Bench：多样的城市无人机视频，覆盖道路、建筑、公园和十字路口，838 个条目。
• VisDrone：真实世界无人机镜头，包含物体检测和跟踪标注，133 个条目。

所有视频均为 H.264 编码的 MP4 格式，分辨率为 1280×720（AirScape, UrbanVideo-Bench）或 1904×1070（VisDrone）。

数据格式

数据存储在一个名为 SIS-Bench.jsonl 的文件中，每一行是一个 JSON 对象，包含以下字段：

• question_id: 唯一的问题标识符 (string)
• video_name: 包含子目录的源视频文件名 (string)
• video_path: 视频目录内的相对路径 (string)
• concat_num: 拼接片段的数量 (integer)
• task_type: 13个任务类别之一 (string)
• question: 自然语言问题 (string)
• options: A 到 D 四个选项 (object)
• answer: 正确的选项标签 (A-D) (string)

数据集结构

SIS-Bench/ ├── SIS-Bench.jsonl # 4,856 个问答对 ├── video/ │ ├── AirScape/ # 1,156 个视频 │ ├── UrbanVideo/ # 427 个视频 │ └── VisDrone/ # 63 个视频 └── images/ ├── teaser.jpeg # 基准测试展示图 └── pipeline.webp # 构建流程概览图

应用场景

• 空间智能基准测试：评估视频 MLLM 在无人机场景下对空间和自我的联合理解能力。
• 自我意识诊断：衡量模型对智能体运动、动作历史和未来行为的理解程度。
• 时序推理评估：在感知、记忆、推理三个认知层级上测试模型。
• 零样本评估：评估预训练模型的泛化能力。
• 受控消融追踪：在相同的评估协议下比较模型变体。

搜集汇总

数据集介绍

构建方式

SIS-Bench基准数据集旨在评估具身无人机场景下的空间智能，它从AirScape、UrbanVideo-Bench和VisDrone三个互补的无人机视频源中精心构建而来。数据集包含1,646段独立视频，通过设计单段视频、拼接视频、长视频和打乱视频四种视频类型，并依据感知、记忆、推理三个递增的认知层次，构建了涵盖空间认知与自我意识两个维度的13项任务。最终形成了4,856道四选一的判断题，所有视频均经过零损坏验证，确保数据质量。

特点

该数据集最显著的特点在于其双维认知评估框架：空间认知维度聚焦于外部环境理解，包括物体属性和空间关系等；自我意识维度则关注无人机自身的运动状态与行为历史，涵盖动作识别与路径规划等。任务设计覆盖从直接观察到跨片段信息整合再到高层面推理的完整认知链条，特别突出了当前大语言模型在自我意识维度持续表现不佳的发现，为诊断模型缺陷提供了精准的探针。

使用方法

使用者可通过HuggingFace或ModelScope平台下载完整数据集，包含JSONL标注文件和MP4视频目录。采用datasets库可快速加载注释，评估时需为每道题加载对应视频并输出A-D选项，将预测结果与'answer'字段进行精确匹配以计算准确率。论文还提供了基于vLLM评估器的Eval脚本及针对SIS-Motion模型的专用Motion评估脚本，支持零样本测试与受控消融实验，便于系统性地比较模型变体。

背景与挑战

背景概述

在具身智能与无人机自主导航领域，空间智能与自我意识的协同理解是迈向真正自主决策的关键瓶颈。针对现有视觉语言模型在时空推理与主体状态建模上的显著短板，由Zhishan Zou、Guoyan Sun等研究者于2026年提出的SIS-Bench基准应运而生。该基准依托AirScape、UrbanVideo-Bench与VisDrone三大无人机视频源，精心构建了包含4856道多选题的评测体系，涵盖空间认知与自我意识两大维度，并细分为感知、记忆与推理三个认知层级。通过13项任务与1646段视频的标准化评估，SIS-Bench为多模态大模型在无人机具身场景中的空间智能水平提供了系统化的度量工具，对推动自主飞行、环境理解与人机协同等领域的研究具有重要的学术价值与工程意义。

当前挑战

SIS-Bench所应对的核心领域挑战在于，现有模型在理解外部空间布局（如物体方位、地标关系）时表现尚可，但在感知载体自身运动状态与历史动作轨迹方面存在显著不足，这种“空间-自我”的认知失衡严重制约了无人机在复杂动态环境中的自主行为能力。在基准构建层面，挑战体现在多个维度：需要从三个不同来源、分辨率与标注格式各异的无人机视频集中筛选并统一处理1646段视频，确保数据无损坏且覆盖足够多样的场景与运动模式；同时，需设计覆盖感知、记忆与推理三个认知层级的13项任务，并创新性地引入拼接视频、长视频与打乱视频等复杂视频类型，以准确评测模型在时间维度上的信息整合与推理能力。此外，基准严格确保与训练集SIS-Motion-54K无数据重叠，从而维护评测的公平性与科学性。

常用场景

经典使用场景

SIS-Bench被广泛用作评估多模态大语言模型在无人机具身智能场景中空间智能的核心基准。该数据集从空间认知与自我意识两大维度出发，涵盖感知、记忆与推理三个认知层级，包含4856道多项选择题，覆盖13项任务。经典使用方式是以零样本或少样本方式，将模型预测结果与标准答案精确匹配，计算准确率作为模型表现指标，以此衡量模型对无人机外部环境空间关系及自身运动状态的理解能力。

解决学术问题

该数据集系统性地解决了现有视觉语言模型在空间智能评估中忽视“自我意识”维度的学术空白。传统基准主要关注模型对外部场景的描述能力，而SIS-Bench同时衡量模型对无人机自身运动、行为历史及未来动作的理解，揭示了当前顶尖模型在自我意识任务上表现显著弱于空间认知任务的本质缺陷，为具身智能体自我建模能力的提升提供了明确研究方向和评价依据。

衍生相关工作

围绕SIS-Bench已衍生出多项经典工作，其中最典型的是SIS-Motion-54K训练数据集与SIS-Motion模型。SIS-Motion基于Qwen2.5-VL 3B基座，集成VideoFlow光流估计器与运动连接器，在SIS-Bench上达到了69.1%的整体准确率，尤其将自我意识任务表现提升至63.7%。此外，该数据集还催生了多个针对无人机场景的视频时空推理工作，推动了具身智能体自感知能力的系统性研究。