SIS-Bench, SIS-Motion-54K, OpenUAV-QA
收藏资源简介：
SIS-Bench是一个基准数据集，包含来自1,646个真实世界无人机视频的4,856个问答对，用于评估空间认知和自我意识两个维度的具身空间智能，涵盖感知、记忆和推理三个认知水平。SIS-Motion-54K是一个训练数据集，用于空间推理。OpenUAV-QA是一个下游任务数据集。
SIS-Bench is a benchmark dataset comprising 4,856 question-answer pairs from 1,646 real-world drone videos, used to evaluate embodied spatial intelligence across two dimensions: spatial cognition and self-awareness, covering three cognitive levels: perception, memory, and reasoning. SIS-Motion-54K is a training dataset for spatial reasoning. OpenUAV-QA is a downstream task dataset.
数据集概述
Self-in-Space 是一个面向无人机具身智能中自我意识与空间认知的基准测试、训练数据集与运动感知模型集合。
核心组成
- SIS-Bench：包含 4,856 个问答对，来源于 1,646 个真实世界无人机视频。该基准测试从两个维度（空间认知与自我意识）和三个认知层面（感知、记忆、推理）评估具身空间智能，涵盖 13 项任务。
- SIS-Motion-54K：包含 54K 个训练样本，用于训练运动感知模型。
- OpenUAV-QA：下游任务数据集，包含 3,895 个问答对。
- SIS-Motion：一个运动感知视频多模态大语言模型，融合光流运动线索与视觉特征，以提升空间认知与自我意识。
数据来源
基准测试和训练数据的视频来源于以下公开数据集：
- AirScape
- UrbanVideo-Bench
- VisDrone
- OpenUAV
数据集结构与格式
下载后的数据目录结构如下：
data/ ├── SIS-Bench/ │ ├── SIS-Bench.jsonl # 4,856 个问答对 │ └── video/ │ ├── AirScape/ # 1,156 个视频 │ ├── UrbanVideo/ # 427 个视频 │ └── VisDrone/ # 63 个视频 ├── SIS-Motion-54K/ │ ├── SIS-Motion-54K.jsonl │ └── AirScape_dataset/ # 训练视频 ├── OpenUAV-QA/ │ ├── TravelUAV_test.jsonl # 3,895 个问答对 │ └── TravelUAV_dataset/ # 帧序列 └── checkpoints/ └── VideoFlow/ └── MOF_kitti.pth
数据构建流程
SIS-Bench 采用四阶段任务条件化协议构建：
- 异构视频处理
- 任务特定标注
- 大语言模型辅助问答构建
- 双专家验证
相关链接
- 论文：arXiv (待发布)
- 项目主页：https://choucisan.github.io/publications/self-in-space
- GitHub 仓库：https://github.com/IntelliSensing/Self-in-Space
- Hugging Face 数据集：
- SIS-Bench：https://huggingface.co/datasets/choucsan/SIS-Bench
- SIS-Motion-54K：https://huggingface.co/datasets/choucsan/SIS-Motion-54K
- OpenUAV-QA：https://huggingface.co/datasets/choucsan/OpenUAV-QA
- SIS-Motion 模型：https://huggingface.co/choucsan/SIS-Motion
- ModelScope：https://www.modelscope.cn/collections/choucisan/Self-in-Space
许可协议
Apache 2.0
