Fire360

Fire360是一个用于评估在烟雾、低光和结构变形等恶劣环境下，消防场景中感知和推理能力的基准数据集。该数据集包含228个360度视频，这些视频来自专业的消防训练课程，并在多种条件下（如低光、热失真）进行了标注，包括动作片段、对象位置和退化元数据。Fire360支持五个任务：视觉问答、时间动作描述、对象定位、安全关键推理和转换对象检索。通过发布Fire360及其评估套件，旨在推进模型在不确定性条件下的感知、记忆、推理和行动能力。Fire360 is a benchmark dataset for evaluating perception and reasoning capabilities in firefighting scenarios under harsh environments such as smoke, low-light conditions, and structural deformations. This dataset contains 228 360-degree videos sourced from professional firefighting training courses, which are annotated under various conditions including low-light and thermal distortion, covering action clips, object positions and degradation metadata. Fire360 supports five tasks: visual question answering, temporal action captioning, object localization, safety-critical reasoning and transformed object retrieval. By releasing Fire360 and its evaluation suite, the aim is to advance the development of models' perception, memory, reasoning and action capabilities under uncertain conditions.

原始信息汇总

Fire360 Dataset 概述

数据集内容

• pristine_objects_for_TOR: 34个文件
• extra_video_folders: 242个文件
• daytime_videos: 80个文件
• night_time_videos: 91个文件
• indoor_videos: 134个文件
• 样本视频文件:
  • sample_9.MP4: 1.1 GB
  • sample_0.MP4: 2.6 GB
  • sample_10.MP4: 137.2 MB
  • sample_1.MP4: 142.7 MB
  • sample_2.MP4: 83.7 MB
  • sample_3.MP4: 49.3 MB
  • sample_4.MP4: 53.9 MB
  • sample_5.MP4: 241.4 MB
  • sample_6.MP4: 906.8 MB
  • sample_7.MP4: 197.3 MB
  • sample_8.MP4: 1.8 GB
• 文档文件:
  • NeurIPS_2024.pdf: 97.5 KB
  • splits.json: 5 KB

数据集属性

• 所有者: Aditi Tiwari
• 所属机构: University of Illinois
• 创建时间: 2025年5月9日 6:03 AM
• 修改时间: 2025年5月16日 8:13 PM
• 总大小: 484.7 GB

搜集汇总

数据集介绍

构建方式

Fire360数据集通过专业消防训练场景的228段360度视频构建，涵盖了日间/夜间、室内/外等多种复杂环境下的视觉退化条件（如烟雾、低光照）。视频采用Ricoh Theta V设备以3840×1920分辨率拍摄，并转换为等距柱状投影与矩形投影双格式。所有内容遵循国家标准化消防演练流程，由3-6名认证教官监督录制，并通过定制浏览器工具完成动作片段、物体位置及环境退化元数据的专家级标注，标注者间一致性系数κ达0.85-0.91。

特点

该数据集的核心特点在于其真实世界退化场景的全面覆盖与多模态任务支持。包含50小时视频中标注的348个动作实例、每视频平均5.7个物体的空间定位，以及烟雾密度（1-5级）、热变形等环境标签。特别设计了未配对场景下的变形物体检索任务（TOR），测试模型对火灾损毁物体的跨场景识别能力。数据分布呈现长尾特征（基尼系数0.42），43.9%为室内场景，并平衡包含63段日间、65段夜间及100段混合光照视频，全面模拟实战条件下的感知挑战。

使用方法

Fire360支持五类基准任务：全景视觉问答（测试空间推理）、时序动作描述（评估时序理解）、退化条件下的物体定位、安全关键推理（验证规程合规性）以及TOR任务（检验变形不变性识别）。使用需通过配套工具包处理360度视频的等距柱状/矩形投影转换，推荐NVIDIA A100 GPU环境。评估采用零样本设定，如TOR任务要求模型在154个标注目标中匹配洁净样本与损毁物体，以IoU>0.5为成功标准。数据集提供预定义训练/验证/测试划分，测试集特别强化高退化样本以评估模型鲁棒性。

背景与挑战

背景概述

Fire360是由伊利诺伊大学厄巴纳-香槟分校与伊利诺伊消防服务研究所于2025年联合推出的全景视频数据集，聚焦消防员在烟雾、低光照等极端环境下的感知与记忆能力评估。该数据集包含228段专业消防训练场景的360度视频，涵盖昼夜及室内外多种退化条件，并标注了动作片段、物体位置及环境退化元数据。作为首个面向安全关键领域设计的基准测试，Fire360通过五项任务（视觉问答、时序动作描述、物体定位、安全推理及变形物体检索）系统评估模型在真实灾难场景中的鲁棒性，其创新性的TOR任务首次要求模型在非连续场景中匹配火灾前后严重变形的物体，揭示了现有人工智能系统与人类专家间43.7%的性能差距。

当前挑战

Fire360面临的核心挑战体现在问题领域与构建过程两个维度。在应用层面，现有视觉语言模型对烟雾遮挡（VQA准确率下降至9.8%）、热变形（TOR任务中物体匹配错误率达60.2%）等退化条件极度敏感，且缺乏对消防规程的认知（安全推理任务中GPT-4o仅达28.9%准确率）。数据构建过程中，360度视频的球面投影导致边缘区域70%的几何畸变，严重影响物体定位精度；而火灾场景特有的动态遮挡（如坍塌物遮蔽伤员）使得标注一致性维护困难（高烟雾场景标注者间一致性κ值降至0.85）。此外，变形物体检索任务需建立跨场景的材质不变性表征，这对现有基于表层特征的CLIP式嵌入提出根本性挑战。

常用场景

经典使用场景

Fire360数据集在消防员训练和应急响应领域具有重要应用价值，特别是在模拟烟雾、低光照和热变形等极端环境下的视觉感知任务中。该数据集通过提供228个专业录制的360度视频，涵盖了多样化的训练场景，如室内救援和户外灭火，为研究者在复杂环境下的视觉推理和记忆任务提供了丰富的实验材料。

衍生相关工作

Fire360数据集衍生了一系列相关研究工作，特别是在视觉语言模型（VLMs）和记忆增强视觉系统领域。例如，基于该数据集的研究提出了变形物体检索（TOR）任务，推动了模型在物体变形和退化条件下的识别能力。此外，该数据集还被用于开发新的视觉问答和安全关键推理模型，进一步拓展了AI在安全关键领域的应用前景。

数据集最近研究

最新研究方向

在消防应急领域，Fire360数据集的引入为研究在视觉退化条件下的感知和推理能力提供了重要基准。该数据集包含228个专业消防训练场景的360度视频，涵盖了烟雾、低光照和热变形等多种复杂环境条件。前沿研究主要集中在五个任务上：视觉问答（VQA）、时序动作描述（Temporal Action Captioning）、目标定位（Object Localization）、安全关键推理（Safety-Critical Reasoning）以及变换目标检索（TOR）。特别是TOR任务，要求模型在未配对场景中将原始目标与其火灾损坏后的版本进行匹配，这在评估模型的变形不变性识别能力方面具有创新性。当前最先进的模型如GPT-4o在TOR任务上的表现显著落后于人类专家（39.8% vs 83.5%），凸显了在视觉退化条件下模型推理能力的不足。Fire360的发布不仅推动了安全关键场景下的AI技术发展，还为医疗影像、灾害响应等领域的类似问题提供了研究思路。

相关研究论文

• Fire360: A Benchmark for Robust Perception and Episodic Memory in Degraded 360-Degree Firefighting Videos

  伊利诺伊大学香槟分校 · 2025年