SmartHome-Bench

SmartHome-Bench是一个专门为智能家庭场景下的视频异常检测而设计的综合基准数据集，由1203个视频组成，这些视频由智能家居摄像头录制，并根据一种新颖的异常分类法组织，包括野生动物、老年护理和婴儿监控等七个类别。每个视频都经过精心标注，包括异常标签、详细描述和推理。数据集旨在解决智能家居场景中视频异常检测的挑战，并促进多模态大型语言模型（MLLMs）的研究与发展。SmartHome-Bench is a comprehensive benchmark dataset specifically designed for video anomaly detection in smart home scenarios. It comprises 1,203 videos recorded by smart home cameras, organized under a novel anomaly taxonomy covering seven categories including wildlife, elderly care, and infant monitoring. Each video has been meticulously annotated with anomaly labels, detailed descriptions, and reasoning. This dataset aims to address the challenges of video anomaly detection in smart home scenarios and promote the research and development of multimodal large language models (MLLMs).

原始信息汇总

SmartHome-Bench 数据集概述

数据集简介

SmartHome-Bench 是首个专为智能家居监控场景设计的视频数据集，用于视频异常检测（VAD）和多模态大语言模型（MLLM）性能评估。

关键特性

• 首个智能家居视频基准：专注于智能家居场景的视频异常检测。
• 数据集规模：包含 1,203 个视频片段。
• 标注信息：
  • 详细视频描述
  • 异常/正常推理
  • 二元异常标签（0 表示正常，1 表示异常）
• 异常分类法：引入首个视频异常分类法，涵盖七种常见场景类别。

数据收集

1. 来源：主要来自 YouTube 等公开资源。
2. 关键词搜索：为每个类别开发特定关键词进行视频搜索。
3. 筛选标准：确保视频均由智能家居摄像头拍摄。

数据集统计

• 视频时长分布：多数视频短于 80 秒。
• 标注词数分布：
  • 描述词数较多
  • 推理词数较简洁

使用指南

数据下载

1. 视频 URL 存储在 Video_url.csv 文件中。
   • 1,023 个视频可从 YouTube 下载
   • 180 个私人视频无法下载
2. 完整标注信息见 Video_Annotation.csv

模型评估

支持闭源和开源模型评估：

• 闭源模型：Gemini、GPT、Claude 等
• 开源模型：VILA
• 评估方法：零样本、少样本、思维链等

引用信息

bibtex @inproceedings{zhao2025smarthome, title={SmartHome-Bench: A Comprehensive Benchmark for Video Anomaly Detection in Smart Homes Using Multi-Modal Large Language Models}, author={Zhao, Xinyi and Zhang, Congjing and Guo, Pei and Li, Wei and Chen, Lin and Zhao, Chaoyue and Huang, Shuai}, booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference}, pages={3975--3985}, year={2025} }

搜集汇总

数据集介绍

构建方式

SmartHome-Bench数据集的构建过程采用了系统化的方法，首先通过爬取公开视频资源（如YouTube）获取初始视频素材，并结合智能家居领域的文献调研和专家意见筛选关键词。经过人工过滤和剪辑，最终精选出1,203个由室内外智能家居摄像头拍摄的视频片段。每个视频均按照精心设计的异常分类法进行标注，涵盖安全、婴儿监护、宠物监控等七大类场景，并细分为正常事件和异常事件。标注过程中采用三级质量把控机制，包括初始标注、Gemini-1.5-pro模型辅助生成描述、人工复核修正等环节，确保标注信息的准确性和一致性。

特点

该数据集的核心特点体现在其领域专属性与标注深度。作为首个专注于智能家居场景的视频异常检测基准，其创新性地构建了包含两级分类的异常分类体系，特别设置了模糊异常（vague abnormal）类别以反映现实场景中的判断复杂性。所有视频均配备三重标注：事件类别标签、异常判定标签（正常/异常/模糊异常）以及200字内的场景描述和100字内的逻辑推理说明。数据分布方面，安全类别占比最高（46.1%），视频时长中位数为18秒，文本描述和推理说明的词汇量中位数分别为109词和38词，在信息密度与处理效率之间取得平衡。

使用方法

该数据集支持多模态大语言模型在视频异常检测任务中的系统性评估与优化。典型使用流程包含三个层级：基础评估可采用零样本提示（zero-shot）直接获取二元异常判断；进阶分析建议使用思维链提示（Chain-of-Thought）获取分步推理过程；最高效的利用方式是通过提出的分类法驱动反思链（TRLC）框架，该框架将任务分解为规则生成、初始预测和自反思三个模块化阶段。实验表明，TRLC框架能使闭源模型的检测准确率平均提升11.62%。用户还可通过多数投票机制整合多个模型的预测结果，在 unanimous agreement 情况下准确率可达91.2%，适合生成高质量伪标签。

背景与挑战

背景概述

SmartHome-Bench是由华盛顿大学和Wyze Labs的研究团队于2025年推出的首个专注于智能家居场景的视频异常检测（VAD）基准数据集。该数据集包含1,203个由智能家居摄像头拍摄的视频片段，涵盖野生动物、老人看护、婴儿监护等七类异常事件，并创新性地采用多模态大语言模型（MLLMs）进行评估。其核心研究在于解决传统VAD基准在私人生活场景的适应性不足问题，通过精细标注的异常标签、事件描述和推理逻辑，为智能家居安全监测领域建立了新的评估标准。该数据集通过引入分类学驱动的反思链（TRLC）框架，显著提升了11.62%的检测准确率，推动了视频理解与可解释人工智能在家庭场景的应用。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决智能家居场景中异常事件的细粒度识别难题，如区分宠物异常行为与正常活动、识别老人跌倒等复杂时空特征；在构建过程中，需克服多模态数据对齐的技术障碍，包括跨平台视频质量差异、隐私保护下的数据采集限制，以及人工标注中主观性导致的标签模糊问题（如'模糊异常'类别的界定）。此外，如何使MLLMs理解家庭场景特有的上下文语义（如家庭成员身份识别）也是模型适配的关键挑战。

常用场景

经典使用场景

SmartHome-Bench数据集专为智能家居场景中的视频异常检测（VAD）而设计，涵盖了野生动物、老人看护、婴儿监控等七类异常事件。其经典使用场景包括通过多模态大语言模型（MLLMs）对智能家居摄像头拍摄的视频进行实时分析，以识别潜在的异常行为或事件。该数据集通过提供详细的视频描述和异常标注，为研究者提供了一个标准化的评估平台，推动了智能家居安全领域的技术发展。

衍生相关工作

SmartHome-Bench的发布催生了一系列相关研究，如基于TRLC框架的优化模型和针对特定异常类别的检测算法。其衍生的经典工作包括对MLLMs在视频理解中的能力评估、多模态提示技术的改进，以及智能家居场景下的个性化异常检测系统。这些工作进一步推动了视频异常检测技术在隐私保护和家庭安全领域的应用。

数据集最近研究

最新研究方向

近年来，SmartHome-Bench数据集在智能家居视频异常检测领域引起了广泛关注。该数据集专注于利用多模态大语言模型（MLLMs）进行异常检测，填补了智能家居场景中专用基准数据集的空白。前沿研究方向主要集中在提升MLLMs在复杂家居环境中的适应能力，例如通过Taxonomy-Driven Reflective LLM Chain（TRLC）框架显著提升检测精度。该数据集的出现不仅推动了智能家居安全技术的发展，还为多模态模型在隐私敏感环境中的应用提供了新的评估标准。

相关研究论文

• SmartHome-Bench: A Comprehensive Benchmark for Video Anomaly Detection in Smart Homes Using Multi-Modal Large Language Models

  华盛顿大学 · 2025年