SafetyDetect

SafetyDetect数据集是由亚马逊科学和马里兰大学合作创建，旨在帮助家庭机器人识别家中的不安全或不卫生情况。该数据集包含1000个异常家庭场景，每个场景都包含需要检测的不安全或不卫生情况。数据集的创建过程涉及对大量家庭危险统计研究的参考，以及通过用户调查添加的特定案例。SafetyDetect数据集的应用领域主要集中在家庭机器人的异常检测，帮助机器人识别并报告家中的潜在危险，如未关闭的炉灶、易触及的毒物等，从而提高家庭安全性。

The SafetyDetect Dataset was jointly developed by Amazon Science and the University of Maryland, with the goal of assisting home robots in recognizing unsafe and unsanitary conditions within residential environments. This dataset comprises 1000 abnormal household scenarios, each containing unsafe or unsanitary conditions that require detection. During the construction of this dataset, reference was made to a large number of statistical studies on household hazards, and specific cases were added via user surveys. The primary application domain of the SafetyDetect Dataset is anomaly detection for home robots, enabling robots to identify and report potential household hazards such as stoves left on, easily accessible poisons, and the like, thereby improving home safety.

搜集汇总

数据集介绍

构建方式

在家庭机器人领域，确保环境安全与卫生是核心挑战之一。SafetyDetect数据集的构建依托于VirtualHome仿真平台，通过系统化方法生成了1000个异常家庭场景。研究团队首先基于大规模统计研究与用户调研，定义了涵盖安全、卫生及儿童危险三大类别的13种异常类型，如溢出物、绊倒危险、变质食品等。随后，利用大型语言模型辅助生成逻辑合理的对象与放置位置组合，并整合来自Google Scanned Objects等多源三维模型，新增超过30个定制化对象以丰富场景表现。每个场景独立采样生成，包含0至5个随机分布的异常，同时提供场景图与用户偏好上下文，形成了结构严谨且可扩展的基准数据集。

使用方法

为有效利用SafetyDetect数据集，研究者通常遵循基于场景图与大型语言模型结合的检测框架。首先，从仿真环境或真实世界感知系统中提取场景图，解析出如‘对象A在房间B中位于C上’的关系字符串。随后，构建包含示例的链式思维提示，引导大型语言模型将每条关系分类为‘正常’、‘不安全’、‘不卫生’或‘对儿童危险’四类。评估时采用异常成功率与条件异常成功率双重指标，前者衡量总体检测率，后者则纳入用户偏好以惩罚无关报告。该方法在数据集中实现了超过95%的检测精度，并通过在ClearPath TurtleBot上的真实实验验证了其从仿真到现实迁移的可行性。

背景与挑战

背景概述

在家庭服务机器人日益普及的背景下，如何赋予机器人主动识别家庭环境中潜在危险与不卫生状况的能力，成为提升人机共居安全性的关键科学问题。2024年4月，由亚马逊科学与马里兰大学联合研究团队发布的SafetyDetect数据集，正是针对这一前沿需求而构建。该数据集依托VirtualHome仿真平台，精心构建了涵盖13类危险场景的1000个异常家庭环境样本，旨在为具身智能体提供检测安全隐患的基准测试平台。其核心研究目标在于推动机器人从被动执行指令向主动环境监测与预警的范式转变，通过引入场景图与大语言模型融合的推理框架，为家庭安全监控系统的智能化发展奠定了重要的数据与算法基础。

当前挑战

SafetyDetect数据集所应对的核心领域挑战在于家庭异常检测问题的开放性与复杂性。与传统具身AI任务不同，家庭安全隐患的范畴极其广泛且异构，例如儿童毒物危害与食品变质问题在语义和空间逻辑上几乎毫无关联，这要求智能体必须具备跨领域的常识推理能力，而非依赖预设的封闭规则。在数据集构建层面，研究团队面临多重挑战：首先需从海量家庭事故统计数据中抽象出可操作的危害类别体系；其次要在仿真环境中为各类危害寻找逻辑合理的物体与空间组合，这涉及大量外部3D物体模型的导入与适配；最后还需确保生成场景的多样性与真实性，以覆盖用户偏好等个性化因素。这些挑战共同塑造了该数据集在推动家庭安全机器人技术发展中的独特价值与难度。

常用场景

经典使用场景

在家庭机器人领域，SafetyDetect数据集为评估具身智能体在复杂家庭环境中检测异常情况的能力提供了基准。该数据集通过模拟1000个包含危险或不卫生场景的家庭环境，使研究者能够测试智能体在未知场景中自主发现诸如牛奶未放回冰箱、炉灶未关闭或儿童可接触毒物等异常状况的性能。其核心在于利用场景图与大型语言模型结合，实现对物体关系的分类与推理，从而推动家庭安全监控技术的演进。

解决学术问题

SafetyDetect数据集主要解决了具身人工智能在开放世界环境中的异常检测难题，尤其是家庭场景下多样化、非结构化的安全与卫生风险识别。传统方法难以通过硬编码规则覆盖所有潜在危险，而该数据集通过引入场景图与大型语言模型的知识推理，使智能体能够依据常识判断异常，显著提升了检测准确率与泛化能力。这一进展为机器人感知与决策研究提供了新的范式，促进了安全导向的具身智能发展。

实际应用

在实际应用中，SafetyDetect数据集可直接用于开发家庭监控机器人系统，帮助用户预防火灾、跌倒或儿童中毒等常见家庭事故。例如，基于该数据集训练的智能体可在真实环境中通过视觉感知生成场景图，实时检测并报告异常情况，如未关闭的门窗、地板上的尖锐物品或变质的食物。这种技术不仅增强了家庭安全防护，也为老年人或儿童照护提供了自动化辅助工具，体现了人工智能在日常生活安全领域的实用价值。

数据集最近研究

最新研究方向

在家庭机器人领域，SafetyDetect数据集的推出标志着异常检测研究从传统的任务导向转向了基于常识推理的安全监控。该数据集通过构建包含1000个异常家庭场景的仿真环境，为研究者提供了评估智能体在无监督条件下识别安全隐患的能力基准。前沿研究聚焦于结合大语言模型与场景图技术，利用GPT-4等模型对物体关系进行‘正常’、‘危险’、‘不卫生’或‘儿童危险’的分类，实现了超过90%的异常检测准确率。这一方向不仅推动了多模态感知与语义推理的融合，还为家庭机器人的实际部署提供了可靠的仿真到现实的迁移验证，有望在火灾预防、儿童安全等领域产生深远的社会影响。

相关研究论文

• "Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations

  亚马逊科学, 马里兰大学 · 2024年