TIMID

TIMID是由萨拉戈萨大学团队开发的机器人执行视频时序错误检测数据集，包含多机器人协同任务的模拟与真实执行视频。该数据集通过Gazebo仿真环境生成，重点捕捉互斥访问和顺序执行两类时序约束任务，包含正常执行与人为注入的协议级错误样本。数据集设计支持弱监督训练，提供视频级标签及LTL公式描述的任务规范，旨在解决复杂任务中时序逻辑违规的检测难题，为机器人执行监控提供基准测试平台。TIMID is a robotic execution video temporal error detection dataset developed by the research team at the University of Zaragoza, which covers both simulated and real-world execution videos of multi-robot collaborative tasks. This dataset is generated using the Gazebo simulation environment, focusing on two categories of temporal constraint tasks: mutually exclusive access and sequential execution, and includes both normally executed samples and manually injected protocol-level error samples. The dataset is designed to support weakly supervised training, providing video-level labels and task specifications expressed via Linear Temporal Logic (LTL) formulas. It aims to address the challenge of detecting temporal logic violations in complex robotic tasks, serving as a benchmark platform for robot execution monitoring.

搜集汇总

数据集介绍

构建方式

在机器人执行复杂任务时，传统视频异常检测方法难以捕捉高层次的时间依赖性错误。TIMID数据集通过Gazebo仿真环境构建，模拟多机器人协作场景，包含互斥与顺序执行两类任务。数据生成基于线性时序逻辑公式，利用Büchi自动机与Renew仿真器自动生成符合或违反任务约束的动作序列，并通过ROS2导航栈实现低层轨迹控制。数据集包含超过1000段仿真视频，涵盖三种物体空间分布与多个视角，同时提供8段真实机器人执行视频，以支持零样本仿真到现实的评估。

使用方法

TIMID数据集适用于视频异常检测与机器人执行监控领域的研究。使用者可利用数据集训练弱监督模型，仅需视频级标签即可学习帧级错误预测。数据集支持对互斥与顺序两类时间依赖性任务进行评估，用户可通过提供的任务与错误文本提示，结合视频输入，测试模型在仿真与真实场景下的表现。在实验设置中，建议将80%仿真视频用于训练，剩余20%与真实视频用于测试，以衡量模型在时间推理与跨域泛化方面的能力。数据集还可用于基准测试，比较不同异常检测方法在程序性错误识别上的效能。

背景与挑战

背景概述

随着机器人系统执行日益复杂的任务序列，其潜在的失败模式也呈指数级增长。传统视频异常检测方法通常聚焦于单一的低层运动学或动作失败，难以识别复杂的时空任务违规行为，因为这些违规并不一定表现为低层执行错误。为应对这一挑战，萨拉戈萨大学的研究团队于2026年提出了TIMID数据集，旨在构建一个专门针对机器人时间依赖性错误检测的基准。该数据集通过多机器人仿真环境生成受控的时间错误场景，并包含真实机器人执行视频，以支持零样本仿真到现实的评估。TIMID的核心研究问题在于如何从视频演示中识别高层任务描述中的时间依赖性违规，即使每个原子动作在视觉上正确，但违反了任务的时间或逻辑约束。这一工作推动了机器人执行监控从低层异常检测向高层语义理解的方向演进，为具身智能系统的可靠性评估提供了新的范式。

当前挑战

TIMID数据集旨在解决的领域挑战在于机器人时间依赖性错误的检测。这类错误属于程序性违规，表现为动作执行顺序错误、前提条件未满足或违反互斥约束等，即使每个动作本身在运动学上正确。传统视频异常检测方法难以应对此类挑战，因为它们通常依赖于视觉上的明显异常，而缺乏对任务高层语义和时序逻辑的理解。在数据集构建过程中，主要挑战源于错误演示数据的稀缺性。在现实世界中系统性地收集机器人执行失败的高质量视频成本高昂且困难。为此，研究团队采用Gazebo仿真环境生成可控的时间错误场景，并通过形式化方法（如线性时序逻辑）定义任务和错误，以实现自动化数据生成。此外，为确保模型的现实适用性，数据集还需包含真实机器人执行视频，这带来了仿真与现实之间的领域迁移挑战，要求生成的数据在视觉外观和动力学特性上具备足够的真实感。

常用场景

经典使用场景

在机器人执行复杂任务的视频分析领域，TIMID数据集为时间依赖性错误检测提供了基准测试环境。该数据集通过模拟多机器人协作场景，精确控制任务执行中的时序错误，例如违反互斥约束或顺序依赖关系。研究者利用其丰富的视频序列和细粒度标注，能够训练和评估模型在弱监督条件下识别高级别程序性错误的能力，从而推动视频异常检测技术在机器人领域的应用边界。

解决学术问题

TIMID数据集主要解决了机器人学中高级别程序性错误的检测难题。传统方法通常局限于识别低层次的执行异常，如抓取失败或碰撞，而难以捕捉任务层面的时序逻辑违规。该数据集通过引入形式化任务描述和可控错误生成，使得研究者能够系统性地探索时间依赖性错误的特征表示与检测机制，弥合了视频异常检测与机器人任务验证之间的语义鸿沟，为构建具有时序推理能力的自主系统提供了关键数据支撑。

实际应用

在实际机器人部署中，TIMID数据集所支持的技术能够用于自动化任务执行监控与质量评估。例如在工业装配流水线上，多台协作机器人需严格遵循操作顺序与空间约束，该系统可通过分析监控视频实时检测程序违规，如错误的工作站访问顺序或并发操作冲突。这种基于视觉的弱监督检测机制降低了对专用传感器或密集人工标注的依赖，为复杂制造流程的可靠性与安全性提供了可扩展的保障手段。

数据集最近研究

最新研究方向

在机器人执行视频的时间依赖性错误检测领域，TIMID数据集正推动着视频异常检测（VAD）方法向高层次语义理解与弱监督学习的前沿拓展。传统VAD框架通常局限于识别视觉显性的空间或运动异常，如交通事故或安全威胁，而TIMID通过引入任务与错误描述的文本提示，将VAD的适用范围扩展至机器人执行中的程序性错误检测，例如违反互斥或顺序约束的时间依赖性错误。该数据集结合仿真环境生成与真实机器人视频，支持零样本仿真到现实的评估，为多机器人协作场景中的复杂任务合规性监测提供了基准。当前研究热点集中于融合时序上下文建模与语义对齐的弱监督架构，以克服大规模视觉语言模型在显式时序推理上的不足，同时探索在数据稀缺环境下仅使用正常视频进行无监督训练的可行性，这对于提升机器人自主系统的可靠性与可解释性具有深远意义。

相关研究论文

• TIMID: Time-Dependent Mistake Detection in Videos of Robot Executions

  萨拉戈萨大学·系统工程与计算机科学系; 都灵大学 · 2026年