CaptainCook4D

CaptainCook4D是一个包含384个记录（94.5小时）的4D自我中心数据集，记录了人们在真实厨房环境中执行食谱的过程。该数据集包含两种不同的活动类型：一种是参与者严格遵循提供的食谱指令，另一种是他们偏离指令并引入错误。数据集提供了5.3K步骤注释和10K细粒度动作注释，并针对监督错误识别、多步骤定位和程序学习等任务进行了基准测试。该数据集旨在解决在执行程序活动时识别和预测错误的问题，特别是在医疗领域或复杂化学实验中，错误的成本可能非常高。

CaptainCook4D is a 4D egocentric dataset containing 384 recordings totaling 94.5 hours, which captures participants performing recipe procedures in real-world kitchen environments. This dataset includes two distinct activity types: one where participants strictly follow the provided recipe instructions, and the other where they deviate from the instructions and introduce errors. It provides 5.3K step-level annotations and 10K fine-grained action annotations, and has been benchmarked for tasks such as supervised error identification, multi-step localization, and procedure learning. This dataset aims to address the problem of identifying and predicting errors during procedural activity execution, particularly in scenarios like medical fields or complex chemical experiments where the cost of errors can be extremely high.

搜集汇总

数据集介绍

构建方式

在烹饪活动理解的研究背景下，CaptainCook4D数据集的构建采用了严谨的多模态采集方案。该数据集通过结合头戴式GoPro相机与HoloLens2设备，在真实厨房环境中记录了384段第一人称视角的烹饪过程视频，总时长约94.5小时。数据采集过程设计了系统化的协议，参与者需在遵循食谱步骤的正常执行与人为引入偏差的错误执行两种条件下完成24种精选食谱。为保障数据质量，研究团队开发了专用录制界面，支持参与者根据预设错误脚本、自定义错误脚本或即兴错误诱导三种策略生成错误记录，并通过后期标注流程对5300个粗粒度步骤与20%数据的细粒度动作进行了精确的时间边界标注。

特点

该数据集的核心特点体现在其针对程序性活动中错误理解的专门化设计。与现有程序性活动数据集相比，CaptainCook4D不仅包含常规的正确执行记录，更系统性地涵盖了七类烹饪错误，包括准备错误、测量错误、技术错误、时序错误、温度错误、步骤缺失及顺序错误，为错误识别与理解提供了丰富的实证基础。其多模态特性同步提供了第一人称RGB视频、深度信息、音频及惯性测量单元数据，支持从视觉、空间与运动多维度进行分析。此外，数据集构建于真实厨房环境，食材形态与颜色在烹饪过程中持续变化，相较于装配任务，对算法的场景适应与状态推理能力提出了更高要求。

使用方法

该数据集适用于程序性活动理解领域的多项研究任务，主要围绕错误分析与步骤理解展开。在错误识别任务中，研究者可利用标注的错误类别与时间边界，开发监督式或早期错误检测模型，评估算法在复杂烹饪场景下对各类偏差的敏感性。多步骤定位任务则要求模型在未修剪的长视频中识别并时序定位每个烹饪步骤，该数据集提供的步骤标注为此类时序动作定位方法提供了验证基准。在程序学习任务中，数据集中的正常记录可用于关键步骤识别与步骤序列推理，支持对长时程活动结构的无监督或弱监督学习。使用时可依据环境、参与者、食谱或记录类型等不同划分标准构建训练与测试集，以评估模型的泛化与鲁棒性能。

背景与挑战

背景概述

在计算机视觉与人工智能领域，理解人类执行程序性活动的过程是一项复杂且具有重要应用价值的研究课题。CaptainCook4D数据集由德克萨斯大学达拉斯分校和佛罗里达大学的研究团队于2023年创建，旨在系统性地探索程序性活动中的错误识别与理解。该数据集聚焦于烹饪活动，通过第一人称视角采集了384段录制视频，总计94.5小时，涵盖了正常执行与故意引入错误的双重情境。其核心研究问题在于如何让AI系统能够准确识别、定位并预测程序性活动中的偏差行为，从而为医疗、化学实验等高风险领域提供智能辅助指导。该数据集的推出填补了现有程序性活动数据集中错误标注的空白，为行为理解、时序动作分割等任务提供了新的研究基准。

当前挑战

CaptainCook4D数据集所针对的领域问题——程序性活动中的错误识别——面临多重挑战。首先，烹饪活动中食材形状与颜色的持续变化使得错误检测需具备动态环境适应能力，而现有方法在复杂变换下的泛化性能有限。其次，数据集中错误类型多样，包括准备、测量、时序、温度等技术性偏差，这些错误往往具有级联效应，要求模型具备深层次的语义理解与因果推理能力。在构建过程中，研究团队遭遇了真实厨房环境中4D数据采集的物流与设备训练难题，导致数据地理分布受限；同时，错误诱导的脚本设计需平衡意图性与非意图性偏差，而参与者的烹饪经验不足进一步增加了错误标注的复杂性。此外，数据集的规模相较于众包平台构建的数据集较小，且步骤平均时长较长，对现有时序动作定位与过程学习算法提出了更高的鲁棒性要求。

常用场景

经典使用场景

在程序性活动理解的研究领域，CaptainCook4D数据集为错误识别与多步骤定位任务提供了关键基准。该数据集通过第一人称视角记录了真实厨房环境中的烹饪过程，包含正常执行与故意引入错误的对比视频，涵盖了准备、测量、时序、温度、技术、缺失步骤及顺序错误等多种错误类型。研究者可利用其丰富的时序标注与多模态数据，开发能够识别并定位烹饪过程中偏差的算法模型，从而推动程序性活动理解向更精细的错误分析与干预方向发展。

实际应用

在实际应用层面，CaptainCook4D数据集为智能辅助系统的开发提供了重要支撑。基于该数据集训练的模型可应用于厨房环境中的实时错误检测与指导，例如在智能烹饪助手或培训系统中提醒用户纠正操作偏差。此外，其多模态数据与错误分析框架可迁移至医疗手术指导、工业装配质检及实验室操作监控等领域，帮助构建能够理解复杂程序、预防人为失误的增强现实或机器人辅助系统，提升任务执行的安全性与效率。

衍生相关工作

围绕CaptainCook4D数据集，已衍生出多项经典研究工作。在错误识别方向，研究者基于其标注开发了监督式错误分类模型，并探索了早期错误预测与零样本错误检测方法。多步骤定位方面，该数据集被用于评估时序动作定位模型的鲁棒性，特别是在处理包含偏差动作的长视频片段时的性能。程序学习任务中，现有方法如Cycleback回归与对比损失组合被应用于关键步骤识别与顺序推理，尽管面对较长步骤时仍存在挑战，这些工作共同推动了程序性活动理解与错误分析领域的算法进步。