EgoOops

EgoOops数据集用于从第一人称视角视频中检测错误动作，并结合程序文本进行错误解释。数据集包含视频与文本的对齐标注、错误标签、错误描述等信息。

原始信息汇总

EgoOops 数据集

概述

EgoOops 数据集用于从第一人称视角视频中检测错误动作，并结合过程文本进行标注。该数据集由 Yuto Haneji 等人提出，相关论文发表在 arXiv 上，题为《EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos with Procedural Texts》。

标注文件

• meta/metadata.json: 包含视频与文本对齐的标注（时间戳和步骤）、错误标签以及错误描述。 json { "videos": [ { "task_id": str, "video_id": str, "segments": [ { "startTime": float (seconds), "endTime": float (seconds), "instruction": int (zero-based index), "labels": list[int] (zero-based index, 空列表表示正确步骤), "caption": str (空字符串表示正确步骤), }, ... ], }, ... ], "instructions": { "blacklight": list[str], ... } }

• meta/microqr/${task_id}.json: 包含嵌入在 QR 码中的编号与对象名称的对齐信息。

• meta/mistake_classes.json: 包含标注的错误类别名称列表。

视频文件

视频文件可以从以下链接下载： http://www.lsta.media.kyoto-u.ac.jp/resource/data/EgoOops/videos-processed-720p.zip

任务名称转换表

数据集中的任务名称与论文中使用的名称不同，参考下表：

数据集	论文
blacklight	ionic reaction experiments (IR)
cardboard	cardboard crafts (CB)
electronics	electrical circuits (EC)
ion	ionic reaction experiments (IR)
tsumiki	toy block building (BB)

许可证

EgoOops 数据集采用 CC BY-SA 4.0 许可证。

BibTeX

bibtex @misc{haneji2024egooopsdatasetmistakeaction, title={EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos with Procedural Texts}, author={Yuto Haneji and Taichi Nishimura and Hirotaka Kameko and Keisuke Shirai and Tomoya Yoshida and Keiya Kajimura and Koki Yamamoto and Taiyu Cui and Tomohiro Nishimoto and Shinsuke Mori}, year={2024}, eprint={2410.05343}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2410.05343}, }

搜集汇总

数据集介绍

构建方式

EgoOops数据集的构建基于从第一人称视角（egocentric）录制的视频，这些视频涵盖了多种日常任务，如离子反应实验、纸板工艺和电子电路搭建等。数据集的构建过程中，研究人员通过精细的时间戳标注和步骤对齐，确保了视频与文本指令之间的精确匹配。此外，数据集还包含了错误标签和错误描述，以帮助识别和分析视频中的错误行为。这些标注信息存储在`meta/metadata.json`文件中，而对象与QR码之间的对齐信息则存储在`meta/microqr/${task_id}.json`文件中。

使用方法

使用EgoOops数据集时，研究者首先需要下载视频文件，这些文件可以从实验室的网页中获取。随后，通过解析`meta/metadata.json`文件，可以获取视频与文本指令的对齐信息，包括时间戳、步骤索引和错误标签。此外，`meta/microqr/${task_id}.json`文件提供了对象与QR码之间的对齐信息，有助于进一步的分析和应用。数据集的多样性和详细的标注信息使其适用于多种研究任务，如错误行为检测、视频与文本对齐分析等。

背景与挑战

背景概述

EgoOops数据集由Yuto Haneji等人于2024年创建，旨在解决从第一人称视角视频中检测错误动作的问题。该数据集结合了过程性文本，为错误动作检测提供了丰富的上下文信息。主要研究人员来自京都大学媒体科学与技术实验室，他们的研究重点在于通过视频与文本的结合，提升错误动作识别的准确性。EgoOops数据集的推出，为计算机视觉领域提供了新的研究方向，特别是在视频分析和自然语言处理的交叉领域，具有重要的影响力。

当前挑战

EgoOops数据集面临的挑战主要集中在两个方面。首先，错误动作的定义和识别需要精确的时间戳和步骤对齐，这要求高精度的视频与文本同步技术。其次，数据集的构建过程中，研究人员需处理大量第一人称视角视频，确保每个错误动作的标注准确无误，这涉及到复杂的视频分析和人工校验过程。此外，数据集的多样性和代表性也是一大挑战，确保涵盖不同类型的错误动作和多种实际场景。

常用场景

经典使用场景

EgoOops数据集在检测自我中心视频中的错误动作方面展现了其经典应用。通过结合视频与程序文本的时间戳和步骤对齐，该数据集能够精确识别和标注视频中的错误动作。这一特性使得EgoOops在研究人类行为分析、错误检测和纠正系统中具有重要价值。

解决学术问题

EgoOops数据集解决了在自我中心视频中自动检测错误动作的学术难题。传统方法在处理复杂行为和多步骤任务时往往表现不佳，而EgoOops通过提供详细的错误标注和描述，为研究人员提供了一个强大的工具来改进和验证错误检测算法。这不仅推动了计算机视觉和人工智能领域的发展，也为行为科学研究提供了新的视角。

实际应用

在实际应用中，EgoOops数据集可用于开发智能监控系统，帮助识别和纠正工业生产、医疗操作和日常生活中的错误行为。例如，在医疗培训中，该数据集可以用于实时监测和反馈实习医生的操作错误，从而提高培训效率和安全性。此外，在智能家居和机器人领域，EgoOops也能为错误检测和纠正提供关键支持。

数据集最近研究

最新研究方向

在自中心视频分析领域，EgoOops数据集的最新研究方向聚焦于错误动作检测与过程文本的结合。该数据集通过提供视频与文本的时间对齐标注，以及错误标签和错误描述，为研究者提供了丰富的资源，以探索如何从自中心视角识别和解释错误行为。这一研究不仅有助于提升人机交互系统的智能水平，还为行为分析和教育技术提供了新的视角和方法。