COIN

COIN数据集是由清华大学自动化系和美图公司联合创建的大型视频分析数据集，专注于日常生活中的综合教学视频分析。该数据集包含11,827个视频，涵盖180个任务，分布在12个领域，如交通工具、电子设备等。数据集通过一个新开发的工具箱进行有效标注，每个视频都标有一系列步骤描述及其相应的时间边界。COIN数据集旨在通过提供丰富的语义分类和大规模视频样本，推动教学视频分析领域的深入研究，解决现有数据集在多样性和规模上的不足。The COIN dataset is a large-scale video analysis dataset jointly created by the Department of Automation of Tsinghua University and Meitu Corporation, focusing on comprehensive instructional video analysis in daily life. It contains 11,827 videos covering 180 tasks across 12 domains such as transportation vehicles and electronic devices. The dataset is rigorously annotated via a newly developed toolbox, where each video is labeled with a series of step descriptions and their corresponding temporal boundaries. The COIN dataset aims to promote in-depth research in the field of instructional video analysis by providing rich semantic classifications and large-scale video samples, addressing the shortcomings of existing datasets in terms of diversity and scale.

搜集汇总

数据集介绍

构建方式

COIN数据集的构建立足于对互联网上海量教学视频的深度挖掘与系统组织。研究团队首先参考了Howcast、Wikihow等主流教学视频网站的分类体系，确立了涵盖车辆、电子设备、家务等12个日常活动领域的顶层语义结构。在此基础上，通过YouTube搜索并筛选出180个观看量较高的常见任务，确保数据集的实用性与多样性。每个任务下的具体步骤由6名具备相关领域知识的专家定义，经过双重审核最终形成778个步骤短语。视频标注采用自主研发的双模式工具，结合帧模式的高效性与视频模式的连续性，通过三级工人流水作业完成，总耗时约600小时，最终构建了包含11,827个视频、46,354个标注片段的庞大规模数据集。

特点

COIN数据集的核心特点在于其层次化的语义组织与前所未有的规模覆盖。与以往局限于烹饪或家具组装等单一领域的教学视频数据集不同，COIN创新性地构建了域-任务-步骤的三级树状结构，实现了对日常生活活动的系统性分类。数据集包含476小时视频素材，平均每个视频时长2.36分钟，标注有3.91个步骤片段，每个片段平均持续14.91秒。其显著优势体现在两大方面：一是多样性，覆盖12个广泛领域，远超现有数据集；二是规模，11,827个视频与46,354个标注片段使其成为当前最大的综合性教学视频分析基准。此外，数据集还内在蕴含了步骤间的任务一致性与顺序约束关系，为探究教学视频的深层结构提供了独特资源。

使用方法

COIN数据集主要服务于教学视频分析的两类核心任务：步骤定位与动作分割。对于步骤定位，研究者可采用基于提议的时序动作检测方法（如SSN、R-C3D）作为基线，通过输入视频帧或光流特征来预测每个步骤的起止时间与类别标签。论文提出的任务一致性方法可轻松嵌入这些检测框架，通过自底向上的任务标签预测与自顶向下的分数精炼，有效利用步骤间的依赖关系提升定位精度。对于动作分割任务，数据集支持全监督与弱监督两种范式，前者可基于帧级标签训练VGG16等分类网络，后者则可在仅提供步骤集合或顺序信息的情况下，评估Action-Sets、NN-Viterbi等方法的帧级标注能力。评估指标采用基于IoU阈值的mAP与mAR，以及帧级准确率，为各类方法提供公平比较的基准。

背景与挑战

背景概述

随着互联网上教学视频的爆炸式增长，学习者得以通过直观的视觉范例获取完成各类任务的技能。然而，现有教学视频分析数据集多聚焦于烹饪等特定领域，其规模与多样性难以满足真实世界中日益丰富的活动场景需求。为突破这一瓶颈，清华大学自动化系与美图公司于2019年联合推出了COIN数据集，该数据集以三层语义层次结构组织，涵盖12个领域（如车辆、电器等）的180项任务，包含11,827个视频及46,354个步骤标注，总时长逾476小时。COIN的提出不仅为教学视频分析提供了迄今最大规模的基准，更通过其层次化标签体系推动了步骤定位、动作分割等核心任务的研究，对计算机视觉领域产生了深远影响。

当前挑战

COIN数据集面临的核心挑战源于教学视频分析的内在复杂性。首先，在领域问题层面，步骤定位需在高度相似的动作序列中区分细微差异，例如“移除旧电池”与“取下旧电池”等步骤的视觉混淆，导致现有方法在mAP@0.5上仅达8.12%。其次，构建过程中，如何定义覆盖日常生活的180项任务与778个步骤的语义词典是重大挑战，需依赖领域专家进行双重校验，且标注工具需兼顾帧模式的高效性与视频模式的连续性，最终耗时约600小时完成全部标注。此外，视频来源的多样性（如YouTube）引入背景噪声与视角变化，进一步加剧了模型泛化的难度。

常用场景

经典使用场景

COIN数据集作为大规模教学视频分析领域的里程碑式资源，其经典使用场景聚焦于多层级语义结构下的步骤定位与动作分割任务。研究者可借助该数据集内11,827段涵盖12个领域、180项日常任务的视频，对教学视频中的关键步骤进行时间边界检测与标签识别。通过利用数据集提供的层次化标签体系（领域-任务-步骤），学者们能够系统性地探究步骤间的时序依赖与任务一致性，为构建鲁棒的步骤定位模型提供基准测试平台。该场景尤其适用于对比不同模态（如RGB与光流）输入下的检测性能，并验证任务一致性方法在提升步骤定位精度上的有效性。

实际应用

在实际应用层面，COIN数据集为智能教学系统、辅助维修工具及生活技能学习平台等场景提供了坚实的技术支撑。例如，在智能家居环境中，系统可基于COIN训练的模型实时解析用户操作视频，自动识别并提示下一步骤，助力用户完成家具组装、电器维修等复杂任务。此外，COIN还可用于开发面向视障人士的语音引导系统，通过步骤定位技术将视频内容转化为分步语音指令。在职业培训领域，该数据集能够支持自动化评估工具，通过比对学员操作与标准步骤序列，实现精准的技能掌握度诊断。

衍生相关工作

COIN数据集的发布催生了一系列具有影响力的衍生工作。在方法层面，任务一致性（Task-Consistency）框架的提出为后续研究提供了新范式，该框架通过自底向上的任务标签预测与自顶向下的步骤分数精炼，显著提升了步骤定位性能。后续工作在此基础上进一步探索了跨模态融合策略（如文本与视觉信息的联合建模）以及弱监督学习方案，降低了标注成本。此外，COIN还启发了针对教学视频的密集视频描述生成、视觉定位与程序性知识推理等研究方向，推动形成了以步骤级理解为核心的教学视频分析子领域，并促进了与其他数据集（如Breakfast、YouCook2）的跨域迁移研究。