Key-step Skill Generation Dataset

本数据集由南京大学State Key Laboratory for Novel Software Technology构建，包含约110,000个子剪辑，旨在支持关键步骤技能生成任务（KS-Gen）。数据集通过综合处理COIN、CrossTask和HT-Step三个原始数据集，并对视频片段进行剪辑、优化和描述，以适应技能生成中的关键步骤。数据集涵盖了多个领域，如家务、车辆、护理等，包含了多个不同技能的操作视频，为长视频生成任务提供了高质量的训练数据。This dataset was constructed by the State Key Laboratory for Novel Software Technology at Nanjing University, comprising approximately 110,000 sub-clips, and is specifically designed to support the Key Step Skill Generation (KS-Gen) task. It is developed by comprehensively processing three original datasets: COIN, CrossTask, and HT-Step, followed by clipping, optimizing, and annotating the video segments to align with the requirements of key step-oriented skill generation. The dataset covers multiple domains including household chores, vehicle-related operations, caregiving, and more, and contains instructional videos of various distinct skills, providing high-quality training data for long-form video generation tasks.

搜集汇总

数据集介绍

构建方式

在构建Key-step Skill Generation Dataset时，研究者首先从现有的教学视频数据集中筛选出高质量的片段，然后通过一系列的数据清洗和优化流程，将这些片段分割成更短的关键步骤视频。这些关键步骤视频通过场景过渡检测、运动幅度控制、视频描述对齐、减少文字密集片段和步骤描述优化等步骤，确保了每个片段都能准确地反映相应的关键步骤。此外，为了提高步骤描述的质量，研究者还采用了图像和视频字幕模型来生成更详细的描述，并通过与现有技能数据库中的步骤序列进行检索增强，以确保描述的准确性和顺序性。

特点

Key-step Skill Generation Dataset的特点在于其专注于关键步骤的视频生成，而非完整技能的视频。这使得数据集能够更好地模拟现实世界中的应用场景，例如烹饪教学视频或产品组装教程，其中通常使用多个片段来强调关键步骤。此外，数据集还包含了一个由多模态大型语言模型生成的步骤描述，以及一个专门设计的关键步骤图像生成器，用于生成每个步骤的第一帧图像，从而解决了现有视频生成模型在处理不连续的关键步骤时的不足。

使用方法

使用Key-step Skill Generation Dataset时，首先需要使用多模态大型语言模型根据初始图像和技能描述生成关键步骤的详细描述。然后，利用这些描述和初始图像，使用关键步骤图像生成器生成每个步骤的第一帧图像。最后，使用视频生成模型，根据生成的关键步骤图像和描述，生成每个步骤的视频片段。整个过程中，可以通过多种评估指标来评估生成视频的质量和相似性，包括动作相似度、运动动态和整体视觉质量等。

背景与挑战

背景概述

在人工智能领域，生成模型已经能够根据文本描述生成多样化和高质量的图像和视频。然而，生成人类技能视频仍然是一个具有挑战性的任务。人类的技能涉及多步骤、长时间的动作和复杂的场景转换，现有的简单自回归方法无法生成这种类型的视频。为了解决这一问题，研究人员提出了一个新的任务——关键步骤技能生成（KSGen），旨在降低生成人类技能视频的复杂性。该任务的目标是，给定初始状态和技能描述，生成完成技能的关键步骤的视频片段，而不是完整的视频。为了支持这一任务，研究人员引入了一个精心策划的数据集，并定义了多个评估指标来评估性能。

当前挑战

关键步骤技能生成（KSGen）面临着多项挑战。首先，由于技能涉及多步骤、长时间的动作和复杂的场景转换，现有的视频生成模型难以生成这种类型的视频。其次，由于缺乏高质量的技能数据集和合适的评估指标，构建关键步骤生成器面临着困难。此外，由于缺乏连续性，现有的自回归方法不适用于生成多个非连续的关键步骤视频。为了解决这些挑战，研究人员提出了一个新的框架，包括多模态大型语言模型（MLLM）生成关键步骤描述、关键步骤图像生成器（KIG）解决技能视频中的不连续性，以及视频生成模型生成关键步骤视频片段。

常用场景

经典使用场景

Key-step Skill Generation (KSGen) 数据集主要用于训练和评估能够生成人类技能关键步骤视频片段的模型。这一任务在生成模型领域具有重要意义，因为它要求模型能够理解并模拟复杂的、多步骤的人类操作，这对于教育、自动化以及人机交互等领域都有潜在的应用价值。

实际应用

KSGen 数据集的实际应用场景包括但不限于在线教育、虚拟现实以及机器人训练。在教育领域，KSGen 可以用于生成高质量的技能演示视频，帮助学生更直观地学习复杂技能。在虚拟现实领域，KSGen 可以用于构建沉浸式教学环境，增强学习体验。在机器人训练领域，KSGen 可以用于生成模拟环境，帮助机器人学习复杂技能。

衍生相关工作

基于 KSGen 数据集，研究人员可以开展一系列相关的研究工作，例如：1）开发更精确的技能关键步骤识别算法；2）探索更有效的视频生成模型；3）研究如何将 KSGen 应用于特定领域，如医疗、制造等。这些工作将进一步推动 KSGen 的发展，并为相关领域带来更多的创新和应用。