KSCGR, MPII Fine-grained Kitchen Activity

KSCGR数据集是一个细粒度的厨房动作数据集，发布为ICPR 2012挑战的一部分。该数据集包含由固定在厨房顶部的kinect传感器捕获的场景，提供同步的彩色和深度图像序列。每个视频长度为5到10分钟，包含9,000到18,000帧。数据集组织者为每个帧分配了标签，指示演员执行的手势类型。手势包括8种：打破、混合、烘烤、翻转、切割、煮沸、调味、剥皮和无，其中无表示当前帧中没有执行任何动作。这些手势在日本的五个不同的鸡蛋烹饪菜单中执行。总共有7个不同的主体执行每个菜单。地面实况数据包含帧ID和帧内执行的动作。MPII Fine-grained Kitchen Activity数据集包含65种不同的烹饪活动，如盖子：放在上面、打开罐头、切条、品尝、切开、涂抹、摇晃、打开/关闭橱柜、搅拌、撒、放入冰箱、放在切菜板上、撕开、改变温度、拉出、拧开、混合、盖章、从抽屉取出、洗手、放入抽屉、放入香料架、放在面包/面团上、展开面团、闻、洗物体、放入橱柜、从香料架取出、拆分成分、放入碗中、搅拌、从烤箱取出、剥皮、从橱柜取出、阅读、切片、放入锅/平底锅、包装X、盖子：移除、切、擦拭干净、打开/关闭抽屉、切出内部、磨碎、从X移动到Y、挤压、调味、干燥、插入/拔出、从水龙头装水、从冰箱取出、打开/关闭冰箱、放在盘子上、放入烤箱、打开/关闭烤箱、倒、刮掉、切掉末端、扔进垃圾桶、泥、切丁、拧紧、从包装中取出、打开鸡蛋和背景活动，其中背景活动没有任何其他动作发生。动作由12名参与者记录，总共有44个视频，总长度超过8小时或881,755帧。它包含65个活动类别的5,609个注释。

The KSCGR dataset is a fine-grained kitchen action dataset, released as part of the ICPR 2012 challenge. This dataset includes scenes captured by a Kinect sensor fixed above the kitchen, providing synchronized color and depth image sequences. Each video lasts between 5 to 10 minutes, containing 9,000 to 18,000 frames. The dataset organizers have assigned labels to each frame indicating the type of gesture performed by the actor. The gestures include eight types: breaking, mixing, baking, flipping, cutting, boiling, seasoning, peeling, and none, where 'none' indicates no action is performed in the current frame. These gestures are performed across five different egg cooking menus in Japan. A total of seven different subjects perform each menu. The ground truth data includes frame IDs and the actions performed within the frames. The MPII Fine-grained Kitchen Activity dataset contains 65 different cooking activities, such as placing a lid, opening a can, slicing, tasting, cutting, spreading, shaking, opening/closing cabinets, stirring, sprinkling, putting into the fridge, placing on a cutting board, tearing, changing temperature, pulling out, unscrewing, mixing, stamping, taking from a drawer, washing hands, putting into a drawer, placing on a spice rack, placing on bread/dough, unfolding dough, smelling, washing objects, putting into a cabinet, taking from a spice rack, splitting ingredients, putting into a bowl, stirring, taking from an oven, peeling, taking from a cabinet, reading, slicing, putting into a pot/pan, wrapping X, removing a lid, cutting, wiping clean, opening/closing a drawer, cutting out the inside, grating, moving from X to Y, squeezing, seasoning, drying, inserting/pulling out, filling water from a tap, taking from the fridge, opening/closing the fridge, placing on a plate, putting into an oven, opening/closing an oven, pouring, scraping, cutting off ends, throwing into the trash, mashing, dicing, tightening, taking out of packaging, opening an egg, and background activities, where background activities have no other actions occurring. The actions were recorded by 12 participants, totaling 44 videos with a total length of over 8 hours or 881,755 frames. It includes 5,609 annotations across 65 activity categories.

原始信息汇总

数据集概述

KSCGR

• 名称: Kitchen Scene Context based Gesture Recognition (KSCGR)
• 来源: 发布于ICPR 2012的挑战
• 特点:
  • 使用Kinect传感器在厨房顶部捕捉场景，提供同步的彩色和深度图像序列。
  • 视频长度为5至10分钟，包含9,000至18,000帧。
  • 包含8种烹饪手势：breaking, mixing, baking, turning, cutting, boiling, seasoning, peeling, 和 none（无动作）。
  • 手势在五种不同的日本烹饪鸡蛋菜单中执行：ham and eggs, omelet, scrambled egg, boiled egg, kinshi-tamago。
  • 7个不同的主体执行每个菜单。
• 数据内容: 帧ID和帧内执行的动作。

MPII Fine-grained Kitchen Activity

• 名称: MPII Fine-grained Kitchen Activity
• 特点:
  • 包含65种不同的烹饪活动。
  • 记录了12个参与者的44个视频，总长度超过8小时或881,755帧。
  • 包含5,609个65种活动类别的标注。
• 活动示例: lid: put on, open tin, cut stripes, taste, cut apart, spread, shake, open/close cupboard, stir, strew, take & put in fridge, put on cutting-board, rip open, change temperature, pull out, screw open, mix, stamp, take out from drawer, wash hands, take & put in drawer, take & put in spice holder, put on bread/dough, unroll dough, smell, wash objects, take & put in cupboard, take out from spice holder, take ingredient apart, put in bowl, whisk, take out from oven, peel, take out from cupboard, read, cut slices, put in pan/pot, package X, lid: remove, cut in, wipe clean, open/close drawer, cut out inside, grate, move from X to Y, squeeze, spice, dry, plug in/out, fill water from tap, take out from fridge, open/close fridge, put on plate, take & put in oven, open/close oven, pour, scratch off, cut off ends, throw in garbage, puree, cut dice, screw close, remove from package, open egg, 和 background activity（无其他动作发生）。

搜集汇总

数据集介绍

构建方式

KSCGR数据集通过固定在厨房顶部的Kinect传感器捕捉场景，生成了同步的颜色和深度图像序列。每个视频长度为5至10分钟，包含9000至18000帧。数据集的组织者为每一帧标注了演员执行的手势类型，共包含8种烹饪手势，如搅拌、切割等，以及一个表示无动作的标签。这些手势在五种不同的日本鸡蛋烹饪菜单中执行，共有7名参与者。MPII Fine-grained Kitchen Activity数据集则记录了12名参与者的65种不同烹饪活动，视频总时长超过8小时，包含881,755帧和5,609个活动类别的标注。

特点

KSCGR数据集的特点在于其精细的手势标注和多样化的烹饪场景，涵盖了多种常见的厨房操作。MPII Fine-grained Kitchen Activity数据集则以其广泛的烹饪活动类别和丰富的视频数据著称，提供了详细的烹饪过程记录。两个数据集均通过多模态数据（如颜色和深度图像）捕捉了复杂的厨房活动，为研究厨房场景中的行为识别提供了宝贵资源。

使用方法

KSCGR和MPII Fine-grained Kitchen Activity数据集可用于训练和评估厨房场景中的行为识别模型。研究者可以通过提供的标注数据，开发基于深度学习的算法，识别和分类复杂的烹饪动作。数据集中的多模态信息（如深度图像）还可用于增强模型的鲁棒性。此外，数据集中的Python脚本可用于可视化标注，帮助研究者更好地理解数据分布和模型表现。这些数据集为计算机视觉和人工智能领域的研究提供了重要的实验基础。

背景与挑战

背景概述

KSCGR和MPII Fine-grained Kitchen Activity数据集是厨房场景中细粒度动作识别的代表性数据集。KSCGR数据集由名古屋大学的研究团队于2012年发布，旨在通过Kinect传感器捕捉厨房场景中的手势动作，涵盖9种烹饪手势和5种日式鸡蛋料理菜单。MPII Fine-grained Kitchen Activity数据集则由马克斯·普朗克信息学研究所于2012年推出，包含65种烹饪活动，记录了12名参与者的烹饪过程，总时长超过8小时。这两个数据集为厨房场景中的动作识别和上下文理解提供了丰富的标注数据，推动了计算机视觉和人类行为分析领域的研究。

当前挑战

KSCGR和MPII Fine-grained Kitchen Activity数据集在解决厨房场景动作识别问题时面临多重挑战。首先，动作的细粒度分类要求模型能够区分高度相似的动作，例如‘切割’与‘切片’，这对特征提取和模型设计提出了极高要求。其次，数据集中存在大量背景帧（无动作帧），可能导致模型偏向于学习背景特征而非动作特征。在构建过程中，数据采集和标注也面临挑战，例如Kinect传感器的视角限制可能导致部分动作信息丢失，而手工标注的复杂性和一致性要求进一步增加了数据集构建的难度。这些挑战为相关领域的研究提供了重要的技术突破方向。

常用场景

经典使用场景

KSCGR数据集在计算机视觉领域中被广泛用于细粒度厨房动作识别研究。通过捕捉厨房场景中的手势动作，该数据集为研究者提供了一个丰富的实验平台，用于开发和测试动作识别算法。其同步的颜色和深度图像序列使得研究者能够深入分析动作的时空特征，从而提升动作识别的准确性和鲁棒性。

解决学术问题

KSCGR数据集解决了细粒度动作识别中的关键问题，尤其是在复杂背景下的动作分割和分类。通过提供详细的帧级动作标签，该数据集帮助研究者克服了动作边界模糊和动作类别多样性的挑战。其多菜单、多参与者的设计进一步增强了模型的泛化能力，推动了动作识别领域的算法创新。

衍生相关工作

基于KSCGR数据集，许多经典研究工作得以展开。例如，研究者提出了基于深度学习的动作识别模型，利用该数据集进行训练和验证，显著提升了动作识别的性能。此外，该数据集还催生了多模态融合方法的研究，结合颜色和深度信息，进一步优化了动作识别的精度和效率。