Oktoberfest Food Dataset

arXiv2019-11-22 更新2024-08-06 收录

图像目标检测

自动收银系统

数据链接：

http://arxiv.org/abs/1912.05007v1 数据链接链接失效反馈

官方服务：

资源简介：

我们发布了一个真实、多样且具有挑战性的图像目标检测数据集。该数据集在德国的一个啤酒帐篷中录制，包含15种不同的食品和饮料类别。我们手工创建了超过2,500个对象标注，涵盖了通过视频摄像头在收银台上方捕捉的1,110张图像。此外，我们还提供了包含数天视频的剩余600GB（未标注）数据。同时，我们提供了训练好的模型作为基准。可能的应用包括能显著加快流程的自动收银系统。

We present a real-world, diverse and challenging image object detection dataset. This dataset was collected in a beer tent in Germany and includes 15 distinct food and beverage categories. We manually created over 2,500 object annotations for 1,110 images captured by a video camera mounted above the checkout counter. Additionally, we provide the remaining 600GB of unannotated data containing several days of video recordings. We also release a pre-trained model as a benchmark for this dataset. Potential applications include automated checkout systems that can significantly accelerate the checkout workflow.

创建时间：

2019-11-22

搜集汇总

数据集介绍

构建方式

在自动结账系统的需求驱动下，该数据集源自德国啤酒帐篷内收银台上方视频摄像头所录制的连续影像。研究者从四个拍摄角度中选取一个视角，提取了1110张图像，并针对其中15类食品与饮品（如啤酒、香肠、面包等）进行了超过2500个手工标注。此外，数据集还包含600GB未标注的原始视频素材，以及通过MedianFlow追踪算法从标注帧扩展至邻近帧的6800余帧视频标注数据，所有自动标注结果均经过人工复核以确保质量。

使用方法

研究者推荐使用基于深度学习的物体检测模型（如SSD、Faster R-CNN、RFCN）进行训练与评估，并提供了TensorFlow Object Detection API的基准实现。由于任务核心是计数而非精确定位，评估时将IoU阈值设为零，以类别预测的精确率-召回率曲线下面积（AUC）为主要指标。数据集支持半监督学习策略，如伪标签生成，并提供了从预训练模型微调的代码。用户亦可利用多角度视频数据进行时序建模，或通过限制训练样本量（如每类60张）来测试模型在小样本场景下的表现。

背景与挑战

背景概述

在自动化结算系统蓬勃发展的背景下，精准识别并计数柜台上的多类物品成为计算机视觉领域亟待突破的核心问题。2019年，由慕尼黑工业大学Alexander Ziller、Julius Hansjakob、Vitalii Rusinov等研究者联合Ilass AG公司共同创建的Oktoberfest Food Dataset应运而生。该数据集以德国啤酒帐篷的真实场景为依托，涵盖15种常见食品与饮料类别，包含1110张手工标注图像及超过2500个目标实例，并额外提供600GB未标注视频数据。其核心研究问题聚焦于复杂环境下食品目标的检测与计数，为深度学习驱动的无人收银系统提供了极具现实意义的基准，推动了目标检测技术在餐饮零售领域的应用落地。

当前挑战

该数据集所解决的领域问题在于高密度、多遮挡、运动模糊条件下的多类食品目标检测与计数，传统回归方法难以处理类别区分，而目标检测需在保证精度的同时实现实时计数。构建过程中面临多重挑战：首先，手动标注2500余个实例极为耗时，且类别间样本数量不均衡（如Jaegermeister类仅43张图像却含152个标注），增加了模型泛化难度；其次，测试集刻意包含物体密集、服务员遮挡及运动模糊等困难样本；此外，昼夜光照差异导致模型在跨时段测试中性能显著下降，表明环境鲁棒性仍是重大挑战。

常用场景

经典使用场景

在自动化零售结算系统中，精确识别并计数柜台上的多种食品与饮品是实现高效无人收银的核心挑战。Oktoberfest Food Dataset 提供了一个真实、多样且富有挑战性的图像数据集，涵盖啤酒、香肠、薯条等15类常见食品和饮品，包含超过2500个手工标注的边界框，适用于目标检测任务的训练与评估。该数据集特别关注高密度堆叠、遮挡与运动模糊等复杂场景，成为检验目标检测模型在真实零售环境下鲁棒性和计数精度的经典基准。

解决学术问题

该数据集解决了在非受控环境下多类物品的自动计数与定位这一关键学术难题。传统回归计数方法无法区分不同类别，而基于目标检测的方法虽能定位物品，但在密集、遮挡场景中性能不佳。Oktoberfest Food Dataset 提供了带有类别标签和位置信息的真实场景数据，推动了基于深度学习的目标检测模型（如SSD、Faster R-CNN）在细粒度物品计数任务上的研究，揭示了光照变化、运动模糊等因素对检测性能的影响，为提升模型泛化能力提供了重要实验依据。

实际应用

在实际应用中，该数据集直接服务于自动化收银系统的研发与部署。通过训练高精度的目标检测模型，系统能够实时识别并统计顾客放置在结账台上的各类食品与饮品，无需人工扫描条码，从而大幅缩短结账时间，提升顾客体验。此外，该数据集还支持多视角视频数据的利用，有助于开发基于多摄像头融合的鲁棒检测方案，适应啤酒节等嘈杂、拥挤的零售环境，为无人超市、自助餐厅等场景提供技术验证平台。

数据集最近研究

Oktoberfest Food Dataset

资源简介：

相关数据集