MetaFood3D

MetaFood3D是由普渡大学和滑铁卢大学等机构创建的一个大型3D食品数据集，包含637个精心标注的3D食品对象，涵盖108个类别，并附有详细的营养信息、重量和食品代码。数据集强调类内多样性，包含丰富的模态数据，如纹理网格文件、RGB-D视频和分割掩码。创建过程中，通过扩展和增强VIPER-FoodNet数据集的食品类别，确保数据集代表美国最常消费的食品。数据集的应用领域主要集中在食品计算和计算机视觉，旨在解决食品相关问题的3D建模和营养评估。

MetaFood3D is a large-scale 3D food dataset developed by institutions including Purdue University and the University of Waterloo. It comprises 637 meticulously annotated 3D food objects across 108 categories, paired with detailed nutritional information, weights, and food codes. The dataset prioritizes intra-class diversity and includes rich multimodal data, such as textured mesh files, RGB-D videos, and segmentation masks. During its curation, the food categories from the VIPER-FoodNet dataset were expanded and enhanced to ensure the dataset covers the most frequently consumed foods in the United States. Its primary application domains are food computing and computer vision, aiming to resolve 3D modeling and nutritional assessment issues associated with food-related tasks.

搜集汇总

数据集介绍

构建方式

MetaFood3D数据集的构建旨在为膳食评估应用提供适宜的数据支持。该数据集通过精心选择食物对象、数据模态和捕获方法，力求贴近现实世界的场景。数据收集过程涉及从餐厅和商店获取真实世界的食物对象，对于难以获取的食物，则从原材料进行准备。数据收集过程中，通过多种食物来源策略，如从不同的餐厅、商店或地点获取食物，选择多样化的口味、品牌、品种或形式，切割、剥皮或去包装食物，以及用不同的成分准备食物，以增强食物类别内的多样性。每个食物对象都被放置在一个转盘上，并由固定在三脚架上的3D扫描仪Revopoint POP 2进行扫描。为了确保精确的尺寸和颜色测量，使用了校准基准标记进行相机角度和颜色校准。收集到的3D食物对象经过一系列的后处理步骤和注释，包括为每个食物对象标注重量和营养信息。

特点

MetaFood3D数据集包含637个精心标注的3D食物对象，涵盖了108个食物类别，每个食物对象都带有详细的营养信息、重量和食品代码，这些代码与一个全面的营养数据库相链接。该数据集强调了类别内的多样性，并包括了丰富的模态，如带纹理的网格文件、RGB-D视频和分割掩码。数据集还包含了层次关系，通过在一般食物类别中指定子食品类别，即食品项目，以促进细粒度分类任务。此外，该数据集还建立了营养估算、感知、重建和生成任务的基线。

使用方法

MetaFood3D数据集可以用于多种下游任务，包括3D食物感知、新视角合成和3D网格重建、3D食物生成和渲染，以及食物分量大小估算。对于3D食物感知任务，该数据集可以帮助评估和改进模型在不同形状和现实世界腐蚀情况下的鲁棒性。在新视角合成和3D网格重建任务中，该数据集提供了视频捕获和Blender渲染图像，用于训练和评估算法。对于3D食物生成和渲染任务，该数据集支持生成高度逼真的3D食物对象，并可用于丰富现有的2D食物数据集。在食物分量大小估算任务中，该数据集提供了丰富的营养值注释和3D信息，可用于比较不同分量估算方法的性能。

背景与挑战

背景概述

MetaFood3D数据集的创建旨在解决计算机视觉领域中的一个关键问题：如何准确地进行食物分析，尤其是从3D角度进行。该数据集由Purdue University和University of Waterloo的研究人员共同创建，并于2024年9月发布。MetaFood3D包含了637个精心标注的3D食物对象，跨越108个类别，每个对象都附有详细的营养信息、重量和食物代码，这些代码与一个全面的营养数据库相关联。该数据集的创建不仅解决了现有3D数据集中缺乏营养信息的问题，而且提供了丰富的模态，如纹理网格文件、RGB-D视频和分割掩码，这为食物计算研究提供了新的视角。此外，MetaFood3D强调了类别内的多样性，这对于提高算法的性能和泛化能力至关重要。该数据集的发布对于计算机视觉和食物计算领域的研究具有重要意义，它为研究人员提供了一个独特的基准，用于开发和应用3D视觉算法。

当前挑战

MetaFood3D数据集在解决食物相关问题的同时，也面临着一些挑战。首先，构建这样一个数据集需要大量的时间和精力，包括食物对象的收集、扫描、标注和营养信息的录入。其次，由于食物对象的多样性和复杂性，确保每个对象的标注准确无误是一个挑战。此外，虽然MetaFood3D提供了丰富的营养信息，但在实际应用中，如何将这些信息与3D模型准确对应起来，以便进行精确的食物分析，仍然是一个研究热点。最后，随着新技术的不断发展，如何保持数据集的时效性和实用性，也是MetaFood3D面临的一个挑战。

常用场景

经典使用场景

MetaFood3D数据集在计算机视觉领域具有重要的应用价值，尤其在食品计算方面。该数据集包含637个精心标注的3D食品对象，跨越108个类别，每个对象都附有详细的营养信息、重量和与综合营养数据库相链接的食品代码。该数据集的多样性和丰富的模态，如纹理网格文件、RGB-D视频和分割掩码，使其成为改进算法性能的理想选择。通过实验，该数据集展示了在高质量数据生成、模拟和增强方面的潜力，以及视频捕捉与3D扫描数据之间的挑战性差距。

解决学术问题

MetaFood3D数据集解决了现有3D数据集中缺乏营养值的问题，这对于开发3D或基于图像的饮食评估算法至关重要。此外，该数据集强调了类别内多样性，并提供了丰富的模态，如纹理网格文件、RGB-D视频和分割掩码，这有助于克服食品图像分析中的挑战，如不平衡的类别、复杂的纹理、层次化的分类和模糊的形状。MetaFood3D数据集为发展食品相关的3D算法提供了一个独特的基准，有助于提高算法的鲁棒性和泛化能力。

衍生相关工作

MetaFood3D数据集的发布促进了食品计算领域的研究进展。它为3D视觉算法的发展提供了一个独特的基准，有助于提高算法在现实场景中的性能。此外，该数据集还启发了许多相关的研究工作，如3D点云感知、新视角合成和3D网格重建、3D生成等。这些研究成果不仅推动了食品计算领域的发展，也为其他领域的3D视觉研究提供了有价值的参考。