FoodieQA

FoodieQA是一个专注于中国饮食文化细粒度理解的多模态数据集，由哥本哈根大学计算机科学系等机构合作创建。该数据集包含502张由当地人上传的未公开在线的食品图片，覆盖中国14种不同的菜系。创建过程中，通过五个阶段确保数据的地域性和文化代表性，包括菜系选择、图像收集、特色菜注释、视觉问题制定和文本问题制定。FoodieQA旨在通过多选题形式，评估模型在视觉和文本信息处理上的能力，特别是在理解中国区域食品文化方面的挑战，以推动细粒度视觉语言理解的发展。

FoodieQA is a multimodal dataset focused on fine-grained understanding of Chinese food culture, jointly created by the Department of Computer Science at the University of Copenhagen and other partnering institutions. The dataset contains 502 food images uploaded by local residents, which are not publicly accessible online, covering 14 distinct Chinese cuisines. During its construction, five stages were adopted to ensure the regionality and cultural representativeness of the dataset, including cuisine selection, image collection, signature dish annotation, visual question formulation, and text question formulation. FoodieQA aims to evaluate models' capabilities in processing both visual and textual information, particularly the challenges inherent in comprehending regional Chinese food culture, via multiple-choice question formats, so as to promote the development of fine-grained visual-language understanding.

搜集汇总

数据集介绍

构建方式

FoodieQA数据集的构建过程体现了对中华饮食文化多样性的深度挖掘。研究团队通过五个严谨阶段完成数据采集：首先基于中国八大菜系扩展至14种地域菜系类型，确保地理覆盖的全面性；其次通过社交媒体征集非公开的本地饮食图像，采用严格的质量控制标准，最终筛选出389张具有地域代表性的高质量图像。在标注环节，由来自中国不同省份的八位母语者组成专业团队，通过17个元信息字段对菜品进行多维度标注，涵盖视觉特征、风味特点和烹饪工艺等精细属性。针对视觉问答任务，设计了需多跳推理的跨图像对比问题，并通过双重人工验证机制确保问题质量，最终形成包含403道多图像问答、256道单图像问答和705道纯文本问答的平衡数据集。

特点

该数据集的核心价值在于其精细的文化粒度和多模态特性。地域覆盖上精准捕捉了中国14个饮食文化区的差异化特征，包括新疆、内蒙古等常被忽视的边疆菜系。问题设计突破传统食品识别范畴，聚焦需要文化背景知识的深层推理任务，如通过餐具形制推断菜系归属。多图像对比任务模拟真实点餐场景，要求模型分析视觉线索间的细微差异。数据纯净度方面，所有图像均为首次公开的私人拍摄内容，有效避免预训练数据污染。标注体系创新性地引入'冷热菜判别'等饮食文化特有维度，73.4%的单图像问题需要结合视觉特征与文化知识的多步推理。

使用方法

研究者可通过三种任务范式挖掘该数据集价值：多图像VQA任务要求模型在四张候选图像中完成跨模态对比，适合评估文化语境下的视觉推理能力；单图像VQA任务通过屏蔽菜品名称，强制模型依赖视觉特征回答风味、菜系等专业问题；纯文本QA任务则直接检验模型对饮食文化知识的掌握程度。基准测试表明，提供菜品图像可使IDEFICS2模型准确率提升约40%，建议研究者优先采用多模态输入方式。针对文化偏见分析，数据集支持中英双语评估，其中双语模型在中文环境下表现更优，该特性可用于探究语言对文化认知的影响。对于领域适应研究，可重点考察模型在'烹饪技法'与'风味识别'等子任务上的表现差异。

背景与挑战

背景概述

FoodieQA是由哥本哈根大学、滑铁卢大学等机构的研究团队于2024年推出的多模态数据集，聚焦于中国饮食文化的细粒度理解。该数据集通过手工标注的方式，收录了涵盖中国14个菜系的389张非公开食物图像及对应的多模态问答任务，旨在填补现有饮食文化研究中区域多样性研究的空白。作为首个系统探索中国区域饮食文化差异的计算语言学资源，FoodieQA通过多图像视觉问答、单图像视觉问答和纯文本问答三种任务形式，为评估视觉语言模型的文化理解能力提供了新基准。

当前挑战

FoodieQA面临的核心挑战体现在两个方面：在领域问题层面，现有模型对需要跨图像比较和文化背景推理的多图像视觉问答任务表现欠佳，开源模型准确率较人类水平低41%；在构建过程层面，数据集收集面临区域代表性平衡、非公开图像获取难度大、菜品细粒度特征标注复杂度高等困难。特别是对'冷门'菜系的样本收集，以及确保视觉问题必须依赖图像特征而非文本先验的设计要求，都极大增加了数据集的构建难度。

常用场景

经典使用场景

FoodieQA数据集在跨模态理解领域具有重要价值，尤其在探索中国饮食文化的细粒度特征方面表现突出。该数据集通过多图像视觉问答、单图像视觉问答以及纯文本问答任务，为研究者提供了一个全面评估模型对区域性饮食文化理解能力的平台。在经典使用场景中，研究者可利用该数据集测试模型在比较不同地区菜肴视觉特征、识别单一图像中的饮食文化元素，以及基于文本描述推断饮食文化知识等方面的表现。

实际应用

在实际应用层面，FoodieQA可广泛应用于智能餐饮推荐系统、跨文化饮食教育平台和旅游信息服务等领域。例如，基于该数据集训练的模型能够为游客准确识别地方特色菜肴，解释其文化背景；在商业场景中，可帮助餐饮企业分析不同地区消费者的饮食偏好；还可应用于饮食文化数字化保护，系统记录和传承地方特色饮食知识。

衍生相关工作

FoodieQA的发布推动了多项相关研究的发展，包括跨文化视觉语言理解模型的优化、区域性饮食知识图谱构建等。该数据集启发了后续工作如Culinary-Cultural-Bias-Probing等研究，促使学界更加关注模型中的文化偏见问题。同时，其创新的多图像比较任务设计为视觉推理领域提供了新思路，影响了VALSE等细粒度视觉理解基准的构建方法。