AdaptLLM/food-VQA-benchmark

该数据集包含多个与食品相关的视觉问答任务，主要用于评估多模态大语言模型（MLLMs）在食品领域的表现。数据集包括Recipe1M、Nutrition5K、Food101和FoodSeg103等，涵盖了食谱、营养信息、食品分类和食品分割等多个方面。这些数据集通过后训练的方式，帮助模型在特定领域中表现更好。

This project includes multiple datasets for food domain visual instruction tasks, such as Recipe1M, Nutrition5K, Food101, and FoodSeg103. These datasets are used to test and evaluate the performance of multimodal large language models in the food domain. Each dataset has specific configurations and data file paths, allowing users to load these datasets using the `datasets` library for experimentation and evaluation.

搜集汇总

数据集介绍

构建方式

在视觉语言模型领域，针对特定领域的评估基准对于衡量模型泛化能力至关重要。AdaptLLM/food-VQA-benchmark数据集整合了四个经典的食品视觉问答子集——Recipe1M、Nutrition5K、Food101与FoodSeg103，每个子集均以测试集形式独立配置。构建过程通过HuggingFace datasets库将不同来源的食品图像与对应问答对统一封装为Arrow格式，并提供了类别名称与索引的映射文件，如Food101的name_to_label_map、FoodSeg103的id2label以及Nutrition5K的食材列表，从而确保多任务评估的标准化与可复现性。

特点

该基准数据集专为评估多模态大语言模型在食品领域的视觉理解能力而设计，覆盖了从菜品识别、食材分割到营养分析和食谱推理的多样化任务。其显著特点在于支持四种不同粒度的视觉问答挑战：Food101聚焦于细粒度分类，FoodSeg103强调语义分割，Nutrition5K涉及营养元素预测，而Recipe1M则关联食谱生成。每个子集均提供明确的类别映射文件，便于研究人员快速适配模型输出。此外，数据集与vLLM推理框架深度兼容，支持LLaVA、Qwen2-VL及Llama-3.2-Vision等主流多模态模型的一键评估，显著降低了领域迁移测试的工程门槛。

使用方法

研究者可通过datasets库的load_dataset函数直接加载指定子集的测试数据，例如调用load_dataset('AdaptLLM/food-VQA-benchmark', 'FoodSeg103', split='test')。为完成评估，需先安装vLLM（版本不低于0.6.2以支持Llama-3.2），并克隆QA-Synthesizer仓库进入vllm_inference目录。随后通过设置DOMAIN参数（如'food'表示运行全部任务）和MODEL_TYPE（如'qwen2_vl'）指定模型类型，再执行run_inference.sh脚本即可自动完成推理与评分。结果文件将保存至eval_results文件夹，模型预测输出则存放于output目录，便于后续分析。

背景与挑战

背景概述

在视觉与语言交叉领域，多模态大语言模型（MLLMs）的蓬勃发展催生了对其在特定垂直场景中能力评估的迫切需求。由北京智源人工智能研究院与微软研究院等机构的研究人员于2024年提出的AdaptLLM/food-VQA-benchmark，正是聚焦于食品领域的视觉问答评估基准。该数据集整合了Recipe1M、Nutrition5K、Food101与FoodSeg103四个经典子集，覆盖从食谱识别、营养分析到食材分类与分割的多样化任务，旨在系统衡量MLLMs在食品领域的细粒度理解与推理能力。作为领域自适应后训练研究的核心评估工具，该基准推动了多模态模型从通用知识向专业场景的迁移，为构建更可靠、更精准的食品智能分析系统奠定了评估基础。

当前挑战

该基准所面临的挑战首先体现在领域问题的复杂性上：食品视觉问答不仅要求模型识别食材与菜品，更需跨模态理解烹饪步骤、营养成分与空间分割关系，这远超传统图像分类的范畴。其次，构建过程中需应对多源异构数据的整合难题——不同子集在标注粒度、图像风格与问答格式上存在显著差异，例如FoodSeg103需处理精细的语义分割掩膜，而Nutrition5K则涉及连续的营养数值预测。此外，为确保评估的公平性与可复现性，研究团队需设计兼容多种MLLMs的统一推理框架，并克服不同模型在提示模板与输出解析上的适配障碍，这些技术细节构成了基准构建的核心挑战。

常用场景

经典使用场景

在视觉语言模型的研究领域中，食物领域的视觉问答（VQA）任务因涉及细粒度视觉识别、成分理解与食谱推理等复杂挑战，成为评估多模态大语言模型（MLLMs）领域适应能力的重要试金石。AdaptLLM/food-VQA-benchmark 数据集整合了四个经典食物子集——Recipe1M、Nutrition5K、Food101 与 FoodSeg103，覆盖从菜品分类、食材分割到营养分析与食谱匹配的多层次任务。研究者通常利用该基准对 MLLMs 进行零样本或微调后的评估，通过统一框架衡量模型在食物领域视觉理解与语言生成上的综合表现，从而揭示模型在领域特定知识迁移中的优势与局限。

解决学术问题

该数据集的核心学术贡献在于系统性地解决了多模态大语言模型在垂直领域泛化能力评估缺失的问题。传统视觉问答基准多聚焦于通用场景，难以反映模型在专业领域（如食品科学）中的细粒度理解水平。通过提供涵盖分类、分割、成分推理与食谱匹配的多任务测试集，该基准使研究者能够量化分析 MLLMs 在领域后训练（domain-specific post-training）中的知识获取程度与遗忘现象。其意义在于推动了领域自适应训练方法的可重复性研究，为理解模型如何将通用视觉语言知识迁移至特定专业领域提供了标准化的评估工具，进而促进了更鲁棒、更高效的领域微调策略的探索。

衍生相关工作

该数据集衍生了一系列关于多模态大语言模型领域后训练的经典工作。其核心关联论文《On Domain-Specific Post-Training for Multimodal Large Language Models》（EMNLP 2025 Findings）首次系统探讨了在食物领域进行后训练对 MLLMs 性能的影响，并提出了基于指令微调的领域适应框架。此外，该基准还催生了 AdaptLLM 系列模型，如 food-Qwen2-VL-2B-Instruct 与 food-Llama-3.2-11B-Vision-Instruct，这些模型通过在食物 VQA 任务上的后训练，显著提升了在 Recipe1M 食谱匹配与 Nutrition5K 成分分析中的准确率。相关工作进一步将领域后训练范式推广至法律、医学等领域，证明了该数据集的评估方法论具有跨领域的可迁移性与启发性。