January Food Benchmark (JFB)

JFB数据集是January AI机构推出的一款面向多模态食品分析的公共基准数据集和评估套件。该数据集包含1000张真实世界的食品图像，并有人工验证的标注，用于餐名、成分和宏量营养素。JFB旨在解决现有食品数据集在真实世界应用中的局限性，特别是在营养分析领域。该数据集的创建过程严格遵循了标注协议，以确保高质量的标签。JFB数据集可以用于评估模型的性能，特别是在食品识别、成分识别和营养估算方面。此外，JFB还提供了一个自动化的基准框架，包括稳健的指标和一个新的、面向应用的总体评分，用于全面评估模型性能。JFB数据集适用于研究者和开发者，以推动自动营养分析领域的发展。

The JFB dataset is a public benchmark dataset and evaluation suite for multimodal food analysis, launched by January AI. It comprises 1,000 real-world food images paired with manually verified annotations covering meal names, ingredients, and macronutrients. The JFB dataset is designed to address the limitations of existing food datasets in real-world deployment, especially within the domain of nutritional analysis. Its development strictly follows standardized annotation protocols to guarantee high-quality labeled data. It can be utilized to evaluate model performance across tasks including food recognition, ingredient recognition, and nutritional estimation. Additionally, JFB provides an automated benchmark framework that incorporates robust evaluation metrics and a novel application-oriented overall score for holistic model performance assessment. This dataset is intended for researchers and developers to advance the field of automated nutritional analysis.

原始信息汇总

Food-Scan Benchmarks 数据集概述

数据集简介

• 目的：评估专业和通用视觉语言模型（VLMs）在食物图像分析中的性能。
• 开发者：January AI。
• 特点：开源基准测试，展示January AI在食物图像分析方面的先进性能。

数据集详情

• 数据量：1,000张真实世界食物图像。
• 数据来源：通过January AI应用收集。
• 数据多样性：涵盖日常餐食、国际美食、不同光照条件和真实拍摄角度。
• 标注内容：
  • 餐食名称。
  • 成分列表。
  • 营养成分数据（热量、碳水化合物、蛋白质、脂肪）。
• 标注质量：经过人工验证和多标准筛选，确保准确性和包容性。
• 隐私保护：在数据整理过程中严格遵守用户隐私标准。

评估指标

1. 餐食名称相似度：
   • 测量方法：文本嵌入的余弦相似度。
   • 目标：越高越好。
2. 成分识别：
   • 测量指标：精确度（Precision）、召回率（Recall）、F1分数。
   • 目标：越高越好。
3. 宏量营养素估计：
   • 测量方法：加权平均绝对百分比误差（wMAPE）。
   • 目标：越低越好。
4. 响应时间：
   • 测量方法：模型返回分析的秒数。
   • 目标：越低越好。
5. 综合评分：
   • 范围：0-100。
   • 目标：越高越好。

性能对比

排行榜（综合评分）

排名	模型	综合评分
1	january-ai-vision	86.24
2	gpt-4o	74.11
3	gpt-4o-mini	66.44
4	gemini-2.5-pro	60.67
5	gemini-2.5-flash	60.65

关键发现

1. 餐食和成分识别：
   • January AI在餐食名称相似度和成分识别（F1分数、精确度、召回率）上表现最佳。
2. 营养准确性：
   • January AI在宏量营养素估计上的误差率最低。
3. 速度与准确性平衡：
   • January AI在保持响应时间竞争力的同时，提供更高的分析质量。

使用指南

快速开始

1. 克隆仓库： bash git clone https://github.com/January-ai/food-scan-benchmarks.git cd food-scan-benchmarks

2. 安装依赖： bash uv sync

3. 配置环境： bash cp .env.example .env # 编辑API密钥

4. 运行基准测试： bash python -m food_scan_bench.run_benchmark --models january/food-vision-v1 gpt-4o

命令行选项

bash python -m food_scan_bench.run_benchmark [OPTIONS]

• --models TEXT...：指定评估模型（默认：全部）。
• --max-items INTEGER：处理的最大图像数量（默认：20）。
• --visualize / --no-visualize：生成可视化仪表盘（默认开启）。
• --baseline-model TEXT：用于胜负比较的基准模型。
• --export-report：导出详细CSV报告。

支持模型

提供商	模型标识符
January AI	january/food-vision-v1
OpenAI	gpt-4o, gpt-4o-mini
Google	gemini/gemini-2.5-flash-preview-05-20
	gemini/gemini-2.5-pro-preview-06-05
其他	任何支持图像的LiteLLM兼容模型。

项目结构

text food_scan_bench/ ├── run_benchmark.py # 命令行入口 ├── models/ # API封装（January, LiteLLM等） ├── evaluate.py # 异步评估流程 ├── metrics.py # 评分函数 ├── analyze_results.py # 图表和统计 └── dataset/ # 数据集下载/缓存辅助工具

贡献与许可

• 许可证：MIT License。
• 贡献：欢迎提交错误报告、功能请求和拉取请求。

搜集汇总

数据集介绍

构建方式

January Food Benchmark (JFB) 数据集的构建过程体现了严谨的科学态度和高质量的数据标准。该数据集包含1,000张真实世界的食物图像，所有图像均来自移动健康应用的用户，并经过严格的筛选和标注流程。数据采集分为“喜欢队列”和“不喜欢队列”，以确保数据多样性和挑战性。每张图像的标注包括餐名、成分、数量及宏量营养素信息，并经过专家人工验证，确保标签的准确性和可靠性。数据集特别关注复杂餐食，仅包含两种以上成分的餐食，以反映真实世界的饮食复杂性。

特点

JFB数据集以其高质量和多样性脱颖而出。所有图像均为用户日常环境中的真实拍摄，涵盖了不同的光照条件、拍摄角度和复杂背景，充分体现了移动食物记录的挑战性。数据集的标注不仅包括餐名和成分，还提供了宏量营养素的详细信息，且所有标注均经过人工验证，确保了数据的准确性。此外，数据集涵盖了多种菜系，其中美国菜系占比31.7%，其他或混合菜系占比29.8%，具有较高的文化多样性。

使用方法

JFB数据集为多模态食物分析研究提供了标准化的评估基准。研究人员可利用该数据集评估模型在餐名识别、成分识别和宏量营养素估计等任务上的性能。数据集附带全面的评估框架，包括餐名相似性、成分识别精度、宏量营养素估计误差等指标，并引入了综合评分系统（Overall Score），以全面衡量模型性能。使用该数据集时，建议结合其提供的评估脚本和基准模型结果，进行模型性能对比和优化。数据集以CC-BY-4.0许可发布，支持学术研究和商业应用的广泛使用。

背景与挑战

背景概述

随着饮食相关慢性疾病的日益普遍，对便捷且准确的饮食追踪工具的需求变得尤为迫切。由January AI团队于2025年8月推出的January Food Benchmark (JFB)数据集，旨在解决这一领域的关键问题。JFB数据集包含1000张真实世界的食物图像，每张图像均经过严格的人工验证，标注了餐名、成分和宏量营养素信息。该数据集的发布填补了高质量、多模态食物分析基准数据集的空白，为自动营养分析领域的研究提供了可靠的评估基础。JFB的推出不仅推动了食物识别、成分分析和营养估计等技术的发展，还为通用视觉语言模型在专业领域的性能评估提供了重要参考。

当前挑战

JFB数据集面临的挑战主要体现在两个方面：领域问题的复杂性和数据构建的严谨性。在领域问题方面，食物图像分析需克服不同菜肴间的高度视觉相似性、成分遮挡以及从二维图像推断非视觉属性（如分量大小和烹饪方法）等难题。这些因素使得准确识别和营养估计变得极具挑战性。在数据构建过程中，确保标注的高质量和一致性是另一大挑战。JFB通过严格的标注协议和多阶段验证流程来解决这一问题，但如何平衡数据规模与标注质量，以及覆盖更多样化的饮食文化，仍是未来需要持续优化的方向。

常用场景

经典使用场景

January Food Benchmark (JFB) 数据集在食品图像识别和营养分析领域具有广泛的应用价值。其经典使用场景包括利用计算机视觉技术对复杂食品图像进行多模态分析，涵盖菜品名称识别、成分检测以及宏观营养素估算。该数据集通过提供真实场景下的食品图像和经过严格人工验证的标注，为研究者提供了一个可靠的基准平台，用于开发和评估食品识别算法。特别是在移动健康应用中，JFB 数据集能够支持用户通过拍摄食物照片实现自动化的饮食记录和营养分析。

衍生相关工作

JFB 数据集已经衍生出多个重要的相关研究工作。基于该数据集，研究者开发了专门的食品视觉模型 january/food-vision-v1，在食品识别任务上显著优于通用视觉语言模型。此外，该数据集还促进了食品成分识别、营养估算等细分方向的研究。相关工作包括改进的食品图像分类算法、多任务学习框架以及面向移动设备的轻量化食品识别模型等。这些研究不仅验证了 JFB 数据集的价值，也进一步推动了食品计算领域的发展。

数据集最近研究

最新研究方向

随着人工智能在营养分析领域的快速发展，January Food Benchmark (JFB) 数据集的推出为多模态食品分析研究提供了重要的基准工具。该数据集包含1000张真实世界食品图像，并附有人工验证的餐名、成分和宏量营养素标注，填补了高保真、多层面食品分析数据集的空白。当前研究热点集中在利用视觉语言模型（VLMs）提升食品识别的准确性和效率，特别是在成分识别和营养估计方面。JFB数据集的引入不仅推动了领域内模型的性能评估标准化，还为开发面向实际应用的营养分析工具提供了可靠的数据支持。其影响深远，有望在健康管理、饮食追踪等领域发挥重要作用。

相关研究论文

• January Food Benchmark (JFB): A Public Benchmark Dataset and Evaluation Suite for Multimodal Food Analysis

  January AI · 2025年