openfoodfacts/ingredient-detection

该数据集用于训练多语言成分列表检测模型，旨在自动化从食品包装图像中提取成分列表。数据集生成过程包括使用Google Cloud Vision进行OCR处理，并通过ChatGPT-3.5提取成分列表。数据集经过自动和手动清理步骤，以确保数据质量。数据集分为训练集和测试集，分别包含5065和556个样本。每个样本包含原始文本、标记文本、令牌、NER标签、偏移量和元数据等信息。This dataset is utilized for training multilingual ingredient list detection models, with the goal of automating ingredient list extraction from food packaging images. The dataset generation process involves OCR processing using Google Cloud Vision and ingredient list extraction via ChatGPT-3.5. Automatic and manual cleaning steps are applied to the dataset to ensure data quality. The dataset is split into training and test sets, which contain 5065 and 556 samples respectively. Each sample includes information such as original text, annotated text, tokens, NER tags, offsets, and metadata.

原始信息汇总

数据集概述

数据集用途

该数据集用于训练多语言成分列表检测模型，旨在自动化从食品包装图像中提取成分列表。

数据集生成

• 原始文本来源：通过Google Cloud Vision获得的OCR结果，仅包含在Open Food Facts上标记为成分图像的图片。
• 生成方法：使用ChatGPT-3.5进行成分列表提取，遵循特定提示和系统提示生成JSON格式的输出。
• 初步清洗：自动移除无效JSON、缺失字段或成分列表不是原始文本子串的响应。
• 模型训练与错误分析：在数据集上训练NER模型，通过检查模型预测错误来识别ChatGPT的标注错误，并采用半自动方法手动修正。
• 数据集版本：发布新数据集alpha版本，并在此基础上训练模型。数据集分为训练集（90%）和测试集（10%），测试集完全手动复查和修正。
• 文本分词：使用huggingface预分词器进行文本分词。

标注指南

• 所有语言的成分列表必须标注。
• 成分列表应从第一个成分开始，不包括“Ingredients:”等前缀。
• 单个成分且无前缀的列表不应标注。
• 成分列表结束处不包括额外信息，除非这些信息在括号内。

数据集结构

• 文件：包含两个JSONL文件，分别是训练集和测试集。
• 样本字段：
  • text：原始文本
  • marked_text：用<b>和</b>标记成分范围的文本
  • tokens：预分词后的标记
  • ner_tags：每个标记的标签ID（BIO schema）
  • offsets：成分范围的字符起始和结束偏移量
  • meta：样本的附加元数据，包括条码、图像ID和图像URL

搜集汇总

数据集介绍

构建方式

该数据集源于Open Food Facts平台上标记为配料图的食品包装图像，原始文本通过Google Cloud Vision光学字符识别技术获取。构建过程依托ChatGPT-3.5，利用精心设计的提示词引导模型从原始OCR文本中提取配料列表，要求输出格式为包含语言和文本字段的JSON列表。随后执行自动化清洗，剔除无效JSON、缺失字段及配料文本非原文字串的样本。在此基础上，通过半自动方法修正标注错误：基于初步NER模型的预测误差，识别ChatGPT的典型错误类型（如配料前缀“Ingredients:”被误纳入文本范围），利用正则表达式全局定位问题样本并手动校正。最终，经过清洗的完整数据集按9:1比例划分为训练集与测试集，测试集经全面人工复核以确保高质量。

特点

数据集涵盖英语、法语、德语、意大利语、荷兰语、俄语及希伯来语七种语言，支持多语种配料列表检测，规模介于1000至10000条样本之间。标注采用BIO模式（B-ING表示配料起始，I-ING表示内部，O表示非配料），字段设计完整，包含原始OCR文本、标记文本、预分词后的令牌列表、NER标签、字符偏移量及元信息（如产品条码、图像标识符和图像URL）。数据集的迭代版本v1.1进一步优化了标注规则，将有机认证后缀（如“organic”、“issu de l’agriculture biologique”）纳入配料列表，并修复了其他标注错误，提升了检测模型的鲁棒性与实用性。

使用方法

数据集以JSONL格式存储，提供训练集（5065条）和测试集（556条）两个压缩文件，可直接通过HuggingFace Datasets库加载使用。使用时需注意文本已通过预分词器（基于空格与标点分割）进行令牌化，NER标签与令牌一一对应。模型训练可采用序列标注框架，将令牌序列作为输入，预测每个令牌的BIO标签。建议在微调前检查元信息中的产品条码与图像URL，以追溯原始图像数据。对于多语种场景，可根据语言字段筛选特定语种样本进行针对性训练或评估。

背景与挑战

背景概述

在食品信息数字化进程中，从包装图像中自动提取配料列表是保障消费者知情权与食品安全监管的关键技术。Open Food Facts作为全球最大的开源食品数据库，其发起的配料检测数据集（Ingredient Detection Dataset）由Open Food Facts AI团队于2023年创建，旨在解决多语言环境下食品配料列表的自动识别问题。该数据集基于Google Cloud Vision对食品包装图像的光学字符识别结果，创新性地利用ChatGPT-3.5进行初步标注，并通过半自动错误修正流程提升数据质量。数据集涵盖英语、法语、德语等七种语言，包含5065个训练样本与556个测试样本，其核心研究问题在于构建一个能够准确识别配料列表起始与结束位置的命名实体识别模型。该工作通过公开数据集与训练脚本，显著推动了食品信息自动化提取领域的发展，为食品安全监测与营养分析提供了基础数据支撑。

当前挑战

该数据集面临的核心挑战集中于多语言食品配料列表的精确识别。一方面，配料列表在包装上常与过敏原、原产地、有机认证等附加信息混杂，且不同语言存在“Ingredients:”、“Zutaten”等前缀变体，模型需区分核心配料与辅助信息。另一方面，OCR文本质量参差不齐，存在字符识别错误、多语言混合排版及单行配料无明确标识等情况，导致标注边界模糊。在数据集构建过程中，初始依赖ChatGPT-3.5生成的标注存在多种误差，如误将“Ingredients:”前缀纳入配料范围、遗漏多语言版本中的部分列表等。尽管通过正则规则与人工审查进行了两轮清洗，但半自动修正仍难以覆盖所有异常案例，且不同语言间的标注一致性维护成本较高，使得测试集需完全人工校验以确保评估可靠性。

常用场景

经典使用场景

在食品包装信息自动化的研究领域中，该数据集被广泛用于训练多语言成分列表检测模型。其核心任务是从OCR获取的食品包装图像文本中，精准定位并提取成分列表的起始与终止边界，排除过敏原、产地、标签等无关信息。研究者通常采用基于BIO标注方案的序列标注方法，将文本中的每个token标记为成分的开始（B-ING）、内部（I-ING）或非成分（O），从而实现对多语种成分列表的细粒度识别。这一经典应用场景为食品信息结构化提供了基础技术支撑。

解决学术问题

该数据集有效解决了食品包装文本中成分列表自动提取这一长期困扰学术界的难题。传统方法依赖人工规则或模板匹配，难以应对不同国家、不同语言包装上的复杂排版与表述差异。通过提供包含中、英、法、德等七种语言的高质量标注数据，该数据集使研究者能够训练出泛化能力更强的序列标注模型，显著提升了跨语言场景下的检测精度。其意义在于推动了食品标签信息自动化处理从规则驱动向数据驱动的范式转变，为后续食品安全、营养分析等研究奠定了数据基础。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作。最直接的工作是Open Food Facts团队基于此数据训练的Alpha系列成分检测模型，通过迭代优化标注规则与模型架构，逐步提升了检测鲁棒性。此外，有研究者探索了将成分检测与命名实体识别（NER）技术相结合，实现更细粒度的成分属性（如添加剂、过敏原）抽取。另一条衍生路径是将该数据集作为预训练任务的一部分，用于提升多语言食品文本的表示学习能力，进而服务于营养计算、食谱推荐等下游应用。这些工作共同推动了食品AI领域的实证研究进展。