product-database

Open Food Facts 产品数据库是一个包含食品产品详细信息的数据库，包括成分、过敏原和营养成分。该数据库由来自世界各地的志愿者贡献，数据以开放数据的形式提供给公众使用。该数据集以 Parquet 格式提供，是 Open Food Facts 组织每日提供的 JSONL 转储的更清洁版本。

The Open Food Facts product database is a repository containing detailed information about food products, including ingredients, allergens and nutritional components. This database is contributed by volunteers from across the globe, with its data made publicly available as open data. The dataset is distributed in Parquet format, serving as a cleaner, refined version of the daily JSONL dumps released by the Open Food Facts organization.

原始信息汇总

Open Food Facts Product Database

概述

• 名称: Open Food Facts Product Database
• 语言:
  • 英语 (en)
  • 法语 (fr)
  • 德语 (de)
  • 西班牙语 (es)
  • 意大利语 (it)
  • 荷兰语 (nl)
  • 波兰语 (pl)
  • 葡萄牙语 (pt)
  • 瑞典语 (sv)
  • 保加利亚语 (bg)
  • 罗马尼亚语 (ro)
  • 芬兰语 (fi)
  • 俄语 (ru)
  • 挪威语 (nb)
  • 捷克语 (cs)
  • 泰语 (th)
  • 丹麦语 (da)
  • 克罗地亚语 (hr)
  • 匈牙利语 (hu)
  • 阿拉伯语 (ar)
  • 希腊语 (el)
  • 日语 (ja)
  • 加泰罗尼亚语 (ca)
  • 塞尔维亚语 (sr)
  • 斯洛文尼亚语 (sl)
  • 斯洛伐克语 (sk)
  • 土耳其语 (tr)
  • 立陶宛语 (lt)
  • 中文 (zh)
  • 爱沙尼亚语 (et)
  • 拉脱维亚语 (lv)
  • 未知语言 (xx)
  • 乌克兰语 (uk)
  • 印度尼西亚语 (id)
  • 希伯来语 (he)
  • 越南语 (vi)
  • 冰岛语 (is)
  • 拉丁语 (la)
  • 印度语 (in)
  • 韩语 (ko)
  • 阿尔巴尼亚语 (sq)
  • 希伯来语 (iw)
  • 格鲁吉亚语 (ka)
  • 马来语 (ms)
  • 波斯尼亚语 (bs)
  • 波斯语 (fa)
  • 孟加拉语 (bn)
  • 加利西亚语 (gl)
  • 哈萨克语 (kk)
  • 马其顿语 (mk)
  • 挪威尼诺斯克语 (nn)
  • 印地语 (hi)
  • 阿法尔语 (aa)
  • 乌兹别克语 (uz)
  • 索马里语 (so)
  • 南非荷兰语 (af)
  • 巴斯克语 (eu)
• 许可证:
  • AGPL-3.0
  • ODbL
• 数据量: 1M<n<10M

数据集信息

• 配置名称: default
• 数据文件:
  • 分割: main
  • 路径: products.parquet

数据集描述

Open Food Facts 是一个包含食品产品成分、过敏原、营养成分以及产品标签上所有信息的食品数据库。该数据库由志愿者维护，包含来自150个国家的170多万种产品。

数据集格式

该数据集是从 Open Food Facts 组织每日提供的 JSONL 数据 转换为 Parquet 格式的清洁版本。

数据处理

原始 JSONL 数据通过 DuckDB 处理。

数据重用条件

Open Food Facts 数据库在开放数据库许可证下可用。数据库内容在数据库内容许可证下可用。产品图像在知识共享署名共享许可证下可用。

数据重用反馈

Open Food Facts 团队对数据的使用情况非常感兴趣，欢迎用户分享其数据重用情况。

搜集汇总

数据集介绍

构建方式

Open Food Facts数据库是一个由全球志愿者共同构建的食品产品数据库，涵盖了来自150个国家的170多万种产品。数据采集主要通过Android或iPhone应用程序完成，用户通过扫描产品条形码并上传产品及其标签的图片来贡献数据。原始数据以JSONL格式每日发布，随后被转换为Parquet格式以便于使用。在数据处理过程中，移除了调试标签和层次结构标签，保留了包含主要信息的标签，并将每种语言的成分文本单独保存为列。

特点

该数据集涵盖了多种语言的食品产品信息，包括成分、过敏原、营养成分等标签上的详细信息。其多语言特性使得该数据集在全球范围内具有广泛的应用价值。数据以Parquet格式存储，便于高效处理和分析。此外，数据集遵循开放数据许可，允许任何人自由使用和重新发布，进一步增强了其可用性和可访问性。

使用方法

用户可以通过HuggingFace平台直接访问该数据集，下载Parquet格式的文件进行本地分析。数据集适用于食品科学研究、营养分析、市场趋势预测等多个领域。在使用数据时，用户需遵守开放数据库许可和数据库内容许可的规定，并注意产品图片的版权问题。用户还可以通过填写表单向Open Food Facts社区分享其数据应用案例，以促进数据的进一步利用和推广。

背景与挑战

背景概述

Open Food Facts数据库是一个全球性的食品产品数据库，由非营利组织Open Food Facts协会于2012年创建。该数据库汇集了来自150个国家的超过170万种食品产品的详细信息，包括成分、过敏原、营养成分等。数据库的构建依赖于全球超过25,000名志愿者的贡献，他们通过手机应用扫描产品条形码并上传产品标签信息。Open Food Facts的使命是提供公开、透明的食品信息，推动公众健康与食品安全研究。该数据库的开放数据特性使其广泛应用于食品科学、营养学、消费者行为研究等多个领域，成为相关研究的重要数据来源。

当前挑战

Open Food Facts数据库在构建与应用过程中面临多重挑战。首先，食品标签信息的多样性与复杂性使得数据标准化与清洗成为一项艰巨任务，尤其是在多语言环境下，如何准确解析与翻译成分信息尤为关键。其次，数据更新与维护依赖于志愿者贡献，数据的完整性与时效性难以保证，尤其是在偏远地区或小众产品领域。此外，数据库的开放性与隐私保护之间的平衡也是一个重要问题，如何在公开数据的同时保护消费者隐私与品牌权益，需要制定严格的数据使用规范与法律框架。

常用场景

经典使用场景

Open Food Facts数据库广泛应用于食品科学、营养学及公共卫生领域，研究人员通过该数据集分析食品成分、营养标签及过敏原信息，以评估食品的健康影响。该数据集的多语言特性使其在全球范围内具有广泛的应用价值，特别是在跨国食品比较研究中。

实际应用

在实际应用中，Open Food Facts数据库被用于开发食品推荐系统、营养分析工具及过敏原检测应用。消费者可以通过这些工具快速获取食品的详细信息，做出更健康的饮食选择。此外，该数据集还被用于食品供应链管理，帮助企业优化产品配方及标签设计。

衍生相关工作

基于Open Food Facts数据库，衍生出多项经典研究工作，如食品成分的机器学习分类模型、营养标签的自动生成系统及跨国食品标准的比较研究。这些工作不仅推动了食品科学领域的技术进步，也为全球食品安全与健康政策的制定提供了数据支持。