RECALL-MM
收藏arXiv2025-03-30 更新2025-04-03 收录
下载链接:
https://github.com/dianabolanos/RECALL-MM
下载链接
链接失效反馈官方服务:
资源简介:
RECALL-MM数据集是由加州大学伯克利分校和Autodesk Research共同创建的多模态数据集,包含6874条美国消费品安全委员会(CPSC)的召回记录,时间跨度为2000年至2024年。数据集通过大型语言模型(LLM)对召回描述和产品名称进行了增强,并提供了产品的文本描述、图像以及召回相关的分类信息。该数据集旨在为风险分析提供数据驱动的支持,通过历史信息增强产品安全设计,并可用于预测潜在的产品风险,指导更安全的设计决策。
The RECALL-MM dataset is a multimodal dataset jointly created by the University of California, Berkeley and Autodesk Research. It contains 6,874 recall records from the U.S. Consumer Product Safety Commission (CPSC) spanning the period from 2000 to 2024. The dataset has been enhanced for recall descriptions and product names using Large Language Models (LLMs), and provides textual product descriptions, images, as well as classification information related to product recalls. This dataset aims to provide data-driven support for risk analysis, enhance product safety design through historical information, and can be used to predict potential product risks to guide safer design decisions.
提供机构:
加州大学伯克利分校机械工程系, Autodesk Research
创建时间:
2025-03-30
搜集汇总
数据集介绍

构建方式
RECALL-MM数据集构建基于美国消费品安全委员会(CPSC)的召回数据库,涵盖了2000年至2024年间的6,874条召回记录。通过API筛选确保数据一致性和分析可行性,每条记录包含召回属性如危害分类、产品类别、补救措施等。为弥补原始数据中分类标签的缺失,研究团队采用GPT-4o生成模型对数据进行增强和结构化处理,包括产品描述的精炼、视觉描述的生成以及分类任务的标注。数据清洗过程中,所有记录均被标准化至预定模式,确保属性如产品描述、危害类型等的一致性。
特点
RECALL-MM数据集以其多模态特性著称,结合了文本描述、产品图像及召回信息,覆盖广泛的产品类别。该数据集通过生成模型增强了原始数据,提供了丰富的视觉和文本描述,以及标准化的危害和补救分类。其独特之处在于不仅记录了产品失败的历史数据,还通过计算方法和大型语言模型(LLM)提供了风险预测的能力。数据集中的产品类别和危害类型分布揭示了特定领域的安全隐患,为工程设计和风险评估提供了宝贵的参考。
使用方法
RECALL-MM数据集的使用方法多样,适用于多种风险分析和设计决策场景。研究人员和工程师可以通过嵌入技术将产品描述和名称映射到潜在空间,利用t-SNE等降维技术进行可视化,以探索产品间的相似性和危害模式。此外,数据集支持LLM基于视觉描述进行危害预测,帮助识别潜在风险。案例研究展示了如何将历史召回数据整合到早期设计阶段,通过交互式工具定位新产品概念在历史召回背景中的位置,从而前瞻性地识别和规避设计风险。
背景与挑战
背景概述
RECALL-MM数据集由加州大学伯克利分校的Diana Bolanos与Autodesk研究团队合作开发,于2025年3月正式发布。该多模态数据集整合了美国消费品安全委员会(CPSC)2000-2024年间6,874例产品召回数据,通过大语言模型(LLM)增强生成视觉描述与分类标签,旨在建立数据驱动的工程风险评估范式。作为首个融合历史召回记录、产品图像与生成式文本描述的资源,其通过潜在空间嵌入技术和案例研究,揭示了家电、儿童玩具等领域的火灾、窒息等高频危害模式,为产品安全设计提供了可量化的历史参考框架。
当前挑战
该数据集面临双重挑战:在领域问题层面,需解决非直观危害(如化学中毒)的视觉识别难题,现有LLM预测对此类隐性风险的识别准确率仅32%;在构建过程中,原始CPSC数据存在分类标准缺失与图像质量不均问题,需通过GPT-4o进行描述生成与多专家标注验证(Fleiss's Kappa≥0.71),且跨产品类别的语义差异导致嵌入空间聚类优化困难,如儿童玩具类召回描述的凸包面积达11.848,显著高于电气类6.688。
常用场景
经典使用场景
RECALL-MM数据集作为多模态消费者产品召回数据库,其经典应用场景聚焦于工程设计与产品安全领域。通过整合美国消费品安全委员会(CPSC)的历史召回数据,该数据集为研究人员提供了丰富的多维度信息,包括产品描述、图像、危害分类及补救措施等。在工程风险分析中,研究人员常利用其文本描述与视觉数据的多模态特性,构建语义嵌入空间以识别潜在的产品风险模式。例如,通过Sentence-BERT模型将召回描述嵌入向量空间,结合t-SNE降维可视化,可揭示不同产品类别间的危害聚类特征,为跨领域安全设计提供数据支持。
解决学术问题
该数据集有效解决了工程设计中风险预测的若干关键学术问题。其一,弥补了传统失效模式与影响分析(FMEA)依赖主观经验的局限,通过6,874条召回记录提供实证基础;其二,突破单一模态分析的瓶颈,利用LLM生成的视觉描述与文本分类,实现了非结构化召回数据的标准化处理;其三,针对危害识别中的语义鸿沟问题,其多模态嵌入方法验证了产品外观特征与历史危害间的关联性。尤其通过案例研究证明,视觉语言模型对坠落、火灾等显性危害预测准确率达85%以上,为数据驱动的风险量化研究开辟了新范式。
衍生相关工作
该数据集已催生多项创新研究:在方法论层面,Yorulmus等人受其启发开发了汽车制动缺陷的迁移学习预测模型;Ataei团队基于召回语义构建的Elicitron框架,实现了LLM驱动的设计需求生成。在跨领域应用中,Anwar利用类似数据架构分析了全球玩具召回链中的设计责任归属问题。近期,Bian等人提出的HG-CAD材料推荐系统,亦借鉴了其多模态嵌入技术。值得注意的是,OECD全球召回门户的协同分析验证了该数据集的泛化能力,推动形成了跨国产品安全研究网络。
以上内容由遇见数据集搜集并总结生成



