Consumer Products Dataset (v1.0)

我们向Google AI Mode和ChatGPT提出了相同的132个产品问题，每个问题各问了3次。结果令我们惊讶。快速统计：792个AI响应，覆盖2个模型和3次运行；3,806个产品推荐被提取和结构化；132个查询变体来自33个核心产品搜索；完整的来源引用被保留。

We presented the same 132 product questions to Google AI Mode and ChatGPT, each question being asked three times. The results were astonishing. A rapid statistics reveals 792 AI responses, covering two models and three runs; 3,806 product recommendations were extracted and structured; 132 query variants originated from 33 core product searches, with complete source citations retained.

原始信息汇总

AI Product Bench 数据集概述

📌 数据集基本信息

• 名称: AI Product Bench - Consumer Products Dataset (v1.0)
• 许可证: MIT
• 数据量:
  • 792 条 AI 响应（涵盖 2 个模型，每个模型 3 次运行）
  • 3,806 条结构化产品推荐
  • 132 个查询变体（来自 33 个核心产品搜索）
• 数据来源: Google AI Mode 和 ChatGPT 对相同产品问题的响应
• 维护者: Amplifying

📂 数据集结构

├── experiments/ │ └── consumer-products/ │ ├── data/ │ │ ├── analysis/ │ │ │ └── analysis.json # 一致性分析结果 │ │ ├── products/ │ │ │ └── products.jsonl # 2,074 条提取的产品数据 │ │ ├── queries/ │ │ │ └── queries.jsonl # 33 组查询，132 个变体 │ │ └── responses/ │ │ ├── chatgpt/ # 396 条 ChatGPT 响应 │ │ └── google_ai_mode/ # 396 条 Google AI 响应 │ └── tools/ │ └─index.html # 交互式可视化工具

🔍 关键发现

• 一致性分析:
  • ChatGPT 和 Google AI Mode 的同意率为 47.3%
  • ChatGPT 的输出漂移取决于是否使用搜索检索
  • 业务关系影响 ChatGPT 的引用来源

🛠 工具与使用

• 交互式仪表盘: 可视化分析结果（analysis.json）
• 适用场景:
  • 研究 AI 行为和一致性模式
  • 商业智能（跟踪产品在 AI 中的可见性）
  • 模型可靠性基准测试
  • 构建长期监控工具

📈 未来计划

• 新增 B2B 软件推荐数据集
• 国际化产品查询
• 历史快照数据

📚 引用格式

bibtex @dataset{amplifying2025aiproductbench, title={AI Product Bench: Consumer Products Dataset v1.0}, author={Amplifying}, year={2025}, url={https://github.com/amplifying-ai/ai-product-bench} }

📬 联系方式

• 数据集问题: 提交 GitHub issue
• 研究合作: [e-mail]
• 分析报告: https://amplifying.ai/blog/ai-product-recommendations

搜集汇总

数据集介绍

构建方式

在人工智能推荐系统日益影响消费决策的背景下，Consumer Products Dataset (v1.0)通过严谨的实验设计构建而成。研究团队向Google AI Mode和ChatGPT两个主流模型重复提交132种商品咨询问题各3次，累计获取792组响应数据。通过结构化提取技术，将3,806条商品推荐信息与33类核心搜索对应的132种查询变体进行关联，完整保留了原始数据来源和实验过程。数据集采用分层存储架构，原始响应、分析结果和查询集合分别以JSONL和JSON格式归档，确保数据的可追溯性和可扩展性。

使用方法

研究者可通过克隆GitHub仓库获取完整数据集，利用内置的交互式仪表板工具进行可视化探索。数据集支持多种分析路径：既可对比不同AI模型的响应一致性，也能追踪特定商品在推荐系统中的可见度变化。对于商业应用场景，企业可基于products.jsonl文件建立产品推荐监测系统。学术研究者则可通过analysis.json中的标注数据，深入探究推荐偏差形成机制。数据集采用模块化存储设计，允许用户灵活调用响应数据、查询集合或分析结果进行针对性研究。

背景与挑战

背景概述

Consumer Products Dataset (v1.0)由Amplifying团队于2025年发布，旨在追踪人工智能系统如何推荐产品。该数据集通过系统性地收集和分析Google AI Mode与ChatGPT对132个产品问题的响应，揭示了AI推荐行为的一致性与模式。数据集包含792次AI响应、3806个产品推荐以及132个查询变体，为研究AI推荐系统的行为提供了宝贵资源。该数据集的发布不仅填补了AI推荐系统透明度研究的空白，还为消费者、企业和研究人员提供了深入理解AI推荐机制的基础。

当前挑战

该数据集面临的挑战主要集中在两个方面：领域问题的挑战与构建过程的挑战。在领域问题方面，数据集揭示了AI推荐系统的一致性问题，例如ChatGPT与Google AI Mode的推荐一致性仅为47.3%，且推荐结果受检索机制和商业关系的影响显著。在构建过程中，挑战包括如何设计具有代表性的查询集合、如何处理不同AI模型的响应差异，以及如何确保数据的可重复性和可扩展性。此外，随着AI技术的快速发展，如何保持数据集的时效性和覆盖范围也是未来需要解决的关键问题。

常用场景

经典使用场景

在人工智能推荐系统的研究中，Consumer Products Dataset (v1.0) 提供了丰富的实验数据，用于分析不同AI模型在商品推荐中的一致性和差异性。研究者可以通过该数据集深入探讨ChatGPT和Google AI Mode在132种商品问题上的推荐表现，从而揭示模型的行为模式及其潜在偏差。

解决学术问题

该数据集为解决AI推荐系统的可靠性和一致性提供了重要支持。通过分析792次AI响应和3806条商品推荐数据，研究者能够量化不同模型之间的推荐差异，并探讨商业关系对推荐结果的影响。这些发现不仅有助于优化推荐算法，还为AI行为研究提供了实证基础。

实际应用

在实际应用中，该数据集为企业和开发者提供了优化商品推荐系统的工具。通过追踪AI模型的推荐模式，企业可以更好地理解其产品在AI推荐中的可见性，从而调整营销策略。同时，开发者可以利用这些数据构建监控工具，实时跟踪推荐结果的变化。

数据集最近研究

最新研究方向

随着人工智能推荐系统在商业领域的广泛应用，Consumer Products Dataset (v1.0) 为研究AI产品推荐的一致性和模式提供了重要数据支持。该数据集的最新研究方向聚焦于AI模型在商品推荐中的行为差异和一致性分析，特别是ChatGPT和Google AI Mode在相同查询条件下的推荐结果对比。研究发现，两种模型的推荐一致性仅为47.3%，且ChatGPT的输出漂移受搜索检索功能影响显著。这一发现不仅揭示了AI推荐系统的不稳定性，也为商业智能优化和消费者决策提供了科学依据。数据集的结构化设计和可视化工具进一步推动了AI行为研究的可重复性和透明度，为未来拓展多语言、多模型比较研究奠定了基础。