PROCLORE

PROCLORE数据集由清华大学深圳国际研究生院和阿里巴巴集团联合创建，专注于电子商务场景下的产品搜索澄清任务。该数据集包含2000个对话，每个对话涉及特定的产品项目，旨在通过模拟用户与产品搜索代理的交互，评估和提升产品搜索的准确性和效率。数据集的创建过程结合了产品数据库的结构化和向量化存储，以及动态的产品检索和澄清问题生成策略。PROCLORE数据集主要应用于电子商务领域，旨在通过对话式信息寻求，优化产品搜索体验，解决用户在产品选择上的模糊性和个性化需求问题。

搜集汇总

数据集介绍

构建方式

该数据集通过模拟电子商务场景中的用户与智能产品搜索代理之间的对话构建。用户首先提出模糊的查询，然后代理通过提问澄清性问题来逐步明确用户需求，并提供更精确的产品搜索结果。数据集包含2000个对话实例，每个实例围绕用户感兴趣的特定产品项展开，旨在评估代理在对话过程中的性能。构建过程中使用了大规模语言模型（LLM）驱动的用户模拟器，以自动生成用户响应，从而实现无需人工干预的自动评估。

使用方法

使用PROCLARE数据集时，研究人员可以将其用于评估和训练对话式产品搜索代理。数据集中的对话实例可以用于模拟真实用户与代理之间的交互，从而测试代理的性能和鲁棒性。此外，数据集中的澄清性问题可以用于训练代理如何有效地提问，以更好地理解用户需求。此外，数据集中的产品项可以用于评估代理的检索性能，并帮助研究人员改进代理的搜索算法。

背景与挑战

背景概述

在电子商务场景中，用户往往由于缺乏相关产品知识而难以明确表达其购买需求。为了解决这一问题，清华大学深圳国际研究生院与阿里巴巴达摩院的研究人员合作，于2024年7月提出了ProductAgent，一个能够通过询问澄清问题来实现更准确和个性化产品搜索的对话式信息检索代理。该代理具备产品特征总结、查询生成和产品检索的能力，旨在通过对话逐步明确用户需求，从而提升产品搜索的准确性和效率。为了评估ProductAgent的性能，研究人员提出了PROCLARE基准，该基准利用LLM驱动的用户模拟器自动和定性地对代理进行评估。实验结果表明，随着对话轮次的增加，ProductAgent与用户的互动越来越积极，检索性能也随之提升。

当前挑战

ProductAgent及其相关的PROCLARE基准面临的主要挑战包括：1) 生成非平凡的澄清问题需要大量的产品知识；2) 代理需要准确理解用户意图，以检索最相关的产品并生成动态和有价值的澄清问题；3) 建立定量的自动化评估协议，以促进有效代理的发展。此外，ProductAgent在实现过程中也遇到了一些技术挑战，例如SQL查询生成工具可能产生无效或平凡的SQL查询，以及如何提高澄清问题的多样性等。

常用场景

经典使用场景

在电子商务环境中，用户经常使用模糊的查询开始对话。为了更准确和定制化地搜索产品，需要设计一个能够提出澄清问题的任务导向型代理。PROCLORE数据集正是为了解决这一问题而提出的，它提供了一种基于对话的信息检索代理，能够通过提问澄清问题来逐步明确用户需求，从而提高产品搜索的准确性。

解决学术问题

PROCLORE数据集解决了电子商务产品搜索中的模糊查询问题。在用户难以清晰表达其购买需求的情况下，该数据集通过设计一种能够提出澄清问题的代理，帮助用户逐步明确其需求，从而提高了产品搜索的准确性。此外，该数据集还提出了一个自动评估框架，使得对这种对话式搜索代理的性能评估更加可靠和自动化。

实际应用

PROCLORE数据集的实际应用场景主要在于电子商务产品搜索。在用户难以清晰表达其购买需求的情况下，该数据集提出的对话式搜索代理能够通过提问澄清问题，帮助用户逐步明确其需求，从而提高了产品搜索的准确性。此外，该数据集还可以用于设计更智能的虚拟购物助手，为用户提供更加个性化的购物体验。

数据集最近研究

最新研究方向

在电子商务场景下，用户通常在定位所需产品上花费过多时间，因为他们可能不了解哪些产品方面适合他们的个人使用案例。为了解决这一挑战，本研究提出了产品需求澄清任务，旨在通过在对话中提出澄清问题来识别用户需求。为此，我们提出了ProductAgent，一个具有战略澄清问题生成和动态产品检索能力的对话式信息寻求代理。ProductAgent在对话中与用户积极互动，并随着对话回合的增加而提高检索性能，其中用户需求逐渐变得更加明确和详细。

相关研究论文

• ProductAgent: Benchmarking Conversational Product Search Agent with Asking Clarification Questions

  清华大学深圳国际研究生院，阿里巴巴集团，鹏城实验室 · 2024年