SURE (Multimodal Recommendation Dialog with SUbjective PREference)

SURE数据集是由北京邮电大学创建的一个大规模多模态对话数据集，包含12,180个购物对话，旨在研究基于用户主观偏好的商品推荐。数据集通过两个阶段的构建过程，确保了对话质量和语言多样性。SURE数据集详细标注了用户的主观偏好和推荐行为，提供了丰富的资源用于评估主观偏好理解和对话策略。该数据集主要用于构建能够理解用户主观偏好并提供有效推荐的对话代理，解决在实际购物对话中用户偏好表达多样性的挑战。

The SURE dataset is a large-scale multimodal dialogue dataset created by Beijing University of Posts and Telecommunications, which contains 12,180 shopping dialogues and is aimed at investigating product recommendation based on users' subjective preferences. It is constructed through a two-stage workflow to ensure dialogue quality and linguistic diversity. The SURE dataset is meticulously annotated with users' subjective preferences and recommendation behaviors, serving as a rich resource for evaluating subjective preference understanding and dialogue strategies. This dataset is primarily utilized to develop dialogue agents that can comprehend users' subjective preferences and provide effective recommendations, tackling the challenge of diverse expression of user preferences in real-world shopping conversations.

搜集汇总

数据集介绍

构建方式

在构建SURE数据集时，研究团队采用了两阶段协作流程，以模拟真实购物场景中用户主观偏好的多样性表达。首先，通过精心设计的销售员与顾客模拟器进行自对弈，生成符合逻辑的对话流程，确保对话结构的合理性。随后，利用众包平台对对话流程进行人工改写，将标准化的分类概念转化为丰富多样的主观偏好表达，从而提升语言的自然性与多样性。整个构建过程结合了场景背景标注与销售专家问卷调研，确保了数据在质量与多样性上的双重保障。

使用方法

SURE数据集支持三项基准任务，以评估多模态推荐代理的能力。主观偏好消歧任务要求代理根据对话历史与场景信息，将用户的主观偏好映射到具体的属性值集合。参考区域理解任务则聚焦于代理对场景中特定区域的定位与物品筛选能力。多模态推荐任务综合评估代理的行为预测、响应生成与目标物品推荐性能。研究团队提供了基于先进多模态模型的基线模型MRA，并公开了数据集划分（训练、开发、测试集），以促进未来模型的公平比较与性能提升。

背景与挑战

背景概述

随着人工智能对话系统向多模态交互场景的深入拓展，购物推荐领域亟需能够理解用户主观偏好并基于复杂视觉环境进行精准推荐的对话数据集。SURE（Multimodal Recommendation Dialog with SUbjective PREference）数据集由北京邮电大学与独立研究者团队于2023年共同构建，旨在填补现有多模态任务对话数据在真实购物场景中用户主观偏好表达与推荐行为多样性方面的空白。该数据集包含1.2万条基于复杂店铺场景的购物对话，通过两阶段人工标注流程确保质量与语言多样性，并引入销售专家设计的偏好分类体系与推荐行为标注。SURE的核心研究问题聚焦于如何让对话智能体理解并消歧用户主观偏好，进而通过多模态上下文实现高效商品推荐，为多模态推荐对话系统的研究与评估提供了重要基准。

当前挑战

SURE数据集所针对的多模态推荐对话领域面临两大核心挑战：其一，在领域问题层面，传统多模态对话数据通常假设用户使用明确指代表达，而真实场景中用户常通过主观认知描述需求，例如“让人感觉安静的颜色”，这要求模型具备将模糊主观偏好映射到标准化商品属性的能力，并处理偏好与属性值之间的多对多映射关系。其二，在构建过程中，团队需克服标注一致性与多样性的平衡难题，包括通过专家调研定义跨属性的主观偏好分类体系，以及采用人机协作流程确保对话流逻辑合理性与语言自然度。此外，数据还需整合复杂场景的空间关系与商品元数据，以支持基于视觉上下文的推荐策略建模。

常用场景

经典使用场景

在智能购物助手与多模态对话系统的研究中，SURE数据集为探索基于主观偏好的商品推荐提供了经典场景。该数据集模拟了真实商店环境中顾客与销售人员的交互过程，顾客通过如“适合年轻女士的服装”或“让人感到平静的颜色”等主观表达描述需求，销售人员则需结合视觉场景与对话历史，采用询问偏好、排除选项、提示建议等多种策略逐步澄清意图并推荐商品。这一场景深刻反映了现实购物对话中主观认知与标准化商品属性之间的映射挑战，为构建能够理解模糊用户意图并做出精准推荐的多模态对话系统奠定了数据基础。

解决学术问题

SURE数据集主要解决了多模态任务导向对话中主观偏好理解与推荐策略建模两大核心学术问题。传统数据集多关注明确的指代表达，而SURE首次系统性地引入了主观偏好这一常见但未被充分研究的语言现象，要求模型将模糊的用户描述映射到标准化的商品属性类别与具体值。这推动了对话系统在视觉感知、语言概念化与属性分类等多维度理解能力的发展。同时，数据集标注的八种销售行为及其组合策略，为研究如何通过多轮交互动态优化推荐路径提供了实证基础，弥补了现有工作在推荐行为多样性与策略合理性方面的不足。

实际应用

SURE数据集的实际应用价值主要体现在智能导购、虚拟试衣间及沉浸式电商客服等场景。基于该数据集训练的对话代理能够接入在线零售平台的商品库与场景图像，为顾客提供近似真人销售的个性化导购服务。例如，在服装或家具领域的电商应用中，系统可通过分析用户上传的环境图片或平台虚拟场景，结合对话中提取的主观偏好，进行实时的商品筛选与推荐。这不仅提升了购物体验的交互性与个性化程度，也为降低人工客服成本、实现24小时在线的智能销售服务提供了技术可行性。

数据集最近研究

最新研究方向

在智能对话系统领域，SURE数据集的推出标志着多模态推荐对话研究迈入新阶段。该数据集聚焦于用户主观偏好的多样化表达与推荐行为的真实模拟，为构建贴近现实购物场景的对话代理提供了关键资源。当前前沿研究主要围绕主观偏好消歧、区域指代理解及多模态推荐三大任务展开，旨在解决传统数据集难以捕捉的模糊性用户表达问题。相关热点事件包括基于SURE的基准模型MRA的提出及其在多项任务中的性能评估，揭示了现有模型在理解主观语义与视觉上下文协同方面的局限。这一进展不仅推动了多模态对话系统向更自然、人性化的交互方向发展，也为跨模态表示学习、对话策略优化等领域提供了新的实验平台与理论挑战。

相关研究论文

• Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark

  北京邮电大学 · 2023年