REASONER

REASONER数据集由北京大数据管理和分析方法重点实验室创建，旨在通过多方面的真实用户标注来评估推荐系统的解释性。数据集包含约3000名用户的反馈，这些用户在视频推荐平台上回答了一系列关于推荐解释性的问题。数据集不仅涵盖了文本解释，还包括视觉解释，适用于多种推荐解释任务。创建过程中，通过精心设计的问题和规则来确保数据质量，旨在解决推荐系统解释性的量化评估问题，为推荐系统领域提供新的研究机会。The REASONER dataset was developed by the Beijing Key Laboratory of Big Data Management and Analysis Methods, aiming to evaluate the explainability of recommendation systems via multi-faceted real user annotations. The dataset contains feedback from approximately 3,000 users who answered a series of questions regarding recommendation explainability on a video recommendation platform. It covers not only textual explanations but also visual explanations, making it applicable to various recommendation explanation tasks. During its creation, carefully designed questions and rules were adopted to ensure data quality, addressing the challenge of quantitative evaluation for recommendation system explainability and providing new research opportunities for the field of recommendation systems.

搜集汇总

数据集介绍

构建方式

在可解释推荐系统研究领域，构建高质量的数据集面临诸多挑战。REASONER数据集采用了一种创新的两阶段构建方法：首先，研究团队开发了一个专门的视频推荐平台，并精心设计了一系列围绕推荐可解释性的问题，例如询问用户选择观看视频的原因特征。随后，招募了约3000名背景各异的真实用户使用该平台，收集他们的交互行为以及对预设问题的反馈。为确保数据质量，研究团队制定了严格的规则对标注结果进行清洗，例如检查标注时间是否过短、同一用户的答案是否存在矛盾等，从而确保了标注结果的合理性与可靠性。

特点

REASONER数据集的核心特点在于其真实性与多维度性。该数据集的所有解释性标注均由产生实际用户-物品交互行为的真实用户完成，这从根本上解决了以往数据集中标注者与真实用户脱节的问题。数据集提供了从说服力、信息量和用户满意度三个不同维度标注的解释性真实标签，为全面评估推荐解释的效用提供了可能。此外，数据集涵盖了丰富的用户人口统计信息与人格特质数据，并同时包含文本标签和视觉预览图两种模态的解释候选特征，支持对多模态解释推荐的研究。

使用方法

该数据集为可解释推荐研究提供了标准化的评估基准。研究者可利用数据集进行多种任务，例如预测用户针对不同解释目的（如说服力或信息量）所选择的特征标签，或进行评分预测。数据集附带了一个开源工具库，其中统一实现了十种经典的可解释推荐模型，为模型比较与复现提供了便利。具体使用时，研究者可通过指定模型、数据集和配置文件参数，快速执行特征预测或评论生成等任务，工具库的模块化设计也便于扩展新的模型。数据集的分割遵循标准的训练、验证和测试比例，确保了实验的可比性。

背景与挑战

背景概述

可解释推荐系统作为人工智能领域的重要分支，旨在提升推荐结果的透明度与用户信任度。REASONER数据集由中国人民大学高瓴人工智能学院与华为诺亚方舟实验室等机构于2023年联合构建，其核心研究聚焦于解决可解释推荐领域长期存在的评估标准缺失问题。该数据集通过精心设计的视频推荐平台，招募约3000名真实用户标注多维度解释性标签，涵盖了说服力、信息量和用户满意度三个关键方面。这一创新性工作不仅为可解释推荐模型提供了统一且可靠的评估基准，还推动了该领域从定性分析向定量测量的范式转变，对促进推荐系统的可解释性与实用性融合具有深远影响。

当前挑战

REASONER数据集致力于应对可解释推荐领域的两大核心挑战：其一，传统可解释推荐模型常依赖非真实用户标注或单一维度评估，导致解释效果难以客观衡量；其二，数据构建过程中面临真实用户对齐、主观偏好收集与质量控制等难题。具体而言，在构建阶段，研究团队需克服真实用户行为数据获取的困难，并通过精心设计问卷流程以准确捕捉用户对视频特征的多方面感知。此外，由于标注内容涉及高度主观的用户偏好，传统基于客观标准的质控方法失效，需开发基于时间一致性、答案冲突检测与人工核查的混合质控策略，确保数据集的可靠性与泛化能力。

常用场景

经典使用场景

在可解释推荐系统领域，REASONER数据集为研究者提供了评估模型解释能力的标准化基准。该数据集通过精心设计的视频推荐平台，收集了真实用户在观看前后对推荐理由、信息丰富度和满意度等多维度反馈，从而构建了包含文本标签与视觉预览的多模态解释标注。其经典应用场景在于为各类可解释推荐模型，如基于特征的EFM、TriRank或基于自然语言的NRT、PETER等，提供统一且可靠的性能评测框架，支持模型在说服力、信息性和用户满意度等多重解释目标上的量化比较与优化。

衍生相关工作

REASONER数据集的发布催生了一系列围绕多角度可解释推荐的衍生研究。基于其提供的多维度标注，学者们探索了如何设计统一模型以同时优化说服力、信息性等多重解释目标，并研究不同解释角度间可能存在的权衡关系。该数据集也促进了多模态解释生成方法的发展，例如融合文本标签与视觉特征的混合解释模型。此外，其包含的丰富用户画像数据激发了关于解释公平性、人格感知与解释偏好关联性等方面的跨学科研究，为可解释推荐与心理学、社会计算等领域的交叉创新提供了新的实验平台。

数据集最近研究

最新研究方向

在可解释推荐系统领域，REASONER数据集的推出标志着研究重心正从单一解释维度转向多维度、多模态的综合性评估框架。该数据集通过真实用户标注的多方面解释基准，为研究社区提供了前所未有的评估资源，推动了可解释推荐模型从仅关注说服力向兼顾信息性、用户满意度等多重目标的演进。前沿研究聚焦于开发能够同时优化多个解释维度的统一模型，探索文本与视觉特征在多模态解释中的协同机制，并利用数据集中丰富的用户画像信息研究个性化解释生成与公平性议题。这一数据集不仅为模型性能提供了更可靠的量化基准，也为理解用户对解释的感知差异开辟了新的实证研究路径。

相关研究论文

• REASONER: An Explainable Recommendation Dataset with Multi-aspect Real User Labeled Ground Truths Towards more Measurable Explainable Recommendation

  北京大数据管理和分析方法重点实验室 · 2023年