CRSArena-Dial
收藏资源简介：
CRSArena-Dial 是由斯塔万格大学和拉德堡德大学联合创建的对话推荐系统（CRS）数据集，包含474个真实用户与CRS之间的对话及其对应的反馈。数据集通过CRS Arena平台在开放和封闭的众包环境中收集，涵盖了多种CRS系统，旨在评估CRS的交互性和用户满意度。数据集的创建过程包括用户与CRS的多次交互，并记录了用户的满意度反馈。该数据集主要应用于对话推荐系统的评估和研究，旨在解决现有CRS评估方法中忽视交互性和用户真实反馈的问题。
CRSArena-Dial is a conversational recommendation system (CRS) dataset jointly developed by the University of Stavanger and Radboud University. It includes 474 real conversations between users and CRS systems, paired with corresponding user feedback. The dataset was collected through the CRS Arena platform across both open and closed crowdsourcing settings, covering diverse CRS systems, with the core goal of evaluating the interactivity and user satisfaction of CRS. The construction process of the dataset involves multiple rounds of interactions between users and CRS systems, and documents users' satisfaction-related feedback. This dataset is primarily utilized for the evaluation and research of conversational recommendation systems, aiming to address the shortcomings of existing CRS evaluation methods that neglect interactivity and real user feedback.
CRSArena-Dial 数据集
CRSArena-Dial 是一个包含用户与对话推荐系统（CRS）之间对话及通过 CRS Arena 收集的反馈的数据集。反馈涉及用户对 CRS 的满意度以及通过并排比较的 CRS 之间的成对比较。数据收集在两种众包设置中进行：开放和封闭。在开放设置中，所有用户都可以访问系统，而在封闭设置中，访问仅限于选定的众包工作者（Prolific）。CRSArena-Dial 是一个用于评估 CRS 和研究用户与 CRS 交互行为的资源。
数据
数据集存储在 data 目录中，包含以下文件：
crs_arena_dial_open.json: 从开放众包设置中收集的对话。crs_arena_dial_closed.json: 从封闭众包设置中收集的对话。votes_open.csv: 从开放众包设置中收集的投票和反馈。votes_closed.csv: 从封闭众包设置中收集的投票和反馈。
数据分析在 DataAnalysis.md 中提供。
对话
CRSArena-Dial 包含 474 个用户与九个对话推荐系统之间的对话。
对话格式
对话以 JSON 格式保存。每个对话表示为一个字典，包含以下键：
conversation ID: 对话的唯一标识符，格式为 {CRS 名称}_{用户 ID}。agent: CRS 信息。user: 用户信息。conversation: 用户与 CRS 之间的交互内容。- 每个交互内容表示为一个字典，包含以下键：
participant: 说话者，即 USER 或 AGENT。utterance: 交互内容的文本。utterance ID: 交互内容的唯一标识符，格式为 {conversation ID}_{交互内容编号}。
- 每个交互内容表示为一个字典，包含以下键：
metadata: 对话的附加信息，包括用户对 CRS 体验的情感（如满意度或挫败感）。
对话示例：
json { "conversation ID": "barcor_redial_03368a16-93bd-4b21-885d-b9a21e3498ba", "agent": { "id": "barcor_redial", "type": "AGENT" }, "user": { "id": "03368a16-93bd-4b21-885d-b9a21e3498ba", "type": "USER" }, "conversation": [ { "participant": "USER", "utterance": "Recommend me r movi in the science fiction genre ", "utterance ID": "barcor_redial-03368a16-93bd-4b21-885d-b9a21e3498ba_0" }, { "participant": "AGENT", "utterance": "Have you seen Blade Runner 2049 (2017)?", "utterance ID": "barcor_redial-03368a16-93bd-4b21-885d-b9a21e3498ba_1" }, ... ], "metadata": { "sentiment": "frustrated" } }
投票和反馈
CRSArena-Dial 包含从 187 次 CRS 成对比较中收集的投票和反馈。数据以 CSV 格式存储，包含以下列：
session_id: 会话标识符（时间戳）。user_id: 用户标识符。crs1: CRS 1 的名称。crs2: CRS 2 的名称。vote: 用户选择的 CRS 名称，或如果用户无法决定则为 "tie"。feedback: 用户提供的可选反馈。
在 tool 目录中提供了一个脚本，用于将投票和反馈信息集成到对话中。使用脚本如下：
sh python tool/merge.py --votes {VOTES_FILE} --dialogue {DIALOGUES_FILE}
该脚本生成一个 JSON 文件，对话条目中包含一个额外的键 vote_result，用于表示在投票文件中对应的投票结果。文件保存在 data/merged 目录中。
- 1CRS Arena: Crowdsourced Benchmarking of Conversational Recommender Systems斯塔万格大学 · 2024年
