CRSArena-Dial
收藏CRSArena-Dial 数据集
CRSArena-Dial 是一个包含用户与对话推荐系统（CRS）之间对话及通过 CRS Arena 收集的反馈的数据集。反馈涉及用户对 CRS 的满意度以及通过并排比较的 CRS 之间的成对比较。数据收集在两种众包设置中进行：开放和封闭。在开放设置中，所有用户都可以访问系统，而在封闭设置中，访问仅限于选定的众包工作者（Prolific）。CRSArena-Dial 是一个用于评估 CRS 和研究用户与 CRS 交互行为的资源。
数据
数据集存储在 data 目录中，包含以下文件：
crs_arena_dial_open.json: 从开放众包设置中收集的对话。crs_arena_dial_closed.json: 从封闭众包设置中收集的对话。votes_open.csv: 从开放众包设置中收集的投票和反馈。votes_closed.csv: 从封闭众包设置中收集的投票和反馈。
数据分析在 DataAnalysis.md 中提供。
对话
CRSArena-Dial 包含 474 个用户与九个对话推荐系统之间的对话。
对话格式
对话以 JSON 格式保存。每个对话表示为一个字典，包含以下键：
conversation ID: 对话的唯一标识符，格式为 {CRS 名称}_{用户 ID}。agent: CRS 信息。user: 用户信息。conversation: 用户与 CRS 之间的交互内容。- 每个交互内容表示为一个字典，包含以下键：
participant: 说话者，即 USER 或 AGENT。utterance: 交互内容的文本。utterance ID: 交互内容的唯一标识符，格式为 {conversation ID}_{交互内容编号}。
- 每个交互内容表示为一个字典，包含以下键：
metadata: 对话的附加信息，包括用户对 CRS 体验的情感（如满意度或挫败感）。
对话示例：
json { "conversation ID": "barcor_redial_03368a16-93bd-4b21-885d-b9a21e3498ba", "agent": { "id": "barcor_redial", "type": "AGENT" }, "user": { "id": "03368a16-93bd-4b21-885d-b9a21e3498ba", "type": "USER" }, "conversation": [ { "participant": "USER", "utterance": "Recommend me r movi in the science fiction genre ", "utterance ID": "barcor_redial-03368a16-93bd-4b21-885d-b9a21e3498ba_0" }, { "participant": "AGENT", "utterance": "Have you seen Blade Runner 2049 (2017)?", "utterance ID": "barcor_redial-03368a16-93bd-4b21-885d-b9a21e3498ba_1" }, ... ], "metadata": { "sentiment": "frustrated" } }
投票和反馈
CRSArena-Dial 包含从 187 次 CRS 成对比较中收集的投票和反馈。数据以 CSV 格式存储，包含以下列：
session_id: 会话标识符（时间戳）。user_id: 用户标识符。crs1: CRS 1 的名称。crs2: CRS 2 的名称。vote: 用户选择的 CRS 名称，或如果用户无法决定则为 "tie"。feedback: 用户提供的可选反馈。
在 tool 目录中提供了一个脚本，用于将投票和反馈信息集成到对话中。使用脚本如下：
sh python tool/merge.py --votes {VOTES_FILE} --dialogue {DIALOGUES_FILE}
该脚本生成一个 JSON 文件，对话条目中包含一个额外的键 vote_result，用于表示在投票文件中对应的投票结果。文件保存在 data/merged 目录中。
- 1CRS Arena: Crowdsourced Benchmarking of Conversational Recommender Systems斯塔万格大学 · 2024年
