zouharvi/trust-intervention

该数据集包含用户与AI系统交互的数据，如下注值、答案正确性等。研究背景涉及人机协作中用户对AI系统的信任演变，特别是在不确定性和AI系统未校准的情况下。研究通过一个赌博游戏来观察用户与AI交互中的信任变化，发现即使少数不准确的预测也会显著损害用户信任，且恢复缓慢。研究还指出不同类型的未校准对用户信任有不同的负面影响。

原始信息汇总

数据集概述

许可证

• Apache 2.0

任务类别

• 表格回归
• 表格分类
• 问答

语言

• 英语

标签

• 用户建模
• 信任

数据规模

• 10K<n<100K

配置

• 配置名称: data
• 数据文件: data.jsonl

摘要

• 在人机协作中，用户根据AI系统的准确性和其决策的呈现方式（如系统信心和输出解释）建立心理模型。
• 现代NLP系统常常未校准，导致自信但错误的预测，从而削弱用户信任。
• 为了建立可信赖的AI，必须理解用户信任的形成方式以及如何在潜在的信任侵蚀事件后恢复信任。
• 通过投注游戏研究用户在与AI互动时对信任侵蚀事件的信任演变。
• 发现即使少数不准确的信心估计的错误实例也能显著损害用户信任和性能，且恢复非常缓慢。
• 这种信任的退化会降低人机协作的成功率，并且不同类型的校准错误（不自信的正确和自信的错误）对用户信任有不同的负面影响。
• 这些发现强调了用户面对的AI应用中校准的重要性，并揭示了帮助用户决定是否信任系统的方面。