Play the Future (PTF) game dataset

Play the Future (PTF) game dataset是一个用于研究人类锚定偏差的数据集，由Taha Yasseri设计。该数据集包含62个样本，涵盖了日常生活中的多个领域，如经济、社会、体育和娱乐等。每个样本包含一个问题和三个提示信息，用于评估不同类型的锚定情况对大语言模型（LLMs）预测的影响。数据集的创建旨在通过模拟日常生活中的决策场景，研究LLMs在面对初始信息时的锚定效应，并探索有效的缓解策略。该数据集主要应用于人工智能领域的决策支持系统，旨在解决大语言模型在决策过程中可能出现的锚定偏差问题。The Play the Future (PTF) game dataset is a research dataset dedicated to studying human anchoring bias, developed by Taha Yasseri. It comprises 62 samples spanning multiple daily life domains, including economy, society, sports, entertainment and other related fields. Each sample includes a question and three prompt messages, designed to evaluate the influence of different anchoring scenarios on the predictive outputs of Large Language Models (LLMs). The dataset was created to examine the anchoring effect exhibited by LLMs when exposed to initial information, as well as to explore effective mitigation strategies by simulating real-world decision-making scenarios. This dataset is primarily utilized in decision support systems within the field of artificial intelligence, with the objective of resolving the anchoring bias issue that may emerge during the decision-making processes of LLMs.

搜集汇总

数据集介绍

构建方式

该数据集通过从'Play the Future'（PTF）游戏的社区中收集数据构建，旨在系统评估大语言模型（LLMs）的锚定效应。数据集包含62个样本，涵盖经济、社会、体育、娱乐等多个领域的日常事件。每个样本包含一个问题Q，要求数值回答，并附带三个提示信息H1、H2和H3。H1通常提供有用的参考信息，而H2和H3则是可能引发模型偏见的锚定提示。数据集设计了三种不同类型的锚定提示：事实锚定、专家意见锚定和无关锚定，以评估不同情境下模型的偏见行为。

特点

该数据集的显著特点在于其多样性和代表性，涵盖了多个领域的日常事件，确保了数据集的广泛适用性。每个样本不仅包含问题和参考提示，还设计了两种可能引发偏见的锚定提示，使得研究者能够系统地评估模型对不同类型提示的敏感性。此外，数据集还包含8个样本，其H1提示与问题无关，用于测试模型在缺乏相关信息时的鲁棒性。

使用方法

该数据集可用于评估大语言模型在不同锚定提示下的表现，研究者可以通过控制实验和处理实验来比较模型在不同提示条件下的输出。具体而言，研究者可以设计三种实验：控制实验（仅显示H1）、处理实验A（显示H1和H2）和处理实验B（显示H1和H3），以系统地分析锚定提示对模型输出的影响。此外，数据集还可用于测试和开发缓解锚定偏见的策略，如链式思维、忽略锚定提示等。

背景与挑战

背景概述

Play the Future (PTF) game dataset 是由 Jiaxu Lou 等研究人员在2024年创建的，旨在研究大型语言模型（LLMs）中的锚定偏差（anchoring bias）。该数据集源自一个名为‘Play the Future’的游戏社区，用户在该社区中对各种经济、社会、体育和娱乐事件的结果进行数字预测。通过使用该数据集，研究人员系统地评估了LLMs在面对不同类型的锚定提示时的表现，并探索了多种缓解策略的有效性。该研究的核心问题是如何识别和减轻LLMs在决策任务中的锚定偏差，这对于确保LLMs在实际应用中的公平性和可靠性具有重要意义。

当前挑战

PTF数据集的构建和研究面临多个挑战。首先，锚定偏差是人类认知中的一种常见偏差，LLMs在处理类似任务时也表现出类似的偏差行为，这使得识别和量化这种偏差成为一项复杂的任务。其次，数据集的构建需要从多个角度收集提示信息，以确保能够全面评估LLMs对不同类型锚定提示的敏感性。此外，尽管研究人员尝试了多种缓解策略，如链式思维（Chain-of-Thought）、原则思维（Thoughts of Principles）、忽略锚定提示（Ignoring Anchor Hints）和反思（Reflection），但这些策略在减轻锚定偏差方面的效果有限，表明需要更深入的研究来开发更有效的偏差缓解技术。

常用场景

经典使用场景

Play the Future (PTF) game dataset 主要用于研究大型语言模型（LLMs）中的锚定偏差（anchoring bias）。该数据集通过设计包含不同类型锚定提示的问题，评估LLMs在面对初始信息时的判断偏差。经典使用场景包括通过改变提示中的锚定值，观察LLMs的回答是否受到这些锚定值的影响，从而量化锚定偏差在不同领域（如经济、社会、体育、娱乐等）中的表现。

解决学术问题

该数据集解决了在LLMs中识别和量化锚定偏差这一重要的学术问题。锚定偏差是一种认知偏差，即初始信息对后续判断产生过度影响。通过该数据集，研究者能够系统性地评估LLMs在不同锚定提示下的表现，并探索有效的缓解策略。这不仅有助于理解LLMs在决策任务中的局限性，还为开发更公平、更可靠的AI系统提供了理论基础。

衍生相关工作

基于PTF数据集的研究，衍生出了多项相关工作，特别是在LLMs的认知偏差识别与缓解领域。例如，研究者们进一步探索了其他认知偏差（如确认偏差、框架效应等）在LLMs中的表现，并提出了多种缓解策略，如链式思维（Chain-of-Thought）、反思（Reflection）等。这些工作不仅扩展了对LLMs偏差的理解，还为未来开发更鲁棒的AI系统提供了技术支持。