ChatBench

ChatBench数据集包含两部分数据：一部分来自在Prolific平台上进行的用户研究，另一部分来自自动化AI单独实验。用户研究分为两个阶段，第一阶段用户独立回答问题，第二阶段用户在AI聊天机器人的帮助下回答问题。AI单独实验分为两种类型：仅字母回答和自由文本回答。数据集共有396个问题，来源于五个MMLU数据集，包括小学数学、中学数学、大学数学、概念物理和道德情景。数据集文件结构包括完整研究数据、两次试点数据以及AI单独实验结果，并详细描述了各个文件的内容和字段。

搜集汇总

数据集介绍

构建方式

ChatBench数据集的构建基于用户研究和自动化AI实验的双重设计。用户研究分为两个阶段：第一阶段用户独立回答问题，第二阶段用户借助AI聊天机器人回答问题。AI实验则包括两种模式：仅字母模式和自由文本模式，分别要求模型以单一字母或自由文本形式回答问题。数据集共包含396个问题，源自五个MMLU数据集，并经过MMLU-Redux和人工筛选。

特点

ChatBench数据集的特点在于其多维度的对比分析能力。它不仅提供了用户独立回答、用户与AI协作回答以及AI独立回答的数据，还通过不同条件（如直接使用AI或先独立回答再使用AI）和不同模式（如仅字母或自由文本）的对比，深入探讨了AI与人类协作的效果。数据集还包含了用户的信心水平和回答准确性，为研究人类与AI协作的认知过程提供了丰富的数据支持。

使用方法

ChatBench数据集的使用方法主要围绕其多维度的数据结构和丰富的对比分析展开。用户可以通过`user_answers.csv`文件获取用户独立和用户与AI协作的回答数据，通过`conversations.json`文件查看用户与AI的对话记录，通过`ai_alone_answers.csv`文件获取AI独立回答的结果。数据集还提供了`questions.csv`文件，包含所有问题的详细信息。研究人员可以通过这些文件进行人类与AI协作的认知研究、AI模型性能评估以及不同条件下的回答效果对比分析。

背景与挑战

背景概述

ChatBench数据集由Serina Chang、Ashton Anderson和Jake Hofman于2025年提出，旨在从静态基准测试转向人机交互评估。该数据集基于MMLU（大规模多任务语言理解）基准问题，结合了用户独立回答、用户与AI协作回答以及AI独立回答的实验数据。研究团队通过Prolific平台进行了用户研究，设计了两个阶段的实验：用户独立回答问题阶段和用户与AI协作回答问题阶段。ChatBench的构建不仅扩展了MMLU的应用场景，还为评估AI在复杂任务中的表现提供了新的视角，推动了人机协作研究的发展。

当前挑战

ChatBench数据集在构建过程中面临多重挑战。首先，如何有效设计用户与AI的交互实验，确保数据的可比性和一致性，是一个关键问题。研究团队通过设计不同的实验条件（如“直接使用AI”和“先独立回答再使用AI”）来应对这一挑战。其次，数据过滤和标准化处理也是构建过程中的难点，尤其是在处理用户回答的多样性和AI模型的输出时，如何确保数据的准确性和可靠性。此外，AI独立回答的实验部分需要处理模型输出的无效答案，尤其是在“仅字母”回答模式下，模型可能生成不符合要求的输出，这对数据分析和模型评估提出了更高的要求。

常用场景

经典使用场景

ChatBench数据集在人工智能与人类交互研究领域具有重要应用，尤其在评估AI助手与人类用户协作解答问题的效果方面。通过对比用户独立答题、用户与AI协作答题以及AI独立答题的表现，研究者能够深入分析AI在不同情境下的辅助效果。该数据集广泛应用于教育技术、智能助手开发等领域，帮助研究者优化AI系统的交互设计。

实际应用

在实际应用中，ChatBench数据集为教育技术、智能助手和在线学习平台的开发提供了重要参考。例如，教育机构可以利用该数据集优化AI辅助教学系统，提升学生的学习效果；智能助手开发者可以通过分析用户与AI的交互数据，改进助手的响应策略和用户体验。此外，该数据集还为政策制定者提供了关于AI辅助决策的实证依据，帮助制定更合理的AI应用规范。

衍生相关工作

基于ChatBench数据集，研究者们开展了一系列相关经典工作。例如，有研究利用该数据集分析了不同AI模型（如GPT-4和LLaMA）在协作任务中的表现差异；另有研究探讨了用户信心水平与AI辅助效果之间的关系。这些工作不仅深化了对AI与人类协作机制的理解，还为未来AI系统的优化设计提供了理论支持。此外，ChatBench数据集还启发了更多关于动态评估AI性能的研究，推动了AI评估方法的创新。