AssistantBench

该数据集名为AssistantBench，包含214个真实的问题-答案对，这些问题需要通过浏览实际网站和进行多步骤推理才能解答。这些问题耗时较长，且能够自动验证。AssistantBench数据集被分为一个包含33个问题-答案对的开放式验证集，以及一个包含181个问题（答案隐藏）的测试集。该数据集的规模为214个问题-答案对，其任务是涉及实际网站导航的多步骤问题解答。

搜集汇总

背景与挑战

背景概述

AssistantBench是一个包含214个真实问题-答案对的数据集，专注于需要浏览实际网站并进行多步骤推理的复杂问题解答。数据集分为33个问题的开放式验证集和181个问题的测试集，支持自动验证，适用于评估网站导航和多步骤推理能力。