AitW

该数据集名为AITW，是一个大型的用户界面控制基准数据集，包含了自然语言指令、屏幕截图以及动作。它旨在评估用户界面中的任务自动化能力。该数据集覆盖了包括应用操作、网页搜索和网上购物在内的多种多步骤任务，涵盖了超过350个应用和网站，并为不同类型的任务提供了子集。其规模达到了71.5万个场景，涵盖了3万个独特的指令，任务重点在于用户界面控制和任务自动化。

搜集汇总

背景与挑战

背景概述

AITW是一个大型用户界面控制基准数据集，用于评估任务自动化能力，包含自然语言指令、屏幕截图和动作。它覆盖多步骤任务（如应用操作、网页搜索、网上购物），涉及超过350个应用和网站，规模达71.5万个场景和3万个独特指令，专注于UI控制和自动化任务。