AitW

该数据集名为AITW，是一个大型的用户界面控制基准数据集，包含了自然语言指令、屏幕截图以及动作。它旨在评估用户界面中的任务自动化能力。该数据集覆盖了包括应用操作、网页搜索和网上购物在内的多种多步骤任务，涵盖了超过350个应用和网站，并为不同类型的任务提供了子集。其规模达到了71.5万个场景，涵盖了3万个独特的指令，任务重点在于用户界面控制和任务自动化。

This dataset, named AITW, is a large-scale benchmark dataset for user interface (UI) control, encompassing natural language instructions, screenshots, and executable actions. It is designed to assess task automation capabilities within user interfaces. Covering over 350 applications and websites, the dataset includes diverse multi-step tasks such as app operations, web searches, and online shopping, and offers task-specific subsets. It comprises 715,000 scenarios in total, with 30,000 unique instructions, and its core focus lies in UI control and task automation.

搜集汇总

背景与挑战

背景概述

AITW是一个大型用户界面控制基准数据集，用于评估任务自动化能力，包含自然语言指令、屏幕截图和动作。它覆盖多步骤任务（如应用操作、网页搜索、网上购物），涉及超过350个应用和网站，规模达71.5万个场景和3万个独特指令，专注于UI控制和自动化任务。