Agent-Eval-Refine/Agent-Trajectories

`trajectories.zip`包含了论文中评估的所有轨迹数据，包括WebArena、Android和iOS平台上的不同基线模型和人类演示的轨迹。`ios-offline-trajectories.zip`包含了CogAgent在iOS模拟器上的轨迹数据，用于通过Filtered BC优化CogAgent模型。`webarena-reflexion-<evaluator-type>.zip`包含了WebArena上的轨迹数据，用于通过模型评估器优化GPT-4 CoT基线模型。

原始信息汇总

数据集概述

主要数据集文件

1. trajectories.zip

   • WebArena
     • GPT-4 CoT baseline agent
   • Android
     • Auto-UI base/large
     • CogAgent
     • Human demonstrations from Android-in-the-Wild
   • iOS
     • CogAgent baseline
     • CogAgent + Self-training
     • CogAgent + Filtered BC

2. ios-offline-trajectories.zip

   • Contains CogAgents trajectories on iOS emulator, used for refining the CogAgent model through Filtered BC.

3. webarena-reflexion-<evaluator-type>.zip

   • Refines the GPT-4 CoT baseline with various evaluators:
     • GPT-4V
     • Captioner + GPT-4
     • Captioner + Mixtral
     • Oracle Evaluator

数据集用途

• The trajectories are used for evaluating and refining various AI models, particularly focusing on CogAgent and GPT-4 CoT baseline.