LMAct Benchmark

该数据集是一个旨在评估大型基础模型在多种交互式决策任务中的多模态决策能力的基准测试。该基准测试涵盖了零样本、少样本和多样本情境，以评估模型在上下文学习环境中的表现。其规模可达到上百万个标记和最多512个完整演示集。任务包括玩井字游戏、国际象棋、Atari游戏、网格世界导航、解纵横字谜以及控制模拟猎豹等交互式决策任务。This dataset is a benchmark developed to evaluate the multimodal decision-making abilities of large foundation models across various interactive decision-making tasks. This benchmark incorporates zero-shot, few-shot, and many-shot scenarios to assess model performance within in-context learning settings. It encompasses up to millions of tokens and a maximum of 512 complete demonstration sets. The covered tasks include interactive decision-making scenarios such as Tic-Tac-Toe, Chess, Atari games, grid world navigation, crossword puzzle solving, and controlling simulated cheetahs.

搜集汇总

背景与挑战

背景概述

LMAct Benchmark是一个用于评估前沿大模型在多模态长上下文（可达100万tokens）中模仿学习能力的基准数据集。它包含井字棋、国际象棋、Atari游戏等多种交互式决策任务，通过从零到512个专家演示样本的测试，分析模型在零样本、少样本和多样本场景下的性能。研究发现模型通常难以达到专家水平，且增加演示样本效果有限，但部分任务上模型表现会随演示增加而提升，该数据集已开源以支持未来研究。