LRA (Long-Range Arena)

远程竞技场 (LRA) 是对高效变压器模型的系统评估的努力。该项目旨在建立基准任务/数据集，通过评估它们的泛化能力、计算效率、内存占用等，我们可以系统地评估基于 Transformer 的模型。Long-Range Arena 特别专注于评估模型质量在长情境下。该基准测试是一套任务，由从 1K 到 16K 标记的序列组成，涵盖范围广泛的数据类型和模式，例如文本、自然、合成图像以及需要相似性、结构和视觉空间推理的数学表达式。描述来自：远程竞技场：高效变形金刚的基准

搜集汇总

背景与挑战

背景概述

LRA (Long-Range Arena) 是一个用于系统评估高效Transformer模型的基准测试，特别关注长序列任务，涵盖文本、图像等多种数据类型，序列长度范围从1K到16K标记。该数据集由Google Research于2021年发布，旨在通过泛化能力和计算效率等指标来评估模型性能。