LooGLE 长上下文理解能力基准数据集

该数据集是北京通用人工智能研究院（简称通研院）联合北京大学人工智能研究院团队提出了一个用于测试和评估大语言模型 (LLMs) 长上下文理解能力的基准数据集——LooGLE 。

The LooGLE benchmark dataset was jointly proposed by the team of Beijing Institute for General Artificial Intelligence (referred to as "Tongyan Yuan" for short) and the Institute of Artificial Intelligence at Peking University, for testing and evaluating the long-context understanding capabilities of large language models (LLMs).

搜集汇总

背景与挑战

背景概述

LooGLE是一个由北京通用人工智能研究院与北京大学联合开发的基准数据集，专门用于评估大语言模型的长上下文理解能力。该数据集通过超长文本和新文档设计，解决了现有数据集的不足，测试显示商业和开源模型在复杂任务中的表现均不理想。它为改进长文本语言模型提供了新的评估工具和方向。