THUDM_LongBench

LongBench专注于评估大型语言模型在长文本理解方面的能力，支持中英文双语和多任务处理。它包含六大类共二十一个不同的任务，覆盖了单文档问答、多文档问答、摘要、少样本学习、合成任务和代码补全等关键长文本应用场景。LongBench提供标准化数据格式，方便用户加载和使用，并提供了一套全自动的评估方法，以较低的成本衡量模型理解长文本的能力。同时，LongBench还提供了一个长度分布更均匀的测试集LongBench-E，用于分析模型在不同输入长度下的性能变化。