OALL/details_Qwen__Qwen1.5-72B-Chat

该数据集是在模型Qwen/Qwen1.5-72B-Chat的评估运行期间自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。该数据集是在模型Qwen/Qwen1.5-72B-Chat的评估运行期间自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of Qwen/Qwen1.5-72B-Chat

数据集描述

• 该数据集是在评估模型Qwen/Qwen1.5-72B-Chat的过程中自动创建的。
• 数据集由136个配置组成，每个配置对应一个评估任务。
• 数据集的创建基于1次运行，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• “train”分割始终指向最新的结果。
• 额外的“results”配置存储了运行的所有聚合结果。

数据集使用示例

python from datasets import load_dataset data = load_dataset("OALL/details_Qwen__Qwen1.5-72B-Chat", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 最新结果来自2024-05-24T01:30:52.400241的运行，详细结果可在数据集中查看。

搜集汇总

数据集介绍

构建方式

在自然语言处理模型评估领域，对大型语言模型进行系统化、标准化的性能评测是验证其能力的关键环节。该数据集是专为评估Qwen1.5-72B-Chat模型而自动生成的产物，其构建过程依托于一次完整的模型评估运行。数据集内部精心组织为136个独立的配置，每个配置精确对应一个被评估的具体任务。每一次评估运行的结果均以独立分割（split）的形式存储，分割名称采用该次运行的时间戳进行标识，而“train”分割则始终指向最新一次的评估结果，确保了数据访问的时效性与一致性。此外，一个名为“results”的额外配置被用于汇总所有运行的整体聚合结果。

特点

该数据集最显著的特点在于其精细化的任务结构与动态更新的机制。它涵盖了跨越不同领域和难度的136个评估任务，从阿拉伯语文化知识（如Arabic_Architecture、Arabic_History）到专业学科（如college_biology、high_school_physics），乃至情感分析、方言识别等，展现了评估维度的广度与深度。每个任务配置下，评估结果以标准化指标（如acc_norm及其标准误）呈现，为模型性能提供了量化依据。尤为重要的是，通过时间戳分割与“train”分割的动态指向，数据集支持对模型在不同时间点的表现进行追溯与对比，极大便利了模型迭代过程中的性能追踪与分析。

使用方法

使用该数据集进行模型评估结果分析时，研究者可通过HuggingFace的`datasets`库便捷地加载所需数据。具体而言，调用`load_dataset("OALL/details_Qwen__Qwen1.5-72B-Chat", "任务配置名称", split="train")`即可获取指定任务的最新评估详情。例如，加载`lighteval_xstory_cloze_ar_0`任务的配置，即可获得该任务下模型的最新准确率及标准误等核心指标。此外，通过指定不同的时间戳分割，可以回溯历史运行结果，实现模型性能变化的纵向分析。对于需要宏观概览的场景，加载“results”配置则可直接获取所有任务的整体聚合分数，为模型综合能力的评价提供一站式数据支持。

背景与挑战

背景概述

该数据集由Open Arabic LLM Leaderboard（OALL）于2024年创建，旨在系统评估Qwen1.5-72B-Chat这一大规模语言模型在阿拉伯语任务上的表现。核心研究问题聚焦于多语言模型在低资源语言场景下的泛化能力，特别是阿拉伯语及其方言的理解与生成水平。数据集涵盖136个配置，对应136项评估任务，覆盖从文化常识、学科知识到情感分析等多元领域，为阿拉伯语自然语言处理研究提供了标准化评测基准。其影响力体现在为社区提供了可复现的评估框架，推动了多语言模型在阿拉伯语社区的公平比较与改进。

当前挑战

当前面临的核心挑战在于阿拉伯语本身的复杂性，包括方言多样性、形态丰富性以及资源稀缺性。具体而言，1）模型在阿拉伯语方言（如埃及方言、黎凡特方言）上的表现参差不齐，部分方言准确率不足30%，凸显了方言泛化的困难；2）构建过程中需处理大量非均衡数据集，例如某些子任务（如阿拉伯婚礼文化）仅有少量样本，导致评估结果方差较大；3）跨领域知识评测中，模型在阿拉伯历史、宗教法律等专业领域表现欠佳，反映了对文化敏感知识的深度理解不足。此外，评估框架的标准化与结果的可比性仍是持续挑战。

常用场景

经典使用场景

该数据集专为评估大型语言模型在多元任务上的表现而构建，尤其聚焦于阿拉伯语相关场景。其经典使用方式是通过加载预设的136个配置（对应136项评测任务），如故事完形填空、多选问答及方言识别等，对模型进行系统性基准测试。研究人员可调用HuggingFace的`load_dataset`接口，灵活选择特定任务配置及时间戳划分的数据，从而复现或对比模型在特定维度上的能力。这种细粒度的任务拆分与标准化评估流程，使其成为验证Qwen1.5-72B-Chat等模型在阿拉伯语自然语言理解领域泛化性能的黄金标准。

实际应用

在实际产业中，该数据集可支撑阿拉伯语智能系统的质量监控与迭代优化。例如，企业可复用其多选问答配置（如alghafa的评分任务）来检验客服机器人的情感识别准确率，或利用方言识别子集测试语音助手的本地化适应能力。教育科技机构可通过Arabic Exams配置评估AI辅导系统在学科知识上的解答可靠性。此外，新闻聚合平台能借助故事完形填空任务筛选出具备跨文化叙事理解力的模型，从而提升阿拉伯语内容推荐的语境相关性。这种从学术评测到工业部署的无缝衔接，显著降低了阿拉伯语AI产品的落地风险。

衍生相关工作

该数据集衍生了一系列标志性工作，尤其在多语言模型分析与改进领域。研究者基于其细粒度结果，提出针对阿拉伯语形态的词汇增强方法，例如通过对比ACVA子任务中古埃及与伊斯兰文化模块的得分差异，揭示模型在特定文明知识上的偏差。另一经典工作是利用Arabic MMLU的学科级评估，构建了知识蒸馏框架，使轻量级模型在临床医学、法学等专业领域达到接近教师模型的准确率。此外，该数据集还催生了首个阿拉伯语大模型竞技排行榜（Leaderboard），将136项任务得分整合为综合能力指数，成为社区迭代模型架构（如稀疏注意力、分词器优化）的权威参照系。