OALL/details_cognitivecomputations__dolphin-2.9.3-llama-3-8b

该数据集是在模型 cognitivecomputations/dolphin-2.9.3-llama-3-8b 的评估运行期间自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train 分割始终指向最新的结果。此外，还有一个 results 配置，存储了所有运行的聚合结果。README 还提供了如何使用 Hugging Face datasets 库加载数据集的示例。

The dataset was automatically created during the evaluation run of the model cognitivecomputations/dolphin-2.9.3-llama-3-8b. The dataset is composed of 136 configurations, each corresponding to one of the evaluated tasks. The dataset has been created from 1 run, with each run represented as a specific split in each configuration, named using the timestamp of the run. The train split always points to the latest results. Additionally, there is a results configuration that stores all the aggregated results of the run. The README also provides an example of how to load the dataset using the Hugging Face datasets library.

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of cognitivecomputations/dolphin-2.9.3-llama-3-8b
• 创建方式: 自动创建，用于评估模型 cognitivecomputations/dolphin-2.9.3-llama-3-8b
• 配置数量: 136 个配置，每个配置对应一个评估任务
• 创建次数: 1 次运行

数据集结构

• 分割方式: 每个运行结果作为一个特定的分割，分割名称使用运行的时间戳
• 训练分割: "train" 分割指向最新的结果
• 结果配置: 额外配置 "results" 存储所有聚合的运行结果

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_cognitivecomputations__dolphin-2.9.3-llama-3-8b", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 最新运行时间: 2024-07-02T13:10:49.487651
• 结果示例: python { "all": { "acc_norm": 0.40049842866345675, "acc_norm_stderr": 0.037584270717651205, "acc": 0.613500992720053, "acc_stderr": 0.012531219943771486 }, "community|acva:Algeria|0": { "acc_norm": 0.5230769230769231, "acc_norm_stderr": 0.0358596530894741 }, ... }

搜集汇总

数据集介绍

构建方式

该数据集是在对认知计算/海豚-2.9.3-llama-3-8b模型进行自动化评估过程中生成的。其构建方式基于一次完整的评估运行，共包含136个配置，每个配置对应一个被评估的具体任务。对于每一次运行，系统会为其创建一个以时间戳命名的独立分割，而“train”分割则始终指向最新一次的评估结果。此外，还有一个名为“results”的配置用于存储所有运行的聚合结果，从而为模型性能分析提供了结构化、可追溯的数据基础。

特点

此数据集的核心特点在于其高度细粒度的任务划分与版本化追踪机制。每个任务配置都独立对应一个评估场景，覆盖了从阿拉伯语知识问答到多领域多选题等广泛内容。通过“train”分割自动指向最新结果的设计，用户能够便捷地获取模型在各项任务上的即时表现。同时，所有历史运行结果均以时间戳分割保留，便于进行纵向性能对比与回归分析，展现了数据集在模型评估场景下的实用性与系统性。

使用方法

使用该数据集时，可通过HuggingFace的datasets库进行加载。用户需指定具体任务配置名称（如“lighteval_xstory_cloze_ar_0”）及所需分割（如“train”），即可获取相应评估结果。例如，调用load_dataset("OALL/details_cognitivecomputations__dolphin-2.9.3-llama-3-8b", "lighteval_xstory_cloze_ar_0", split="train")即可加载该任务的最新评估数据。对于需要分析历史结果的场景，可选择对应时间戳命名的分割进行加载，从而灵活满足不同研究需求。

背景与挑战

背景概述

该数据集记录了针对认知计算团队于2024年7月发布的dolphin-2.9.3-llama-3-8b模型的一次系统性评估运行结果。作为基于Llama-3架构微调的开源多语言大语言模型，dolphin系列在阿拉伯语等低资源语言的理解与生成能力上具有重要研究价值。本数据集由Open Arabic LLM Leaderboard（OALL）创建，旨在通过涵盖136个配置任务的标准化评测框架，量化模型在阿拉伯语文化知识、方言理解、学术问答及情感分析等多元场景下的表现。其核心研究问题聚焦于评估大语言模型在阿拉伯语领域的泛化能力与知识覆盖度，为后续模型优化与跨语言迁移学习提供基准参照。该数据集的出现填补了针对阿拉伯语大模型细粒度评估的空白，对推动低资源语言人工智能研究具有里程碑意义。

当前挑战

当前数据集面临的核心挑战在于，阿拉伯语作为形态丰富、方言差异显著的语言，其评估任务需同时应对现代标准阿拉伯语与数十种区域性方言的复杂交织，例如数据中meta_ar_dialects任务仅取得0.305的准确率，凸显了方言建模的艰巨性。此外，构建过程中需处理跨领域知识的不均衡性，如阿拉伯天文学（0.466）与阿拉伯书法（0.694）任务得分悬殊，反映出模型在文化特定概念上的掌握深度参差不齐。评测体系还面临任务定义标准化难题，如情感分析任务在有无中性选项时准确率从0.792骤降至0.518，表明评估设计本身对结果敏感。最后，多轮评估产生的海量配置与时间戳分片增加了数据管理的复杂度，需确保最新结果的可追溯性与复现一致性。

常用场景

经典使用场景

该数据集专为评估阿拉伯语大语言模型（LLM）的性能而设计，其经典使用场景在于对模型在多项阿拉伯语自然语言理解任务上的表现进行系统性评测。数据集涵盖了从文化常识、历史知识到科学推理等136个配置，每个配置对应一个独立的评估任务，例如阿拉伯语MMLU（大规模多任务语言理解）中的抽象代数、解剖学、天文学等学科，以及阿拉伯方言识别、情感分析等细粒度任务。研究人员可借助该数据集，通过加载特定任务的配置与分割，精准量化模型在阿拉伯语语境下的准确率与标准化准确率，从而深入洞察其语言理解能力的优劣。

衍生相关工作

该数据集的诞生催生了一系列衍生研究工作，尤其是围绕阿拉伯语LLM的细粒度评估与改进。例如，研究者基于其评估结果分析了Dolphin-2.9.3-Llama-3-8B模型在阿拉伯文化知识（如古埃及影响）与科学推理（如物理学）任务上的表现差异，进而提出针对性的领域适配微调策略。此外，数据集中的阿拉伯语MMLU配置被广泛用作跨语言迁移学习的基准，推动了对模型在低资源语言上知识迁移效率的量化研究。这些工作共同深化了学界对多语言模型文化敏感性与知识泛化机制的理解。

数据集最近研究

最新研究方向

当前，多语言大语言模型的跨文化知识对齐能力成为自然语言处理领域的前沿热点。该数据集聚焦于评估dolphin-2.9.3-llama-3-8b模型在阿拉伯语文化背景下的理解与推理表现，涵盖从古代文明、伊斯兰法律到现代日常生活等136项细粒度任务。研究不仅揭示了模型在阿拉伯文明历史、书法艺术等特定领域展现出相对稳健的认知，也暴露了其在抽象数学、道德情景等复杂推理任务上的显著短板。这一方向与近期业界对模型文化偏见和地域公平性的关注紧密相连，其意义在于为构建真正包容且具备深层文化素养的通用人工智能提供了关键的量化基准，推动研究从通用语言能力向文化智能的深化演进。