OALL/details_yunconglong__Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B

该数据集是在模型评估过程中自动创建的，包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储在配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。Dataset automatically created during the evaluation run of model [yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B](https://huggingface.co/yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B). The dataset is composed of 136 configurations, each one corresponding to one of the evaluated tasks. The dataset has been created from 1 run(s). Each run can be found as a specific split in each configuration, the split being named using the timestamp of the run. The train split is always pointing to the latest results. An additional configuration results store all the aggregated results of the run. The dataset includes detailed accuracy metrics for various tasks, indicating performance in different domains.

原始信息汇总

数据集概述

数据集简介

• 名称: Evaluation run of yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B
• 来源: 自动创建于模型评估过程中。
• 组成: 包含136个配置，每个配置对应一个评估任务。
• 创建方式: 从1次运行中生成，每次运行的结果存储在特定的分割中，分割名称使用运行的时间戳。
• 额外配置: 包含一个名为“results”的配置，存储所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_yunconglong__Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 时间戳: 2024-07-13T20:18:19.316329
• 结果概览:
  • 总体:
    • acc_norm: 0.4325651701366585
    • acc_norm_stderr: 0.03822270474174645
    • acc: 0.5823957643944407
    • acc_stderr: 0.012691211382848639
  • 具体任务:
    • community|acva:Algeria|0:
      • acc_norm: 0.5743589743589743
      • acc_norm_stderr: 0.03549871080367708
    • community|acva:Ancient_Egypt|0:
      • acc_norm: 0.3333333333333333
      • acc_norm_stderr: 0.026602896148920783
    • community|acva:Arab_Empire|0:
      • acc_norm: 0.33584905660377357
      • acc_norm_stderr: 0.029067220146644823
    • community|acva:Arabic_Architecture|0:
      • acc_norm: 0.5487179487179488
      • acc_norm_stderr: 0.03572709860318392
    • community|acva:Arabic_Art|0:
      • acc_norm: 0.441025641025641
      • acc_norm_stderr: 0.03564732931853579
    • community|acva:Arabic_Astronomy|0:
      • acc_norm: 0.4666666666666667
      • acc_norm_stderr: 0.03581804596782233
    • community|acva:Arabic_Calligraphy|0:
      • acc_norm: 0.592156862745098
      • acc_norm_stderr: 0.030835294779357078
    • community|acva:Arabic_Ceremony|0:
      • acc_norm: 0.6378378378378379
      • acc_norm_stderr: 0.03543217115138485
    • community|acva:Arabic_Clothing|0:
      • acc_norm: 0.558974358974359
      • acc_norm_stderr: 0.035647329318535786
    • community|acva:Arabic_Culture|0:
      • acc_norm: 0.5282051282051282
      • acc_norm_stderr: 0.03584074674920833
    • community|acva:Arabic_Food|0:
      • acc_norm: 0.5743589743589743
      • acc_norm_stderr: 0.03549871080367707
    • community|acva:Arabic_Funeral|0:
      • acc_norm: 0.5684210526315789
      • acc_norm_stderr: 0.05108592673308947
    • community|acva:Arabic_Geography|0:
      • acc_norm: 0.6275862068965518
      • acc_norm_stderr: 0.04028731532947558
    • community|acva:Arabic_History|0:
      • acc_norm: 0.4461538461538462
      • acc_norm_stderr: 0.035689135465692336
    • community|acva:Arabic_Language_Origin|0:
      • acc_norm: 0.631578947368421
      • acc_norm_stderr: 0.049753325624911644
    • community|acva:Arabic_Literature|0:
      • acc_norm: 0.6137931034482759
      • acc_norm_stderr: 0.04057324734419035
    • community|acva:Arabic_Math|0:
      • acc_norm: 0.30256410256410254
      • acc_norm_stderr: 0.03298070870085618
    • community|acva:Arabic_Medicine|0:
      • acc_norm: 0.6068965517241379
      • acc_norm_stderr: 0.040703290137070705
    • community|acva:Arabic_Music|0:
      • acc_norm: 0.60431654676259
      • acc_norm_stderr: 0.04162618828625745
    • community|acva:Arabic_Ornament|0:
      • acc_norm: 0.6871794871794872
      • acc_norm_stderr: 0.033287550657248546
    • community|acva:Arabic_Philosophy|0:
      • acc_norm: 0.6689655172413793
      • acc_norm_stderr: 0.039215453124671215
    • community|acva:Arabic_Physics_and_Chemistry|0:
      • acc_norm: 0.5384615384615384
      • acc_norm_stderr: 0.03579154352544572
    • community|acva:Arabic_Wedding|0:
      • acc_norm: 0.48205128205128206
      • acc_norm_stderr: 0.0358747709877383
    • community|acva:Bahrain|0:
      • acc_norm: 0.37777777777777777
      • acc_norm_stderr: 0.07309112127323451
    • community|acva:Comoros|0:
      • acc_norm: 0.4
      • acc_norm_stderr: 0.07385489458759965
    • community|acva:Egypt_modern|0:
      • acc_norm: 0.43157894736842106
      • acc_norm_stderr: 0.05108592673308946
    • community|acva:InfluenceFromAncientEgypt|0:
      • acc_norm: 0.6974358974358974
      • acc_norm_stderr: 0.03298070870085619
    • community|acva:InfluenceFromByzantium|0:
      • acc_norm: 0.8068965517241379
      • acc_norm_stderr: 0.03289445522127401
    • community|acva:InfluenceFromChina|0:
      • acc_norm: 0.26666666666666666
      • acc_norm_stderr: 0.0317493043641267
    • community|acva:InfluenceFromGreece|0:
      • acc_norm: 0.7282051282051282
      • acc_norm_stderr: 0.03194086187025723
    • community|acva:InfluenceFromIslam|0:
      • acc_norm: 0.6344827586206897
      • acc_norm_stderr: 0.04013124195424385
    • community|acva:InfluenceFromPersia|0:
      • acc_norm: 0.7657142857142857
      • acc_norm_stderr: 0.0321093603969262
    • community|acva:InfluenceFromRome|0:
      • acc_norm: 0.6358974358974359
      • acc_norm_stderr: 0.03454653867786389
    • community|acva:Iraq|0:
      • acc_norm: 0.5176470588235295
      • acc_norm_stderr: 0.05452048340661895
    • community|acva:Islam_Education|0:
      • acc_norm: 0.6153846153846154
      • acc_norm_stderr: 0.03492896993742303
    • community|acva:Islam_branches_and_schools|0:
      • acc_norm: 0.45714285714285713
      • acc_norm_stderr: 0.037765402985786664
    • community|acva:Islamic_law_system|0:
      • acc_norm: 0.6564102564102564
      • acc_norm_stderr: 0.034096273014098545
    • community|acva:Jordan|0:
      • acc_norm: 0.37777777777777777
      • acc_norm_stderr: 0.07309112127323451
    • community|acva:Kuwait|0:
      • acc_norm: 0.37777777777777777
      • acc_norm_stderr: 0.07309112127323451
    • community|acva:Lebanon|0:
      • acc_norm: 0.4222222222222222
      • acc_norm_stderr: 0.07446027270295806
    • community|acva:Libya|0:
      • acc_norm: 0.5111111111111111
      • acc_norm_stderr: 0.07535922203472523
    • community|acva:Mauritania|0:
      • acc_norm: 0.4888888888888889
      • acc_norm_stderr: 0.07535922203472523
    • community|acva:Mesopotamia_civilization|0:
      • acc_norm: 0.5741935483870968
      • acc_norm_stderr: 0.03984509920961719
    • community|acva:Morocco|0:
      • acc_norm: 0.4444444444444444
      • acc_norm_stderr: 0.07491109582924914
    • community|acva:Oman|0:
      • acc_norm: 0.35555555555555557
      • acc_norm_stderr: 0.07216392363431012
    • community|acva:Palestine|0:
      • acc_norm: 0.38823529411764707
      • acc_norm_stderr: 0.05317409082203827
    • community|acva:Qatar|0:
      • acc_norm: 0.5111111111111111
      • acc_norm_stderr: 0.07535922203472523
    • community|acva:Saudi_Arabia|0:
      • acc_norm: 0.5435897435897435
      • acc_norm_stderr: 0.035761230969912135
    • community|acva:Somalia|0:
      • acc_norm: 0.4888888888888889
      • acc_norm_stderr: 0.07535922203472523
    • community|acva:Sudan|0:
      • acc_norm: 0.5333333333333333
      • acc_norm_stderr: 0.0752101433090355
    • community|acva:Syria|0:
      • acc_norm: 0.5333333333333333
      • `acc_norm_stderr

搜集汇总

数据集介绍

构建方式

该数据集是在对模型 yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B 进行自动化评估的过程中生成的。数据集由136个配置组成，每个配置对应一项被评估的任务。数据来源于单次运行，每次运行的结果以时间戳命名并存储为独立的拆分（split），其中“train”拆分始终指向最新一次的评估结果。此外，另设有一个名为“results”的配置，用于汇总所有评估的聚合指标。

特点

数据集的一个显著特点在于其结构化的多任务评估体系，涵盖了从文化常识、学科知识到情感分析等多个领域的136项任务。每个任务配置都提供了详细的准确率（acc）和标准化准确率（acc_norm）及其标准误差，便于研究者精确分析模型在不同领域的表现差异。数据集的拆分设计允许用户回溯历史运行结果，或直接获取最新评估数据，从而支持模型性能的纵向对比与追踪。

使用方法

使用者可通过HuggingFace的datasets库便捷地加载数据。例如，执行`load_dataset("OALL/details_yunconglong__Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B", "lighteval_xstory_cloze_ar_0", split="train")`即可获取特定任务的最新评估详情。若需访问历史运行数据，只需将拆分名称替换为对应的时间戳即可。聚合结果则通过加载“results”配置获取，便于进行全局性能分析。

背景与挑战

背景概述

该数据集由OALL团队于2024年7月创建，旨在系统评估yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B这一混合专家模型在多项阿拉伯语任务上的表现。随着大语言模型在低资源语言场景中的广泛应用，如何客观、全面地衡量模型在阿拉伯语理解、推理与知识掌握方面的能力，成为自然语言处理领域的重要课题。该数据集覆盖了从阿拉伯文化、历史到医学、数学等136个细粒度评估配置，为阿拉伯语模型评测提供了丰富的基准。其影响力体现在能够揭示模型在多领域知识上的优势与短板，推动针对阿拉伯语场景的模型优化与迭代。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，阿拉伯语作为形态丰富、方言多样的语言，模型需应对标准阿拉伯语与方言混杂、专业术语庞杂等难题，尤其在文化、宗教与历史等上下文敏感的任务中，准确率波动显著。在构建过程中，数据集需整合来自不同社区的多项评测任务，如阿拉伯语MMLU、ACVA文化问答等，确保数据标注一致性、任务覆盖全面性以及评估结果的统计可靠性，这对数据清洗、对齐与标准化流程提出了极高要求。

常用场景

经典使用场景

该数据集源于对大规模语言模型yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B的系统性评估，涵盖136个任务配置，每个配置对应一项特定的评测任务。其经典使用场景在于为多任务、多领域的语言模型性能提供标准化评估框架，尤其聚焦于阿拉伯语文化背景下的知识理解与推理能力。研究者可通过加载不同配置（如阿拉伯语MMLU的子任务、方言识别、情感分析等），利用该数据集中的准确率与标准误差指标，横向对比模型在学术知识、文化常识、语言多样性等维度的表现。数据集采用分次运行记录的方式，每次运行作为一个独立分割，便于追踪模型迭代过程中的性能变化，是评估模型鲁棒性与泛化能力的理想基准。

实际应用

在实际应用中，该数据集可作为阿拉伯语智能系统的质量保障工具。例如，在阿拉伯语教育科技领域，开发者可利用数据集中的考试模拟任务评估模型在学科知识问答上的准确率，从而优化AI辅导系统的教学内容生成。在阿拉伯语客户服务场景中，情感分析子任务的评测结果可用于筛选对话模型对用户情绪的理解能力。此外，数据集对阿拉伯方言的覆盖，使其能服务于多方言地区的语音助手开发，通过对比模型在标准阿拉伯语与方言上的表现差异，指导模型在区域化部署时的微调策略。企业也可借助该数据集的标准化指标，在模型选型阶段快速筛选出最适合阿拉伯语市场的预训练模型。

衍生相关工作

该数据集衍生出了一系列围绕阿拉伯语大模型评测与优化的研究工作。基于其多任务配置，研究者构建了针对阿拉伯语模型的知识蒸馏框架，通过分析模型在不同子任务上的准确率分布，定位能力短板并设计专项增强策略。同时，数据集中的文化常识任务（如阿拉伯历史、伊斯兰法律）启发了对模型文化对齐性的探讨，催生了将本地化知识注入模型参数的方法论。此外，数据集的分次运行机制为模型持续学习研究提供了实验基线，后续工作据此提出了动态评测协议，用以追踪模型在增量训练中的知识遗忘与迁移规律。这些衍生研究共同推动了阿拉伯语自然语言处理从通用评测向细粒度能力诊断的范式演进。