OALL/details_shadowml__Mixolar-4x7b

该数据集是在评估模型shadowml/Mixolar-4x7b的过程中自动生成的。数据集包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。

This dataset was automatically created during the evaluation run of the model shadowml/Mixolar-4x7b. The dataset is composed of 136 configurations, each corresponding to one of the evaluated tasks. The dataset has been created from 1 run(s). Each run can be found as a specific split in each configuration, the split being named using the timestamp of the run. The train split always points to the latest results. Additionally, a configuration named results stores all the aggregated results of the run.

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of shadowml/Mixolar-4x7b
• 创建方式: 自动创建，用于评估模型 shadowml/Mixolar-4x7b
• 配置数量: 136
• 创建次数: 1次

数据集结构

• 配置: 每个配置对应一个评估任务
• 分割: 每个配置包含多个分割，分割名称使用运行时间戳命名
• 最新结果: "train" 分割指向最新结果
• 汇总结果: 额外配置 "results" 存储所有运行的汇总结果

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_shadowml__Mixolar-4x7b", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 时间戳: 2024-06-18T04:51:36.818196
• 结果文件: results_2024-06-18T04-51-36.818196.json
• 任务结果:
  • 总体:
    • acc_norm: 0.4883689608640839
    • acc_norm_stderr: 0.03795001598181172
    • acc: 0.5790866975512905
    • acc_stderr: 0.01270514559863069
  • 具体任务:
    • community|acva:Algeria|0:
      • acc_norm: 0.6051282051282051
      • acc_norm_stderr: 0.035095456022620375
    • community|acva:Ancient_Egypt|0:
      • acc_norm: 0.8984126984126984
      • acc_norm_stderr: 0.01704876125499024
    • community|acva:Arab_Empire|0:
      • acc_norm: 0.6679245283018868
      • acc_norm_stderr: 0.028985455652334388
    • 其他任务结果详见 results_2024-06-18T04-51-36.818196.json