OALL/details_cloudyu__TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16

该数据集是在模型[cloudyu/TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16](https://huggingface.co/cloudyu/TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16)的评估运行过程中自动生成的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行的结果都存储为特定配置中的一个分割，分割的名称使用运行的时间戳命名。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置存储了所有运行的聚合结果。

The dataset was automatically created during the evaluation run of model [cloudyu/TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16](https://huggingface.co/cloudyu/TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16). The dataset is composed of 136 configurations, each corresponding to one of the evaluated tasks. The dataset has been created from 1 run, and each runs results are stored as a specific split in each configuration, with the split named using the timestamp of the run. The "train" split always points to the latest results. Additionally, there is a configuration named "results" that stores all the aggregated results of the run.

原始信息汇总

数据集概述

数据集简介

• 名称: Evaluation run of cloudyu/TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16
• 来源: 自动创建于模型评估过程中。
• 组成: 包含136个配置，每个配置对应一个评估任务。
• 创建方式: 从1次运行中生成，每次运行结果存储在特定的分割中，分割名称使用运行的时间戳。
• 额外配置: 包含一个名为“results”的配置，存储所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_cloudyu__TomGrc_FusionNet_34Bx2_MoE_v0.1_DPO_f16", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 时间戳: 2024-06-15T18:48:48.416766
• 结果: 包含多个任务的评估结果，每个任务的准确率和标准误差。

示例结果

python { "all": { "acc_norm": 0.47560115178147755, "acc_norm_stderr": 0.037981796762521614, "acc": 0.5744540039708802, "acc_stderr": 0.012723670419166328 }, "community|acva:Algeria|0": { "acc_norm": 0.5333333333333333, "acc_norm_stderr": 0.03581804596782232 }, "community|acva:Ancient_Egypt|0": { "acc_norm": 0.726984126984127, "acc_norm_stderr": 0.02514152337790924 }, ... }