OALL/details_meraGPT__mera-mix-4x7B

数据集`Evaluation run of meraGPT/mera-mix-4x7B`是在模型`meraGPT/mera-mix-4x7B`的评估运行过程中自动生成的。该数据集包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为特定的split存储，split的名称使用运行的时间戳。此外，还有一个名为`results`的配置存储了所有运行的聚合结果。README文件还提供了如何加载数据的示例代码，并展示了最新的评估结果。

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of meraGPT/mera-mix-4x7B
• 创建方式: 自动创建于模型 meraGPT/mera-mix-4x7B 的评估运行过程中。
• 配置数量: 136 个配置，每个配置对应一个评估任务。
• 创建次数: 从 1 次运行中创建。

数据集结构

• 分割方式: 每个配置包含多个分割，分割名称基于运行的时间戳。
• 最新结果: "train" 分割始终指向最新的结果。
• 聚合结果: 额外配置 "results" 存储所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_meraGPT__mera-mix-4x7B", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 时间戳: 2024-06-11T04:07:38.868238
• 结果文件: results_2024-06-11T04-07-38.868238.json
• 结果示例: python { "all": { "acc_norm": 0.47794301297521996, "acc_norm_stderr": 0.03791853161809317, "acc": 0.5671740569159497, "acc_stderr": 0.012750474502985831 }, "community|acva:Algeria|0": { "acc_norm": 0.6461538461538462, "acc_norm_stderr": 0.03433004254147036 }, ... }