OALL/details_NousResearch__Nous-Hermes-2-Mixtral-8x7B-DPO

该数据集是在模型 NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO 的评估运行期间自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train 分割始终指向最新的结果。此外，还有一个名为 results 的配置存储了运行的所有聚合结果。README 还提供了如何使用 `datasets` 库中的 `load_dataset` 函数加载数据集的示例。README 中还包含了特定运行的最新结果，展示了不同任务的各种准确率指标。

原始信息汇总

数据集概述

数据集简介

• 名称: Evaluation run of NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO
• 创建背景: 该数据集是在评估模型 NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO 的过程中自动创建的。

数据集结构

• 配置数量: 136 个配置，每个配置对应一个评估任务。
• 创建次数: 数据集从 1 次运行中创建。每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• 分割:
  • "train" 分割始终指向最新的结果。
  • 额外配置 "results" 存储所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_NousResearch__Nous-Hermes-2-Mixtral-8x7B-DPO", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 时间戳: 2024-06-16T23:02:11.919094
• 结果: 包含多个任务的评估结果，具体结果如下：
  • 总体结果:
    • acc_norm: 0.41098666507852305
    • acc_norm_stderr: 0.037670109486949155
    • acc: 0.5982792852415619
    • acc_stderr: 0.012616114526927917
  • 具体任务结果:
    • community|acva:Algeria|0:
      • acc_norm: 0.5230769230769231
      • acc_norm_stderr: 0.0358596530894741
    • community|acva:Ancient_Egypt|0:
      • acc_norm: 0.050793650793650794
      • acc_norm_stderr: 0.01239139518482262
    • community|acva:Arab_Empire|0:
      • acc_norm: 0.30943396226415093
      • acc_norm_stderr: 0.028450154794118627
    • 其他任务结果详见完整数据集。