open-llm-leaderboard/details_DrNicefellow__Mistral-2-from-Mixtral-8x7B-v0.1

该数据集是在评估模型DrNicefellow/Mistral-2-from-Mixtral-8x7B-v0.1时自动创建的，主要用于在Open LLM Leaderboard上展示评估结果。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和展示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称: Evaluation run of DrNicefellow/Mistral-2-from-Mixtral-8x7B-v0.1

创建目的: 该数据集是在评估模型DrNicefellow/Mistral-2-from-Mixtral-8x7B-v0.1在Open LLM Leaderboard上的运行过程中自动创建的。

数据集结构:

• 配置数量: 63个
• 数据来源: 单次运行
• 数据分割: 每个配置对应一个评估任务，每个运行以时间戳命名的特定分割存储。"train"分割指向最新结果。
• 额外配置: "results"配置存储所有运行的聚合结果，用于计算和显示聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_DrNicefellow__Mistral-2-from-Mixtral-8x7B-v0.1", "harness_winogrande_5", split="train")

最新结果

最新结果来自2024-04-15T14:20:57.186857的运行，包含多个任务的评估数据。例如：

• harness|arc:challenge|25: 准确率(acc)为0.208191，标准化准确率(acc_norm)为0.284130。
• harness|hellaswag|10: 准确率(acc)为0.258713，标准化准确率(acc_norm)为0.264887。
• harness|hendrycksTest-abstract_algebra|5: 准确率(acc)为0.23，标准化准确率(acc_norm)为0.23。
• harness|truthfulqa:mc|0: mc1为0.235006，mc2为0.483726。
• harness|winogrande|5: 准确率(acc)为0.515391。
• harness|gsm8k|5: 准确率(acc)为0.0。

这些结果用于在Open LLM Leaderboard上展示模型的性能。