open-llm-leaderboard-old/details_ewqr2130__mistral-inst-ppo

该数据集是在Open LLM Leaderboard上对模型`ewqr2130/mistral-inst-ppo`进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在评估模型 ewqr2130/mistral-inst-ppo 在 Open LLM Leaderboard 上的自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。数据集从 1 次运行中创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

数据集结构

数据集包含以下配置：

• harness_arc_challenge_25
• harness_gsm8k_5
• harness_hellaswag_10
• harness_hendrycksTest_5

每个配置包含多个数据文件，分为不同的分割（如 2024_01_05T00_39_18.137600 和 latest），每个分割对应一个或多个数据文件路径。

最新结果

以下是 最新结果 的摘要：

python { "all": { "acc": 0.6072120670121945, "acc_stderr": 0.03313666182377149, "acc_norm": 0.6126266971301495, "acc_norm_stderr": 0.03381076261531865, "mc1": 0.4724602203182375, "mc1_stderr": 0.017476930190712187, "mc2": 0.6229867253601375, "mc2_stderr": 0.01576578565924401 }, "harness|arc:challenge|25": { "acc": 0.5750853242320819, "acc_stderr": 0.014445698968520765, "acc_norm": 0.6237201365187713, "acc_norm_stderr": 0.014157022555407154 }, "harness|hellaswag|10": { "acc": 0.6353316072495518, "acc_stderr": 0.004803533333364223, "acc_norm": 0.8320055765783708, "acc_norm_stderr": 0.003730972670511862 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.32, "acc_stderr": 0.046882617226215034, "acc_norm": 0.32, "acc_norm_stderr": 0.046882617226215034 }, # 其他任务的结果... }

数据加载示例

要加载特定运行的详细信息，可以使用以下代码：

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ewqr2130__mistral-inst-ppo", "harness_winogrande_5", split="train")