open-llm-leaderboard/details_KnutJaegersberg__megatron-gpt2-345m-evol_instruct_v2
收藏数据集卡片：KnutJaegersberg/megatron-gpt2-345m-evol_instruct_v2 评估运行
数据集描述
数据集概述
该数据集是在模型 KnutJaegersberg/megatron-gpt2-345m-evol_instruct_v2 在 Open LLM Leaderboard 上的评估运行期间自动创建的。
数据集由 3 个配置组成，每个配置对应一个评估任务。
数据集从 2 次运行中创建。每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。
一个额外的配置 "results" 存储所有运行的聚合结果（用于计算并在 Open LLM Leaderboard 上显示聚合指标）。
最新结果
以下是 2023-11-06T21:23:09.566813 运行的最新结果：
python { "all": { "em": 0.0010486577181208054, "em_stderr": 0.00033145814652191626, "f1": 0.045425755033557384, "f1_stderr": 0.0011926647330667845, "acc": 0.2616416732438832, "acc_stderr": 0.007018620654786821 }, "harness|drop|3": { "em": 0.0010486577181208054, "em_stderr": 0.00033145814652191626, "f1": 0.045425755033557384, "f1_stderr": 0.0011926647330667845 }, "harness|gsm8k|5": { "acc": 0.0, "acc_stderr": 0.0 }, "harness|winogrande|5": { "acc": 0.5232833464877664, "acc_stderr": 0.014037241309573642 } }
数据集结构
配置
-
harness_drop_3
- 分割：2023_11_04T22_13_52.567889
- 路径：
**/details_harness|drop|3_2023-11-04T22-13-52.567889.parquet
- 路径：
- 分割：2023_11_06T21_23_09.566813
- 路径：
**/details_harness|drop|3_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|drop|3_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：2023_11_04T22_13_52.567889
-
harness_gsm8k_5
- 分割：2023_11_04T22_13_52.567889
- 路径：
**/details_harness|gsm8k|5_2023-11-04T22-13-52.567889.parquet
- 路径：
- 分割：2023_11_06T21_23_09.566813
- 路径：
**/details_harness|gsm8k|5_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|gsm8k|5_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：2023_11_04T22_13_52.567889
-
harness_winogrande_5
- 分割：2023_11_04T22_13_52.567889
- 路径：
**/details_harness|winogrande|5_2023-11-04T22-13-52.567889.parquet
- 路径：
- 分割：2023_11_06T21_23_09.566813
- 路径：
**/details_harness|winogrande|5_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|winogrande|5_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：2023_11_04T22_13_52.567889
-
results
- 分割：2023_11_04T22_13_52.567889
- 路径：
results_2023-11-04T22-13-52.567889.parquet
- 路径：
- 分割：2023_11_06T21_23_09.566813
- 路径：
results_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：latest
- 路径：
results_2023-11-06T21-23-09.566813.parquet
- 路径：
- 分割：2023_11_04T22_13_52.567889
