open-llm-leaderboard-old/details_Thytu__phi-2-audio-super
收藏资源简介：
该数据集是在模型Thytu/phi-2-audio-super在Open LLM Leaderboard上进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集由8次运行生成，每次运行的结果作为一个特定的分割存储在相应的配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。
该数据集是在模型Thytu/phi-2-audio-super在Open LLM Leaderboard上进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集由8次运行生成，每次运行的结果作为一个特定的分割存储在相应的配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。
数据集概述
该数据集是在评估模型 Thytu/phi-2-audio-super 在 Open LLM Leaderboard 上的运行过程中自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。
数据集结构
- 配置数量：63 个配置
- 运行次数：8 次
- 分割方式：每个配置包含多个分割，分割名称使用运行的时间戳。"train" 分割指向最新的结果。
- 额外配置："results" 配置存储所有运行的聚合结果，用于计算和显示聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Thytu__phi-2-audio-super", "harness_winogrande_5", split="train")
最新结果
以下是 2024-03-30T22:35:07.731408 运行 的最新结果：
python { "all": { "acc": 0.25088231913730413, "acc_stderr": 0.030496344279965167, "acc_norm": 0.25121707639470964, "acc_norm_stderr": 0.031286363173491503, "mc1": 0.26193390452876375, "mc1_stderr": 0.015392118805015023, "mc2": 0.46205679472986283, "mc2_stderr": 0.015396871310087587 }, # 其他任务的结果... }
配置详情
-
harness_arc_challenge_25
- 分割：2024_03_12T16_44_40.827627, 2024_03_12T18_42_06.355488, 2024_03_12T18_48_50.822493, 2024_03_14T18_32_55.699059, 2024_03_15T09_02_18.575589, 2024_03_29T20_26_25.800398, 2024_03_30T15_05_12.136040, 2024_03_30T22_35_07.731408, latest
- 路径：**/details_harness|arc:challenge|25_2024-03-12T16-44-40.827627.parquet, ...
-
harness_gsm8k_5
- 分割：2024_03_12T16_44_40.827627, 2024_03_12T18_42_06.355488, 2024_03_12T18_48_50.822493, 2024_03_14T18_32_55.699059, 2024_03_15T09_02_18.575589, 2024_03_29T20_26_25.800398, 2024_03_30T15_05_12.136040, 2024_03_30T22_35_07.731408, latest
- 路径：**/details_harness|gsm8k|5_2024-03-12T16-44-40.827627.parquet, ...
-
harness_hellaswag_10
- 分割：2024_03_12T16_44_40.827627, 2024_03_12T18_42_06.355488, 2024_03_12T18_48_50.822493, 2024_03_14T18_32_55.699059, 2024_03_15T09_02_18.575589, 2024_03_29T20_26_25.800398, 2024_03_30T15_05_12.136040, 2024_03_30T22_35_07.731408, latest
- 路径：**/details_harness|hellaswag|10_2024-03-12T16-44-40.827627.parquet, ...
