OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B
收藏Hugging Face2024-05-30 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型NousResearch/Nous-Hermes-2-SOLAR-10.7B时自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果。
该数据集是在评估模型NousResearch/Nous-Hermes-2-SOLAR-10.7B时自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果。
提供机构：
OALL
原始信息汇总
数据集概述
数据集基本信息
- 名称: Evaluation run of NousResearch/Nous-Hermes-2-SOLAR-10.7B
- 来源: 自动创建于模型评估过程中，模型为 NousResearch/Nous-Hermes-2-SOLAR-10.7B。
- 组成: 包含136个配置，每个配置对应一个评估任务。
- 创建: 数据集从1次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。
- 结果汇总: 一个额外的配置"results"存储所有运行的聚合结果。
数据加载示例
python from datasets import load_dataset data = load_dataset("OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B", "lighteval_xstory_cloze_ar_0", split="train")
最新结果
- 时间戳: 2024-05-30T22:24:25.645297
- 结果: 包含多个任务的准确率（acc_norm）和标准误差（acc_norm_stderr）。例如：
- 任务: community|acva:Algeria|0
- acc_norm: 0.6461538461538462
- acc_norm_stderr: 0.03433004254147037
- 任务: community|acva:Ancient_Egypt|0
- acc_norm: 0.37142857142857144
- acc_norm_stderr: 0.027267803028895005
- 任务: community|acva:Arab_Empire|0
- acc_norm: 0.33584905660377357
- acc_norm_stderr: 0.029067220146644826
- 任务: community|acva:Arabic_Architecture|0
- acc_norm: 0.5897435897435898
- acc_norm_stderr: 0.035314937123266714
- 任务: community|acva:Arabic_Art|0
- acc_norm: 0.358974358974359
- acc_norm_stderr: 0.03444042881521377
- 任务: community|acva:Arabic_Astronomy|0
- acc_norm: 0.46153846153846156
- acc_norm_stderr: 0.0357915435254457
- 任务: community|acva:Arabic_Calligraphy|0
- acc_norm: 0.5137254901960784
- acc_norm_stderr: 0.03136096744694241
- 任务: community|acva:Arabic_Ceremony|0
- acc_norm: 0.6054054054054054
- acc_norm_stderr: 0.0360321188626959
- 任务: community|acva:Arabic_Clothing|0
- acc_norm: 0.6153846153846154
- acc_norm_stderr: 0.03492896993742303
- 任务: community|acva:Arabic_Culture|0
- acc_norm: 0.7538461538461538
- acc_norm_stderr: 0.03092742837122566
- 任务: community|acva:Arabic_Food|0
- acc_norm: 0.6153846153846154
- acc_norm_stderr: 0.03492896993742303
- 任务: community|acva:Arabic_Funeral|0
- acc_norm: 0.45263157894736844
- acc_norm_stderr: 0.05133911377354486
- 任务: community|acva:Arabic_Geography|0
- acc_norm: 0.5724137931034483
- acc_norm_stderr: 0.041227371113703316
- 任务: community|acva:Arabic_History|0
- acc_norm: 0.4205128205128205
- acc_norm_stderr: 0.03544138389303483
- 任务: community|acva:Arabic_Language_Origin|0
- acc_norm: 0.631578947368421
- acc_norm_stderr: 0.049753325624911644
- 任务: community|acva:Arabic_Literature|0
- acc_norm: 0.6551724137931034
- acc_norm_stderr: 0.03960933549451207
- 任务: community|acva:Arabic_Math|0
- acc_norm: 0.3641025641025641
- acc_norm_stderr: 0.03454653867786388
- 任务: community|acva:Arabic_Medicine|0
- acc_norm: 0.5655172413793104
- acc_norm_stderr: 0.04130740879555497
- 任务: community|acva:Arabic_Music|0
- acc_norm: 0.26618705035971224
- acc_norm_stderr: 0.037622409350890895
- 任务: community|acva:Arabic_Ornament|0
- acc_norm: 0.7076923076923077
- acc_norm_stderr: 0.032654383937495125
- 任务: community|acva:Arabic_Philosophy|0
- acc_norm: 0.5655172413793104
- acc_norm_stderr: 0.04130740879555497
- 任务: community|acva:Arabic_Physics_and_Chemistry|0
- acc_norm: 0.5641025641025641
- acc_norm_stderr: 0.035601666623466366
- 任务: community|acva:Arabic_Wedding|0
- acc_norm: 0.5794871794871795
- acc_norm_stderr: 0.03544138389303482
- 任务: community|acva:Bahrain|0
- acc_norm: 0.5333333333333333
- acc_norm_stderr: 0.0752101433090355
- 任务: community|acva:Comoros|0
- acc_norm: 0.5111111111111111
- acc_norm_stderr: 0.07535922203472523
- 任务: community|acva:Egypt_modern|0
- acc_norm: 0.5684210526315789
- acc_norm_stderr: 0.051085926733089475
- 任务: community|acva:InfluenceFromAncientEgypt|0
- acc_norm: 0.558974358974359
- acc_norm_stderr: 0.0356473293185358
- 任务: community|acva:InfluenceFromByzantium|0
- acc_norm: 0.6827586206896552
- acc_norm_stderr: 0.03878352372138623
- 任务: community|acva:InfluenceFromChina|0
- acc_norm: 0.4
- acc_norm_stderr: 0.03517262290563288
- 任务: community|acva:InfluenceFromGreece|0
- acc_norm: 0.6307692307692307
- acc_norm_stderr: 0.034648411418637566
- 任务: community|acva:InfluenceFromIslam|0
- acc_norm: 0.45517241379310347
- acc_norm_stderr: 0.04149886942192117
- 任务: community|acva:InfluenceFromPersia|0
- acc_norm: 0.7085714285714285
- acc_norm_stderr: 0.03444952656229018
- 任务: community|acva:InfluenceFromRome|0
- acc_norm: 0.558974358974359
- acc_norm_stderr: 0.0356473293185358
- 任务: community|acva:Iraq|0
- acc_norm: 0.611764705882353
- acc_norm_stderr: 0.05317409082203827
- 任务: community|acva:Islam_Education|0
- acc_norm: 0.47692307692307695
- acc_norm_stderr: 0.03585965308947409
- 任务: community|acva:Islam_branches_and_schools|0
- acc_norm: 0.4514285714285714
- acc_norm_stderr: 0.037725628985298354
- 任务: community|acva:Islamic_law_system|0
- acc_norm: 0.4256410256410256
- acc_norm_stderr: 0.035498710803677086
- 任务: community|acva:Jordan|0
- acc_norm: 0.4222222222222222
- acc_norm_stderr: 0.07446027270295806
- 任务: community|acva:Kuwait|0
- acc_norm: 0.28888888888888886
- acc_norm_stderr: 0.06832943242540508
- 任务: community|acva:Lebanon|0
- acc_norm: 0.26666666666666666
- acc_norm_stderr: 0.06666666666666667
- 任务: community|acva:Libya|0
- acc_norm: 0.5777777777777777
- acc_norm_stderr: 0.07446027270295806
- 任务: community|acva:Mauritania|0
- acc_norm: 0.4888888888888889
- acc_norm_stderr: 0.07535922203472523
- 任务: community|acva:Mesopotamia_civilization|0
- acc_norm: 0.6
- acc_norm_stderr: 0.03947710169758611
- 任务: community|acva:Morocco|0
- acc_norm: 0.6444444444444445
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Oman|0
- acc_norm: 0.5111111111111111
- acc_norm_stderr: 0.07535922203472523
- 任务: community|acva:Palestine|0
- acc_norm: 0.49411764705882355
- acc_norm_stderr: 0.05455069703232772
- 任务: community|acva:Qatar|0
- acc_norm: 0.4444444444444444
- acc_norm_stderr: 0.07491109582924915
- 任务: community|acva:Saudi_Arabia|0
- acc_norm: 0.4256410256410256
- acc_norm_stderr: 0.035498710803677065
- 任务: community|acva:Somalia|0
- acc_norm: 0.35555555555555557
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Sudan|0
- acc_norm: 0.4444444444444444
- acc_norm_stderr: 0.07491109582924915
- 任务: community|acva:Syria|0
- acc_norm: 0.4444444444444444
- acc_norm_stderr: 0.0749110958292
- 任务: community|acva:Algeria|0
