OALL/details_jondurbin__airoboros-70b-3.3
收藏Hugging Face2024-06-18 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/OALL/details_jondurbin__airoboros-70b-3.3
下载链接
链接失效反馈官方服务：
资源简介：
数据集 Evaluation run of jondurbin/airoboros-70b-3.3 是在模型 jondurbin/airoboros-70b-3.3 的评估运行中自动生成的。它包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为特定的分割存储在配置中，分割名称使用运行的时间戳。train 分割始终指向最新的结果。此外，还有一个名为 results 的配置存储了所有运行的聚合结果。README还提供了加载数据集的具体代码示例，并展示了最新运行的结果。
数据集 Evaluation run of jondurbin/airoboros-70b-3.3 是在模型 jondurbin/airoboros-70b-3.3 的评估运行中自动生成的。它包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为特定的分割存储在配置中，分割名称使用运行的时间戳。train 分割始终指向最新的结果。此外，还有一个名为 results 的配置存储了所有运行的聚合结果。README还提供了加载数据集的具体代码示例，并展示了最新运行的结果。
提供机构：
OALL
原始信息汇总
数据集概述
数据集基本信息
- 名称: Evaluation run of jondurbin/airoboros-70b-3.3
- 来源: 自动创建于模型 jondurbin/airoboros-70b-3.3 的评估运行过程中。
- 组成: 包含 136 个配置，每个配置对应一个评估任务。
- 创建方式: 数据集由 1 次运行创建，每次运行结果存储在特定的分割中，分割名称使用运行的时间戳。
- 最新结果: "train" 分割始终指向最新的结果。
- 额外配置: 包含一个名为 "results" 的配置，存储所有运行的聚合结果。
数据加载示例
python from datasets import load_dataset data = load_dataset("OALL/details_jondurbin__airoboros-70b-3.3", "lighteval_xstory_cloze_ar_0", split="train")
最新结果
- 时间戳: 2024-06-18T23:19:01.367803
- 结果: 包含多个任务的准确率和标准误差。
任务结果示例
- 任务: community|acva:Algeria|0
- acc_norm: 0.5487179487179488
- acc_norm_stderr: 0.03572709860318392
- 任务: community|acva:Ancient_Egypt|0
- acc_norm: 0.07936507936507936
- acc_norm_stderr: 0.015254347145096072
- 任务: community|acva:Arab_Empire|0
- acc_norm: 0.3132075471698113
- acc_norm_stderr: 0.02854479331905533
- 任务: community|acva:Arabic_Architecture|0
- acc_norm: 0.5076923076923077
- acc_norm_stderr: 0.03589365940635213
- 任务: community|acva:Arabic_Art|0
- acc_norm: 0.358974358974359
- acc_norm_stderr: 0.034440428815213774
- 任务: community|acva:Arabic_Astronomy|0
- acc_norm: 0.4666666666666667
- acc_norm_stderr: 0.03581804596782233
- 任务: community|acva:Arabic_Calligraphy|0
- acc_norm: 0.6980392156862745
- acc_norm_stderr: 0.028807019393543996
- 任务: community|acva:Arabic_Ceremony|0
- acc_norm: 0.5459459459459459
- acc_norm_stderr: 0.036704531918025717
- 任务: community|acva:Arabic_Clothing|0
- acc_norm: 0.5487179487179488
- acc_norm_stderr: 0.03572709860318391
- 任务: community|acva:Arabic_Culture|0
- acc_norm: 0.29743589743589743
- acc_norm_stderr: 0.03282001717838809
- 任务: community|acva:Arabic_Food|0
- acc_norm: 0.49743589743589745
- acc_norm_stderr: 0.03589743589743589
- 任务: community|acva:Arabic_Funeral|0
- acc_norm: 0.43157894736842106
- acc_norm_stderr: 0.05108592673308946
- 任务: community|acva:Arabic_Geography|0
- acc_norm: 0.6206896551724138
- acc_norm_stderr: 0.04043461861916747
- 任务: community|acva:Arabic_History|0
- acc_norm: 0.31794871794871793
- acc_norm_stderr: 0.03343383454355787
- 任务: community|acva:Arabic_Language_Origin|0
- acc_norm: 0.5789473684210527
- acc_norm_stderr: 0.050924152299673286
- 任务: community|acva:Arabic_Literature|0
- acc_norm: 0.47586206896551725
- acc_norm_stderr: 0.041618085035015295
- 任务: community|acva:Arabic_Math|0
- acc_norm: 0.30256410256410254
- acc_norm_stderr: 0.03298070870085618
- 任务: community|acva:Arabic_Medicine|0
- acc_norm: 0.5241379310344828
- acc_norm_stderr: 0.0416180850350153
- 任务: community|acva:Arabic_Music|0
- acc_norm: 0.23741007194244604
- acc_norm_stderr: 0.036220593237998276
- 任务: community|acva:Arabic_Ornament|0
- acc_norm: 0.5230769230769231
- acc_norm_stderr: 0.0358596530894741
- 任务: community|acva:Arabic_Philosophy|0
- acc_norm: 0.5793103448275863
- acc_norm_stderr: 0.0411391498118926
- 任务: community|acva:Arabic_Physics_and_Chemistry|0
- acc_norm: 0.6871794871794872
- acc_norm_stderr: 0.033287550657248546
- 任务: community|acva:Arabic_Wedding|0
- acc_norm: 0.49230769230769234
- acc_norm_stderr: 0.03589365940635213
- 任务: community|acva:Bahrain|0
- acc_norm: 0.3111111111111111
- acc_norm_stderr: 0.06979205927323111
- 任务: community|acva:Comoros|0
- acc_norm: 0.4
- acc_norm_stderr: 0.07385489458759965
- 任务: community|acva:Egypt_modern|0
- acc_norm: 0.3894736842105263
- acc_norm_stderr: 0.05029529117145395
- 任务: community|acva:InfluenceFromAncientEgypt|0
- acc_norm: 0.6051282051282051
- acc_norm_stderr: 0.03509545602262038
- 任务: community|acva:InfluenceFromByzantium|0
- acc_norm: 0.7172413793103448
- acc_norm_stderr: 0.03752833958003337
- 任务: community|acva:InfluenceFromChina|0
- acc_norm: 0.2717948717948718
- acc_norm_stderr: 0.031940861870257235
- 任务: community|acva:InfluenceFromGreece|0
- acc_norm: 0.6307692307692307
- acc_norm_stderr: 0.034648411418637566
- 任务: community|acva:InfluenceFromIslam|0
- acc_norm: 0.4482758620689655
- acc_norm_stderr: 0.04144311810878151
- 任务: community|acva:InfluenceFromPersia|0
- acc_norm: 0.6971428571428572
- acc_norm_stderr: 0.03483414676585986
- 任务: community|acva:InfluenceFromRome|0
- acc_norm: 0.5641025641025641
- acc_norm_stderr: 0.035601666623466345
- 任务: community|acva:Iraq|0
- acc_norm: 0.5529411764705883
- acc_norm_stderr: 0.054247803536170265
- 任务: community|acva:Islam_Education|0
- acc_norm: 0.558974358974359
- acc_norm_stderr: 0.0356473293185358
- 任务: community|acva:Islam_branches_and_schools|0
- acc_norm: 0.46285714285714286
- acc_norm_stderr: 0.03780017090541436
- 任务: community|acva:Islamic_law_system|0
- acc_norm: 0.6
- acc_norm_stderr: 0.03517262290563289
- 任务: community|acva:Jordan|0
- acc_norm: 0.35555555555555557
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Kuwait|0
- acc_norm: 0.4
- acc_norm_stderr: 0.07385489458759965
- 任务: community|acva:Lebanon|0
- acc_norm: 0.28888888888888886
- acc_norm_stderr: 0.06832943242540508
- 任务: community|acva:Libya|0
- acc_norm: 0.4666666666666667
- acc_norm_stderr: 0.0752101433090355
- 任务: community|acva:Mauritania|0
- acc_norm: 0.4222222222222222
- acc_norm_stderr: 0.07446027270295805
- 任务: community|acva:Mesopotamia_civilization|0
- acc_norm: 0.5290322580645161
- acc_norm_stderr: 0.040223170294214426
- 任务: community|acva:Morocco|0
- acc_norm: 0.2222222222222222
- acc_norm_stderr: 0.06267511942419628
- 任务: community|acva:Oman|0
- acc_norm: 0.2
- acc_norm_stderr: 0.06030226891555273
- 任务: community|acva:Palestine|0
- acc_norm: 0.25882352941176473
- acc_norm_stderr: 0.047788461203740945
- 任务: community|acva:Qatar|0
- acc_norm: 0.4666666666666667
- acc_norm_stderr: 0.0752101433090355
- 任务: community|acva:Saudi_Arabia|0
- acc_norm: 0.3487179487179487
- acc_norm_stderr: 0.03421533846670541
- 任务: community|acva:Somalia|0
- acc_norm: 0.35555555555555557
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Sudan|0
- acc_norm: 0.37777777777777777
- acc_norm_stderr: 0.07309112127323451
- 任务: community|acva:Syria|0
- acc_norm: 0.35555555555555557
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Tunisia|0
- acc_norm: 0.3111111111111111
- acc_norm_stderr: 0.06979205927323111
- 任务: community|acva
