OALL/details_INSAIT-Institute__BgGPT-7B-Instruct-v0.2
收藏Hugging Face2024-06-14 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/OALL/details_INSAIT-Institute__BgGPT-7B-Instruct-v0.2
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型INSAIT-Institute/BgGPT-7B-Instruct-v0.2时自动创建的，包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储在配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。
该数据集是在评估模型INSAIT-Institute/BgGPT-7B-Instruct-v0.2时自动创建的，包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储在配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。
提供机构：
OALL
原始信息汇总
数据集概述
数据集基本信息
- 名称: Evaluation run of INSAIT-Institute/BgGPT-7B-Instruct-v0.2
- 创建方式: 自动创建于模型评估过程中
- 包含配置数: 136
- 创建次数: 1次
- 数据集结构: 每个配置对应一个评估任务，每次运行结果存储在特定分割中，分割名称使用运行时间戳。"train"分割指向最新结果。
- 额外配置: "results"配置存储所有运行的聚合结果。
数据加载示例
python from datasets import load_dataset data = load_dataset("OALL/details_INSAIT-Institute__BgGPT-7B-Instruct-v0.2", "lighteval_xstory_cloze_ar_0", split="train")
最新结果
- 时间戳: 2024-06-14T03:24:51.640773
- 结果概览:
- 总体:
acc_norm: 0.49380622672364083acc_norm_stderr: 0.036650294157017295acc: 0.5181998676373263acc_stderr: 0.012858598401831846
- 具体任务:
community|acva:Algeria|0:acc_norm: 0.6871794871794872acc_norm_stderr: 0.033287550657248546
community|acva:Ancient_Egypt|0:acc_norm: 0.8634920634920635acc_norm_stderr: 0.01937507096993627
community|acva:Arab_Empire|0:acc_norm: 0.6641509433962264acc_norm_stderr: 0.029067220146644826
community|acva:Arabic_Architecture|0:acc_norm: 0.6051282051282051acc_norm_stderr: 0.03509545602262037
community|acva:Arabic_Art|0:acc_norm: 0.5794871794871795acc_norm_stderr: 0.03544138389303482
community|acva:Arabic_Astronomy|0:acc_norm: 0.5230769230769231acc_norm_stderr: 0.0358596530894741
community|acva:Arabic_Calligraphy|0:acc_norm: 0.5215686274509804acc_norm_stderr: 0.031343587064005626
community|acva:Arabic_Ceremony|0:acc_norm: 0.5837837837837838acc_norm_stderr: 0.036339303609452346
community|acva:Arabic_Clothing|0:acc_norm: 0.6358974358974359acc_norm_stderr: 0.0345465386778639
community|acva:Arabic_Culture|0:acc_norm: 0.7743589743589744acc_norm_stderr: 0.030010921825357008
community|acva:Arabic_Food|0:acc_norm: 0.5333333333333333acc_norm_stderr: 0.03581804596782232
community|acva:Arabic_Funeral|0:acc_norm: 0.6736842105263158acc_norm_stderr: 0.04835966701461423
community|acva:Arabic_Geography|0:acc_norm: 0.4689655172413793acc_norm_stderr: 0.04158632762097828
community|acva:Arabic_History|0:acc_norm: 0.6410256410256411acc_norm_stderr: 0.03444042881521377
community|acva:Arabic_Language_Origin|0:acc_norm: 0.6947368421052632acc_norm_stderr: 0.047498887145627784
community|acva:Arabic_Literature|0:acc_norm: 0.6206896551724138acc_norm_stderr: 0.04043461861916747
community|acva:Arabic_Math|0:acc_norm: 0.764102564102564acc_norm_stderr: 0.030481516761721537
community|acva:Arabic_Medicine|0:acc_norm: 0.6689655172413793acc_norm_stderr: 0.039215453124671215
community|acva:Arabic_Music|0:acc_norm: 0.7338129496402878acc_norm_stderr: 0.03762240935089088
community|acva:Arabic_Ornament|0:acc_norm: 0.8acc_norm_stderr: 0.028718326344709492
community|acva:Arabic_Philosophy|0:acc_norm: 0.4689655172413793acc_norm_stderr: 0.04158632762097828
community|acva:Arabic_Physics_and_Chemistry|0:acc_norm: 0.7538461538461538acc_norm_stderr: 0.030927428371225675
community|acva:Arabic_Wedding|0:acc_norm: 0.7230769230769231acc_norm_stderr: 0.032127058190759304
community|acva:Bahrain|0:acc_norm: 0.7333333333333333acc_norm_stderr: 0.0666666666666667
community|acva:Comoros|0:acc_norm: 0.7111111111111111acc_norm_stderr: 0.06832943242540507
community|acva:Egypt_modern|0:acc_norm: 0.7789473684210526acc_norm_stderr: 0.04279942901425772
community|acva:InfluenceFromAncientEgypt|0:acc_norm: 0.5641025641025641acc_norm_stderr: 0.035601666623466345
community|acva:InfluenceFromByzantium|0:acc_norm: 0.8413793103448276acc_norm_stderr: 0.030443500317583944
community|acva:InfluenceFromChina|0:acc_norm: 0.6666666666666666acc_norm_stderr: 0.03384487217112063
community|acva:InfluenceFromGreece|0:acc_norm: 0.7794871794871795acc_norm_stderr: 0.029766004661644106
community|acva:InfluenceFromIslam|0:acc_norm: 0.8689655172413793acc_norm_stderr: 0.028119838672931195
community|acva:InfluenceFromPersia|0:acc_norm: 0.8114285714285714acc_norm_stderr: 0.029654354112075433
community|acva:InfluenceFromRome|0:acc_norm: 0.676923076923077acc_norm_stderr: 0.03357544396403131
community|acva:Iraq|0:acc_norm: 0.5647058823529412acc_norm_stderr: 0.05409572080481032
community|acva:Islam_Education|0:acc_norm: 0.7230769230769231acc_norm_stderr: 0.03212705819075931
community|acva:Islam_branches_and_schools|0:acc_norm: 0.64acc_norm_stderr: 0.03638870609178739
community|acva:Islamic_law_system|0:acc_norm: 0.6564102564102564acc_norm_stderr: 0.03409627301409855
community|acva:Jordan|0:acc_norm: 0.6666666666666666acc_norm_stderr: 0.07106690545187012
community|acva:Kuwait|0:acc_norm: 0.7111111111111111acc_norm_stderr: 0.06832943242540508
community|acva:Lebanon|0:acc_norm: 0.7111111111111111acc_norm_stderr: 0.06832943242540507
community|acva:Libya|0:acc_norm: 0.6888888888888889acc_norm_stderr: 0.0697920592732311
community|acva:Mauritania|0:acc_norm: 0.6acc_norm_stderr: 0.07385489458759965
community|acva:Mesopotamia_civilization|0:acc_norm: 0.4967741935483871acc_norm_stderr: 0.04029030966708646
community|acva:Morocco|0:acc_norm: 0.8444444444444444acc_norm_stderr: 0.05463890236888292
community|acva:Oman|0:acc_norm: 0.7555555555555555acc_norm_stderr: 0.06478835438717
community|acva:Palestine|0:acc_norm: 0.6941176470588235acc_norm_stderr: 0.05027523520585574
community|acva:Qatar|0:acc_norm: 0.6888888888888889acc_norm_stderr: 0.06979205927323111
community|acva:Saudi_Arabia|0:acc_norm: 0.7230769230769231acc_norm_stderr: 0.032127058190759304
community|acva:Somalia|0:acc_norm: 0.6444444444444445acc_norm_stderr: 0.07216392363431012
community|acva:Sudan|0:acc_norm: 0.7555555555555555acc_norm_stderr: 0.06478835438717001
community|acva:Syria|0:acc_norm: 0.8444444444444444acc_norm_stderr: 0.054638902368882934
community|acva:Tunisia|0:acc_norm: 0.84
- 总体:
