OALL/details_tenyx__Llama3-TenyxChat-70B

该数据集是在模型`tenyx/Llama3-TenyxChat-70B`的评估运行过程中自动生成的，包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割，分割名称使用运行的时间戳。`train`分割始终指向最新的结果。此外，还有一个名为`results`的配置存储了所有运行的聚合结果。README还提供了如何加载数据集的具体代码示例，并展示了最新运行的结果。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of tenyx/Llama3-TenyxChat-70B

数据集创建背景

• dataset_summary: 该数据集是自动创建的，用于评估模型 tenyx/Llama3-TenyxChat-70B 的性能。

数据集结构

• 组成: 包含136个配置，每个配置对应一个评估任务。
• 创建过程: 数据集由1次运行创建，每次运行作为一个特定的分割，分割名使用运行的时间戳命名。
• 特殊配置: 存在一个名为“results”的额外配置，存储所有运行的聚合结果。

数据集加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_tenyx__Llama3-TenyxChat-70B", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 结果来源: 来自2024-05-30T13:10:32.663479的运行。
• 结果内容: 包含多个任务的评估结果，每个任务的结果可以在“results”配置和相应的“latest”分割中找到。

数据集详细结果

总体结果

• acc_norm: 0.551920021546274
• acc_norm_stderr: 0.03856106483491402
• acc: 0.6896095301125083
• acc_stderr: 0.01190604015249926

各任务结果

• 社区|acva:Algeria|0:
  • acc_norm: 0.6410256410256411
  • acc_norm_stderr: 0.03444042881521377
• 社区|acva:Ancient_Egypt|0:
  • acc_norm: 0.3619047619047619
  • acc_norm_stderr: 0.02711908776246381
• 社区|acva:Arab_Empire|0:
  • acc_norm: 0.33962264150943394
  • acc_norm_stderr: 0.02914690474779834
• 社区|acva:Arabic_Architecture|0:
  • acc_norm: 0.6102564102564103
  • acc_norm_stderr: 0.0350142477625637
• 社区|acva:Arabic_Art|0:
  • acc_norm: 0.38974358974358975
  • acc_norm_stderr: 0.035014247762563705
• 社区|acva:Arabic_Astronomy|0:
  • acc_norm: 0.48205128205128206
  • acc_norm_stderr: 0.0358747709877383
• 社区|acva:Arabic_Calligraphy|0:
  • acc_norm: 0.5882352941176471
  • acc_norm_stderr: 0.030880422975050087
• 社区|acva:Arabic_Ceremony|0:
  • acc_norm: 0.6
  • acc_norm_stderr: 0.03611575592573069
• 社区|acva:Arabic_Clothing|0:
  • acc_norm: 0.517948717948718
  • acc_norm_stderr: 0.03587477098773825
• 社区|acva:Arabic_Culture|0:
  • acc_norm: 0.5641025641025641
  • acc_norm_stderr: 0.03560166662346635
• 社区|acva:Arabic_Food|0:
  • acc_norm: 0.6256410256410256
  • acc_norm_stderr: 0.03474608430626236
• 社区|acva:Arabic_Funeral|0:
  • acc_norm: 0.5368421052631579
  • acc_norm_stderr: 0.05143087276324537
• 社区|acva:Arabic_Geography|0:
  • acc_norm: 0.6482758620689655
  • acc_norm_stderr: 0.0397923663749741
• 社区|acva:Arabic_History|0:
  • acc_norm: 0.35384615384615387
  • acc_norm_stderr: 0.03433004254147036
• 社区|acva:Arabic_Language_Origin|0:
  • acc_norm: 0.631578947368421
  • acc_norm_stderr: 0.049753325624911644
• 社区|acva:Arabic_Literature|0:
  • acc_norm: 0.5172413793103449
  • acc_norm_stderr: 0.04164188720169375
• 社区|acva:Arabic_Math|0:
  • acc_norm: 0.3128205128205128
  • acc_norm_stderr: 0.03328755065724854
• 社区|acva:Arabic_Medicine|0:
  • acc_norm: 0.6827586206896552
  • acc_norm_stderr: 0.038783523721386215
• 社区|acva:Arabic_Music|0:
  • acc_norm: 0.34532374100719426
  • acc_norm_stderr: 0.04047501062151219
• 社区|acva:Arabic_Ornament|0:
  • acc_norm: 0.5948717948717949
  • acc_norm_stderr: 0.035245774956109616
• 社区|acva:Arabic_Philosophy|0:
  • acc_norm: 0.6068965517241379
  • acc_norm_stderr: 0.0407032901370707
• 社区|acva:Arabic_Physics_and_Chemistry|0:
  • acc_norm: 0.7487179487179487
  • acc_norm_stderr: 0.03114146157121436
• 社区|acva:Arabic_Wedding|0:
  • acc_norm: 0.5333333333333333
  • acc_norm_stderr: 0.03581804596782232
• 社区|acva:Bahrain|0:
  • acc_norm: 0.4888888888888889
  • acc_norm_stderr: 0.07535922203472523
• 社区|acva:Comoros|0:
  • acc_norm: 0.4888888888888889
  • acc_norm_stderr: 0.07535922203472523
• 社区|acva:Egypt_modern|0:
  • acc_norm: 0.5473684210526316
  • acc_norm_stderr: 0.05133911377354484
• 社区|acva:InfluenceFromAncientEgypt|0:
  • acc_norm: 0.6102564102564103
  • acc_norm_stderr: 0.035014247762563705
• 社区|acva:InfluenceFromByzantium|0:
  • acc_norm: 0.7241379310344828
  • acc_norm_stderr: 0.03724563619774632
• 社区|acva:InfluenceFromChina|0:
  • acc_norm: 0.2717948717948718
  • acc_norm_stderr: 0.031940861870257235
• 社区|acva:InfluenceFromGreece|0:
  • acc_norm: 0.676923076923077
  • acc_norm_stderr: 0.03357544396403133
• 社区|acva:InfluenceFromIslam|0:
  • acc_norm: 0.6413793103448275
  • acc_norm_stderr: 0.03996629574876719
• 社区|acva:InfluenceFromPersia|0:
  • acc_norm: 0.7314285714285714
  • acc_norm_stderr: 0.033600151915923894
• 社区|acva:InfluenceFromRome|0:
  • acc_norm: 0.5641025641025641
  • acc_norm_stderr: 0.035601666623466345
• 社区|acva:Iraq|0:
  • acc_norm: 0.6352941176470588
  • acc_norm_stderr: 0.05251932770420082
• 社区|acva:Islam_Education|0:
  • acc_norm: 0.5897435897435898
  • acc_norm_stderr: 0.03531493712326671
• 社区|acva:Islam_branches_and_schools|0:
  • acc_norm: 0.6342857142857142
  • acc_norm_stderr: 0.03651226741879949
• 社区|acva:Islamic_law_system|0:
  • acc_norm: 0.6923076923076923
  • acc_norm_stderr: 0.0331365303977417
• 社区|acva:Jordan|0:
  • acc_norm: 0.6222222222222222
  • acc_norm_stderr: 0.07309112127323451
• 社区|acva:Kuwait|0:
  • acc_norm: 0.7555555555555555
  • acc_norm_stderr: 0.06478835438716998
• 社区|acva:Lebanon|0:
  • acc_norm: 0.5333333333333333
  • acc_norm_stderr: 0.0752101433090355
• 社区|acva:Libya|0:
  • acc_norm: 0.7777777777777778
  • acc_norm_stderr: 0.06267511942419626
• 社区|acva:Mauritania|0:
  • acc_norm: 0.4666666666666667
  • acc_norm_stderr: 0.0752101433090355
• 社区|acva:Mesopotamia_civilization|0:
  • acc_norm: 0.5870967741935483
  • acc_norm_stderr: 0.03967515431152556
• 社区|acva:Morocco|0:
  • acc_norm: 0.4444444444444444
  • acc_norm_stderr: 0.07491109582924915
• 社区|acva:Oman|0:
  • acc_norm: 0.6444444444444445
  • acc_norm_stderr: 0.07216392363431011
• 社区|acva:Palestine|0:
  • acc_norm: 0.5411764705882353
  • acc_norm_stderr: 0.0543691634273002
• 社区|acva:Qatar|0:
  • acc_norm: 0.5777777777777777
  • acc_norm_stderr: 0.07446027270295806
• 社区|acva:Saudi_Arabia|0:
  • acc_norm: 0.6153846153846154
  • acc_norm_stderr: 0.034928969937423046
• 社区|acva:Somalia|0:
  • acc_norm: 0.5333333333333333
  • acc_norm_stderr: 0.0752101433090355
• 社区|acva:Sudan|0:
  • acc_norm: 0.5111111111111111
  • acc_norm_stderr: 0.07535922203472523
• 社区|acva:Syria|0:
  • acc_norm: 0.6
  • acc_norm_stderr: 0.073854894