OALL/details_CohereForAI__c4ai-command-r-plus

该数据集是在模型CohereForAI/c4ai-command-r-plus的评估运行过程中自动创建的。数据集由136个配置组成，每个配置对应一个被评估的任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of CohereForAI/c4ai-command-r-plus

数据集创建

• 创建背景：自动创建于模型CohereForAI/c4ai-command-r-plus的评估运行期间。
• 配置数量：包含136个配置，每个配置对应一个评估任务。
• 数据来源：数据集由1次运行创建，每次运行作为一个特定的分割，分割名称使用运行的时间戳。
• 特殊配置：额外配置“results”存储了所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_CohereForAI__c4ai-command-r-plus", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 结果来源：latest results from run 2024-05-19T13:29:55.826321
• 结果内容：包含多个社区和任务的归一化准确率和标准误差。

数据集详细配置

• 配置详情：每个配置包含特定社区或任务的归一化准确率和标准误差。
• 社区和任务示例：
  • 社区|acva:Algeria|0
  • 社区|acva:Ancient_Egypt|0
  • 社区|acva:Arab_Empire|0
  • 社区|arabic_mmlu:abstract_algebra|0
  • 社区|arabic_mmlu:anatomy|0
  • 社区|arabic_mmlu:astronomy|0
  • 社区|arabic_mmlu:business_ethics|0
  • 社区|arabic_mmlu:clinical_knowledge|0
  • 社区|arabic_mmlu:college_biology|0
  • 社区|arabic_mmlu:college_chemistry|0
  • 社区|arabic_mmlu:college_computer_science|0
  • 社区|arabic_mmlu:college_mathematics|0
  • 社区|arabic_mmlu:college_medicine|0
  • 社区|arabic_mmlu:college_physics|0
  • 社区|arabic_mmlu:computer_security|0
  • 社区|arabic_mmlu:conceptual_physics|0
  • 社区|arabic_mmlu:econometrics|0
  • 社区|arabic_mmlu:electrical_engineering|0
  • 社区|arabic_mmlu:elementary_mathematics|0
  • 社区|arabic_mmlu:formal_logic|0
  • 社区|arabic_mmlu:global_facts|0
  • 社区|arabic_mmlu:high_school_biology|0
  • 社区|arabic_mmlu:high_school_chemistry|0
  • 社区|arabic_mmlu:high_school_computer_science|0
  • 社区|arabic_mmlu:high_school_european_history|0
  • 社区|arabic_mmlu:high_school_geography|0
  • 社区|arabic_mmlu:high_school_government_and_politics|0
  • 社区|arabic_mmlu:high_school_macroeconomics|0
  • 社区|arabic_mmlu:high_school_mathematics|0
  • 社区|arabic_mmlu:high_school_microeconomics|0
  • 社区|arabic_mmlu:high_school_physics|0
  • 社区|arabic_mmlu:high_school_psychology|0
  • 社区|arabic_mmlu:high_school_statistics|0
  • 社区|arabic_mmlu:high_school_us_history|0
  • 社区|arabic_mmlu:high_school_world_history|0
  • 社区|arabic_mmlu:human_aging|0
  • 社区|arabic_mmlu:human_sexuality|0
  • 社区|arabic_mmlu:international_law|0
  • 社区|arabic_mmlu:jurisprudence|0
  • 社区|arabic_mmlu:logical_fallacies|0
  • 社区|arabic_mmlu:machine_learning|0
  • 社区|arabic_mmlu:management|0
  • 社区|arabic_mmlu:marketing|0
  • 社区|arabic_mmlu:medical_genetics|0
  • 社区|arabic_mmlu:miscellaneous|0
  • 社区|arabic_mmlu:moral_disputes|0
  • 社区|arabic_mmlu:moral_scenarios|0
  • 社区|arabic_mmlu:nutrition|0
  • 社区|arabic_mmlu:philosophy|0
  • 社区|arabic_mmlu:prehistory|0
  • 社区|arabic_mmlu:professional_accounting|0
  • 社区|arabic_mmlu:professional_law|0