OALL/details_tiiuae__falcon-11B

该数据集是在评估模型tiiuae/falcon-11B过程中自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of tiiuae/falcon-11B

数据集描述

• 该数据集是在评估模型tiiuae/falcon-11B期间自动创建的。
• 数据集包含136个配置，每个配置对应一个评估任务。
• 数据集由1次运行创建，每次运行作为一个特定的分割在每个配置中，分割名称使用运行的时间戳。
• “train”分割始终指向最新的结果。
• 额外的配置“results”存储了运行的所有聚合结果。

数据集加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_tiiuae__falcon-11B", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 最新结果来自2024-05-20T15:42:24.481589的运行，包含多个任务的准确率和标准误差。

数据集详细信息

配置详情

• 每个配置包含多个任务的评估结果，包括准确率（acc_norm）和标准误差（acc_norm_stderr）。
• 任务范围广泛，包括社区知识、考试、元数据、多选题、情感分析等多个领域。

结果示例

• 以“community|acva:Algeria|0”为例，其准确率为0.558974358974359，标准误差为0.0356473293185358。

结论

该数据集为评估模型tiiuae/falcon-11B的性能提供了详细的结果，涵盖了多个任务和领域，有助于深入分析模型的表现和改进方向。