OALL/details_Qwen__Qwen1.5-32B-Chat

该数据集是在模型Qwen/Qwen1.5-32B-Chat的评估运行期间自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of Qwen/Qwen1.5-32B-Chat

数据集描述

• 创建目的: 该数据集是在评估模型Qwen/Qwen1.5-32B-Chat的过程中自动创建的。
• 数据组成: 包含136个配置，每个配置对应一个评估任务。
• 数据来源: 数据集由1次运行创建，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳命名。
• 特殊配置: 存在一个名为"results"的额外配置，存储了所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_Qwen__Qwen1.5-32B-Chat", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 结果存储: 最新结果存储在特定的JSON文件中，文件名包含运行的时间戳。
• 结果内容: 包含各项评估指标的平均值和标准误差，覆盖多个任务和社区。

数据集详细配置

配置详情

• 配置数量: 136个
• 配置内容: 每个配置对应一个特定的评估任务，包含该任务的评估结果和相关统计数据。
• 数据分割: 每个配置中的数据分割根据运行的时间戳命名，"train"分割指向最新的结果。

结果示例

• 通用结果: 包含总体的准确率和标准误差。
• 社区特定结果: 针对不同社区的特定任务，提供相应的准确率和标准误差。

结论

该数据集为评估Qwen/Qwen1.5-32B-Chat模型性能提供了详细的数据支持，通过多个配置和分割，确保了评估的全面性和准确性。