open-llm-leaderboard-old/details_CorticalStack__shadow-clown-7B-slerp
收藏Hugging Face2024-03-13 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_CorticalStack__shadow-clown-7B-slerp
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型CorticalStack/shadow-clown-7B-slerp时自动创建的，并用于Open LLM Leaderboard。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到，运行的时间戳作为分割名称。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。
该数据集是在评估模型CorticalStack/shadow-clown-7B-slerp时自动创建的，并用于Open LLM Leaderboard。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到，运行的时间戳作为分割名称。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。
提供机构：
open-llm-leaderboard-old
原始信息汇总
数据集概述
数据集组成
- 该数据集包含63个配置，每个配置对应一个评估任务。
- 数据集由1次运行创建，每个运行的结果可以在每个配置中找到，以运行的时间戳命名的特定分割形式存储。
- "train"分割始终指向最新的结果。
- 一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_CorticalStack__shadow-clown-7B-slerp", "harness_winogrande_5", split="train")
最新结果
- 最新结果来自2024-03-13T11:16:44.530801的运行，包含多个任务的评估结果。
- 示例结果： python { "all": { "acc": 0.6498754214935576, "acc_stderr": 0.032044648167075765, "acc_norm": 0.6489250438379189, "acc_norm_stderr": 0.03271817203843465, "mc1": 0.6340269277845777, "mc1_stderr": 0.016862941684088386, "mc2": 0.7794811698321049, "mc2_stderr": 0.01369175538231566 }, "harness|arc:challenge|25": { "acc": 0.7133105802047781, "acc_stderr": 0.013214986329274776, "acc_norm": 0.7337883959044369, "acc_norm_stderr": 0.012915774781523198 }, "harness|hellaswag|10": { "acc": 0.7154949213304123, "acc_stderr": 0.004502563079349392, "acc_norm": 0.8904600677155945, "acc_norm_stderr": 0.003116771577319422 }, # 其他任务的结果... }
配置详情
- 每个配置包含特定任务的数据文件，以时间戳命名的分割形式存储。
- 示例配置：
harness_arc_challenge_25harness_gsm8k_5harness_hellaswag_10harness_hendrycksTest_5
