open-llm-leaderboard/details_uukuguy__speechless-code-mistral-orca-7b-v1.0
收藏Hugging Face2023-10-24 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_uukuguy__speechless-code-mistral-orca-7b-v1.0
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在模型 uukuguy/speechless-code-mistral-orca-7b-v1.0 在 Open LLM Leaderboard 上进行评估时自动生成的。数据集由 64 个配置组成，每个配置对应一个被评估的任务。它由 2 次运行创建，每次运行在每个配置中表示为特定的分割，分割名称由运行的时间戳命名。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了一个示例，展示了如何使用 Hugging Face 的 datasets 库加载运行中的详细信息。
提供机构：
open-llm-leaderboard原始信息汇总
数据集概述
该数据集是在评估模型 uukuguy/speechless-code-mistral-orca-7b-v1.0 在 Open LLM Leaderboard 上的运行过程中自动创建的。
数据集组成
- 数据集包含 64 个配置，每个配置对应一个评估任务。
- 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
- "train" 分割始终指向最新的结果。
- 额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_uukuguy__speechless-code-mistral-orca-7b-v1.0", "harness_winogrande_5", split="train")
最新结果
以下是 2023-10-24T15:07:12.352820 运行的最新结果： python { "all": { "em": 0.4526006711409396, "em_stderr": 0.005097407791242309, "f1": 0.4989010067114103, "f1_stderr": 0.004905672332696013, "acc": 0.42884877867222604, "acc_stderr": 0.009659566392137438 }, "harness|drop|3": { "em": 0.4526006711409396, "em_stderr": 0.005097407791242309, "f1": 0.4989010067114103, "f1_stderr": 0.004905672332696013 }, "harness|gsm8k|5": { "acc": 0.08263836239575435, "acc_stderr": 0.0075840892201481476 }, "harness|winogrande|5": { "acc": 0.7750591949486977, "acc_stderr": 0.01173504356412673 } }
配置详情
-
harness_arc_challenge_25
- 分割：2023_10_11T06_17_39.611971
- 路径：
**/details_harness|arc:challenge|25_2023-10-11T06-17-39.611971.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|arc:challenge|25_2023-10-11T06-17-39.611971.parquet
- 路径：
- 分割：2023_10_11T06_17_39.611971
-
harness_drop_3
- 分割：2023_10_24T15_07_12.352820
- 路径：
**/details_harness|drop|3_2023-10-24T15-07-12.352820.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|drop|3_2023-10-24T15-07-12.352820.parquet
- 路径：
- 分割：2023_10_24T15_07_12.352820
-
harness_gsm8k_5
- 分割：2023_10_24T15_07_12.352820
- 路径：
**/details_harness|gsm8k|5_2023-10-24T15-07-12.352820.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|gsm8k|5_2023-10-24T15-07-12.352820.parquet
- 路径：
- 分割：2023_10_24T15_07_12.352820
-
harness_hellaswag_10
- 分割：2023_10_11T06_17_39.611971
- 路径：
**/details_harness|hellaswag|10_2023-10-11T06-17-39.611971.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|hellaswag|10_2023-10-11T06-17-39.611971.parquet
- 路径：
- 分割：2023_10_11T06_17_39.611971
-
harness_hendrycksTest_5
- 分割：2023_10_11T06_17_39.611971
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-anatomy|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-astronomy|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-business_ethics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-college_biology|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-college_chemistry|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-college_computer_science|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-college_mathematics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-college_medicine|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-college_physics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-computer_security|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-conceptual_physics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-econometrics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-electrical_engineering|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-formal_logic|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-global_facts|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_biology|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_chemistry|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_computer_science|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_european_history|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_geography|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_mathematics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_microeconomics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_physics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_psychology|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_statistics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_us_history|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-high_school_world_history|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-human_aging|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-human_sexuality|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-international_law|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-jurisprudence|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-logical_fallacies|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-machine_learning|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-management|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-marketing|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-medical_genetics|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-miscellaneous|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-moral_disputes|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-moral_scenarios|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-nutrition|5_2023-10-11T06-17-39.611971.parquet - 路径：
**/details_harness|hendrycksTest-philosophy|5_2023-10-11T06-17-39.611971.parquet - 路径：`**/details_harness|hendrycks
- 路径：
- 分割：2023_10_11T06_17_39.611971
搜集汇总
数据集介绍
构建方式
在大型语言模型评测领域，精确评估模型性能对于推动技术进步至关重要。该数据集是在Open LLM Leaderboard框架下，对模型uukuguy/speechless-code-mistral-orca-7b-v1.0进行评测过程中自动生成的。数据集包含64个配置项，每个配置对应一项被评估的任务，例如ARC挑战、DROP、GSM8K等。数据来源于两次独立的评测运行，每次运行的结果以时间戳命名的分割形式存储，而'train'分割则始终指向最新一次运行的结果。此外，还设有一个名为'results'的额外配置，用于汇总所有运行的聚合指标。
特点
该数据集的核心特色在于其结构化的评测记录方式。它通过多配置设计，将不同任务（如常识推理、数学问题解答、阅读理解等）的评测细节分门别类地存储，便于研究者针对特定能力进行分析。每次评测运行的结果均保留为独立分割，保证了历史数据可追溯性，而'train'分割的动态更新机制则确保了用户总能获取最新评测数据。数据集以Parquet格式存储，具有高效的压缩与读取性能，适合大规模数据分析。
使用方法
研究者可通过Hugging Face的datasets库便捷地加载该数据集。例如，使用load_dataset函数指定数据集名称和配置名称（如'harness_winogrande_5'），并选择分割（如'train'）即可获取特定任务的评测细节。加载后的数据可用于复现模型在各项基准上的表现，或进一步分析模型在不同维度上的优势与不足。对于需要跨任务对比的研究，可通过遍历不同配置来整合多维度评测结果。
背景与挑战
背景概述
随着大语言模型在自然语言处理领域的蓬勃发展，如何系统性地评估其多维度能力已成为学界与工业界共同关注的核心议题。Open LLM Leaderboard作为HuggingFace社区于2023年发起的一项基准评测计划，旨在通过标准化流程追踪各类开源模型的性能演进。由HuggingFace团队Clementine等人主导构建的speechless-code-mistral-orca-7b-v1.0评测数据集，正是该框架下的关键组成部分。该数据集围绕代码生成与推理任务，整合了ARC-Challenge、HellaSwag、GSM8K、Winogrande等经典基准，以及涵盖57个学科领域的MMLU测试集，为模型在常识推理、数学解题、知识问答等维度的表现提供了系统化评估工具。其创建标志着开源模型评测从单一指标迈向多任务、多维度量化分析的重要转型，对推动语言模型的可复现性研究与公平比较产生了深远影响。
当前挑战
该数据集所应对的核心挑战在于，大语言模型在复杂推理与知识应用场景下的能力评估缺乏统一度量衡。传统评测往往聚焦于特定任务，难以反映模型在跨领域泛化、逻辑推演及事实准确性上的综合表现。构建过程中面临的技术难点包括：如何从57个MMLU子任务中提取均衡且具代表性的评估样本，避免学科偏差；如何设计GSM8K等数学推理任务的Few-shot提示模板，确保评估结果不受提示工程干扰；以及如何标准化不同基准的评分逻辑（如DROP的F1值与EM指标），使其在Leaderboard框架下具备可比性。此外，评测结果的时间戳管理与多轮运行数据的版本控制，也对数据集的可持续维护提出了工程化挑战。
常用场景
经典使用场景
在大型语言模型（LLM）蓬勃发展的时代，对模型进行系统性、多维度评估已成为推动技术进步的核心环节。Open LLM Leaderboard上的评估数据集，如针对uukuguy/speechless-code-mistral-orca-7b-v1.0的详细评测记录，为研究者提供了标准化的性能度量框架。该数据集最经典的使用场景是作为模型能力的‘体检报告’，通过涵盖ARC挑战、HellaSwag、MMLU、GSM8K、Winogrande及DROP等多样化的任务配置，对模型在常识推理、数学解题、文本理解与生成等方面的表现进行量化分析。研究者可借助该数据集便捷地加载各任务的细粒度结果，从而横向对比不同模型在相同基准下的优劣，或纵向追踪同一模型在多次迭代中的进步轨迹，为模型优化提供数据驱动的决策依据。
实际应用
在实际应用中，该数据集的价值超越了学术圈，成为技术选型与产品落地的关键参考。当企业或开发者需要从众多开源模型中挑选适合特定业务场景的基座模型时，该数据集提供的多任务性能对比能够直观反映模型在逻辑推理、文本理解与生成等维度的表现。例如，在构建智能客服或代码辅助工具时，可依据GSM8K的数学推理分数评估模型的逻辑严谨性，或通过DROP的阅读理解分数检验其信息提取能力。此外，该数据集的标准化格式支持高效的数据加载与自动化分析，使得模型评测可以无缝集成到持续集成（CI）流程中，确保每次模型更新都能快速获得性能反馈，从而加速从研发到部署的迭代周期。
衍生相关工作
该评测数据集作为Open LLM Leaderboard生态系统的核心组件，催生了一系列具有深远影响的后续工作。基于其提供的结构化评估框架，研究者得以开展模型能力的细粒度剖析，例如探索不同规模模型在MMLU学科知识上的表现差异，或分析指令微调对GSM8K数学推理的提升效果。此外，该数据集还启发了多个衍生研究方向，包括通过对比不同运行轮次的结果来研究模型训练的稳定性，以及利用‘results’配置中的聚合指标构建更全面的模型排名系统。这些工作不仅深化了对LLM能力边界与内在机理的理解，也推动了评估范式的标准化进程，使得社区能够以更统一、更严谨的方式交流模型进展，最终加速了新一代更强大、更可靠的预训练语言模型的诞生。
以上内容由遇见数据集搜集并总结生成
