open-llm-leaderboard/details_Vmware__open-llama-7b-v2-open-instruct
收藏Hugging Face2023-09-22 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_Vmware__open-llama-7b-v2-open-instruct
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在Open LLM Leaderboard上对模型Vmware/open-llama-7b-v2-open-instruct进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个被评估的任务。数据集由3次运行生成，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库加载数据集的示例，并包含了特定运行的最新结果。
提供机构：
open-llm-leaderboard原始信息汇总
数据集概述
数据集摘要
该数据集是在评估模型 Vmware/open-llama-7b-v2-open-instruct 在 Open LLM Leaderboard 上的自动创建的。数据集包含 64 个配置，每个配置对应一个评估任务。
数据集结构
- 数据集由 3 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
- "train" 分割始终指向最新的结果。
- 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Vmware__open-llama-7b-v2-open-instruct", "harness_winogrande_5", split="train")
最新结果
以下是 2023-09-22T14:52:40.191492 运行的最新结果： python { "all": { "em": 0.19966442953020133, "em_stderr": 0.0040937947224084096, "f1": 0.2588475251677862, "f1_stderr": 0.004161644087840314, "acc": 0.3587752434966338, "acc_stderr": 0.010343619065437147 }, "harness|drop|3": { "em": 0.19966442953020133, "em_stderr": 0.0040937947224084096, "f1": 0.2588475251677862, "f1_stderr": 0.004161644087840314 }, "harness|gsm8k|5": { "acc": 0.07429871114480667, "acc_stderr": 0.007223844172845568 }, "harness|winogrande|5": { "acc": 0.6432517758484609, "acc_stderr": 0.013463393958028725 } }
配置详情
-
config_name: harness_arc_challenge_25
- split: 2023_07_19T16_27_20.574844
- path: **/details_harness|arc:challenge|25_2023-07-19T16:27:20.574844.parquet
- split: latest
- path: **/details_harness|arc:challenge|25_2023-07-19T16:27:20.574844.parquet
- split: 2023_07_19T16_27_20.574844
-
config_name: harness_drop_3
- split: 2023_09_16T12_17_47.553479
- path: **/details_harness|drop|3_2023-09-16T12-17-47.553479.parquet
- split: 2023_09_22T14_52_40.191492
- path: **/details_harness|drop|3_2023-09-22T14-52-40.191492.parquet
- split: latest
- path: **/details_harness|drop|3_2023-09-22T14-52-40.191492.parquet
- split: 2023_09_16T12_17_47.553479
-
config_name: harness_gsm8k_5
- split: 2023_09_16T12_17_47.553479
- path: **/details_harness|gsm8k|5_2023-09-16T12-17-47.553479.parquet
- split: 2023_09_22T14_52_40.191492
- path: **/details_harness|gsm8k|5_2023-09-22T14-52-40.191492.parquet
- split: latest
- path: **/details_harness|gsm8k|5_2023-09-22T14-52-40.191492.parquet
- split: 2023_09_16T12_17_47.553479
-
config_name: harness_hellaswag_10
- split: 2023_07_19T16_27_20.574844
- path: **/details_harness|hellaswag|10_2023-07-19T16:27:20.574844.parquet
- split: latest
- path: **/details_harness|hellaswag|10_2023-07-19T16:27:20.574844.parquet
- split: 2023_07_19T16_27_20.574844
-
config_name: harness_hendrycksTest_5
- split: 2023_07_19T16_27_20.574844
- path:
- **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-anatomy|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-astronomy|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-college_biology|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-college_physics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-computer_security|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-econometrics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-formal_logic|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-global_facts|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-human_aging|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-international_law|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-machine_learning|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-management|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-marketing|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-nutrition|5_2023-07-19T16:27:20.574844.parquet
- **/details_harness|hendrycksTest-philosophy|5_2023-07-19T16:27:20.574844.parquet
- path:
- split: 2023_07_19T16_27_20.574844
搜集汇总
数据集介绍
构建方式
该数据集是在Open LLM Leaderboard上对Vmware/open-llama-7b-v2-open-instruct模型进行自动化评估过程中生成的。数据集由64个配置组成，每个配置对应一个评估任务，例如arc_challenge、drop、gsm8k、hellaswag以及涵盖多学科的hendrycksTest等。数据来源于三次独立的运行，每次运行的结果被存储为对应的分割（split），分割名称以运行的时间戳命名，而'train'分割始终指向最新一次运行的结果。此外，一个名为'results'的额外配置存储了所有运行结果的聚合指标，用于在Leaderboard上计算和展示综合性能。
特点
该数据集的结构化设计极具特色，通过64个任务配置实现了对模型多维度能力的细粒度评估。每个配置内包含以时间戳命名的多个分割，便于研究者追溯不同时间点模型的表现变化，而'train'分割则自动同步至最新结果，确保数据的时效性。'results'配置进一步将各任务的指标（如准确率、F1分数等）汇总，提供了宏观视角下的模型性能概览。这种分层架构不仅支持纵向比较不同运行间的波动，也便于横向对比模型在各任务上的优劣。
使用方法
使用该数据集时，可通过HuggingFace的datasets库加载特定任务配置下的数据。例如，加载winogrande任务的最新结果，只需调用load_dataset函数并指定配置名为'harness_winogrande_5'、分割为'train'。若需访问历史运行数据，可将分割名称替换为对应的时间戳（如'2023_09_22T14_52_40.191492'）。此外，通过加载'results'配置，可获取所有任务的聚合指标，便于快速评估模型整体表现。数据集以Parquet格式存储，支持高效读取和处理。
背景与挑战
背景概述
大语言模型（LLM）的快速发展催生了对其性能进行标准化评估的迫切需求。在此背景下，由HuggingFace团队主导、Clementine Fourrier等人于2023年发起的Open LLM Leaderboard应运而生，旨在为开源大模型提供一套公平、可复现的评测基准。该数据集是Vmware公司开发的Open-Llama-7B-v2-open-instruct模型在Leaderboard上的评测记录，其核心研究问题在于衡量该指令微调模型在多种自然语言理解与推理任务中的表现。通过涵盖ARC挑战、HellaSwag、MMLU、GSM8K及DROP等多样化评测任务，该数据集不仅为模型性能提供了多维度量化依据，更推动了开源社区对模型能力透明化比较的范式建立，对后续模型迭代与优化方向产生了深远影响。
当前挑战
该数据集所面临的挑战主要源于大语言模型评估领域的复杂性与构建过程的严谨性。在领域问题层面，模型需应对从常识推理（如Winogrande）到数学解题（GSM8K）再到阅读理解（DROP）的异构任务，每个任务对语义理解、逻辑推理与知识迁移能力的要求截然不同，使得单一模型难以在所有维度上取得均衡表现。在构建过程中，挑战体现在评测流程的标准化与可复现性上：每次评估需精确控制提示格式、few-shot样本数量（如5-shot或25-shot）及随机种子，确保不同模型间的比较具备统计意义；同时，数据集需记录多次运行的时间戳与结果快照，以应对评测环境波动带来的偏差，这要求数据管理具备版本控制与动态更新的能力，从而保障Leaderboard的权威性与可信度。
常用场景
经典使用场景
在大型语言模型评测领域，该数据集作为Open LLM Leaderboard的标准化评测记录，被广泛用于追踪模型在多个经典基准任务上的表现。其覆盖了ARC-Challenge、HellaSwag、MMLU、GSM8K、DROP和WinoGrande等涵盖常识推理、数学求解、阅读理解与知识问答的多样化任务，为研究者提供了细粒度的模型能力剖析。通过加载不同时间戳的评测分片，用户能够复现模型在特定时刻的评测结果，从而进行跨版本或跨模型的性能对比。
实际应用
在实际应用中，该数据集为模型开发者与部署方提供了关键的决策支持。企业或研究机构在挑选基础模型时，可依据此数据集中的多维度评测结果，评估模型在推理、知识储备与数学能力等方面的综合水平。例如，GSM8K上的准确率直接反映了模型的数学推理实用性，而WinoGrande得分则揭示了其常识理解能力，这些指标共同指导了模型在智能客服、教育辅助等场景中的选型与优化。
衍生相关工作
该数据集催生了一系列围绕大模型能力剖析与评测标准化的衍生工作。HuggingFace团队基于此类数据持续优化Open LLM Leaderboard的评测流程，推动了如Language Model Evaluation Harness等开源评测框架的广泛采用。同时，研究者利用这些细粒度的评测记录，开展了针对模型在特定任务上失败案例的分析工作，进而提出了诸如指令微调策略改进、少样本学习增强等优化方案，形成了从评测到改进的闭环研究范式。
以上内容由遇见数据集搜集并总结生成
