open-llm-leaderboard-old/details_JCX-kcuf__Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora
收藏Hugging Face2024-03-24 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_JCX-kcuf__Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora
下载链接
链接失效反馈官方服务：
资源简介：
数据集是在模型[JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora](https://huggingface.co/JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora)在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。一个额外的配置"results"存储了运行的所有聚合结果，并用于计算和显示[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。
数据集是在模型[JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora](https://huggingface.co/JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora)在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。一个额外的配置"results"存储了运行的所有聚合结果，并用于计算和显示[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。
提供机构：
open-llm-leaderboard-old
原始信息汇总
数据集概述
数据集简介
该数据集是在对模型 JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora 进行评估运行时自动创建的，评估运行在 Open LLM Leaderboard 上进行。
数据集结构
- 配置数量：63个配置，每个配置对应一个评估任务。
- 运行次数：数据集从1次运行中创建。每个运行在每个配置中作为一个特定的分片存在，分片名称使用运行的时间戳。
- 分片类型：每个配置包含一个名为“train”的分片，指向最新的结果。
额外配置
- 结果配置：名为“results”的额外配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_JCX-kcuf__Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora", "harness_winogrande_5", split="train")
最新结果
以下是 2024-03-24T16:07:05.850212 运行的最新结果：
python { "all": { "acc": 0.48203048798816117, "acc_stderr": 0.03436919087724533, "acc_norm": 0.48780295074236285, "acc_norm_stderr": 0.03512291787794411, "mc1": 0.31211750305997554, "mc1_stderr": 0.01622075676952093, "mc2": 0.4661770562104121, "mc2_stderr": 0.016124639688724834 }, "harness|arc:challenge|25": { "acc": 0.4786689419795222, "acc_stderr": 0.014598087973127106, "acc_norm": 0.514505119453925, "acc_norm_stderr": 0.014605241081370056 }, "harness|hellaswag|10": { "acc": 0.4933280223063135, "acc_stderr": 0.004989337148572082, "acc_norm": 0.6937860983867755, "acc_norm_stderr": 0.004599776866717472 }, ... }
配置详情
-
配置名称：harness_arc_challenge_25
- 数据文件：
- 分片：2024_03_24T16_07_05.850212
- 路径：
**/details_harness|arc:challenge|25_2024-03-24T16-07-05.850212.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|arc:challenge|25_2024-03-24T16-07-05.850212.parquet
- 路径：
- 分片：2024_03_24T16_07_05.850212
- 数据文件：
-
配置名称：harness_gsm8k_5
- 数据文件：
- 分片：2024_03_24T16_07_05.850212
- 路径：
**/details_harness|gsm8k|5_2024-03-24T16-07-05.850212.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|gsm8k|5_2024-03-24T16-07-05.850212.parquet
- 路径：
- 分片：2024_03_24T16_07_05.850212
- 数据文件：
-
配置名称：harness_hellaswag_10
- 数据文件：
- 分片：2024_03_24T16_07_05.850212
- 路径：
**/details_harness|hellaswag|10_2024-03-24T16-07-05.850212.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|hellaswag|10_2024-03-24T16-07-05.850212.parquet
- 路径：
- 分片：2024_03_24T16_07_05.850212
- 数据文件：
-
配置名称：harness_hendrycksTest_5
- 数据文件：
- 分片：2024_03_24T16_07_05.850212
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-anatomy|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-astronomy|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-business_ethics|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-clinical_knowledge|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-college_biology|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-college_chemistry|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-college_computer_science|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-college_mathematics|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-college_medicine|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-college_physics|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-computer_security|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-conceptual_physics|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-econometrics|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-electrical_engineering|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-elementary_mathematics|5_2024-03-24T16-07-05.850212.parquet**/details_harness|hendrycksTest-formal_logic|5_2024-03-24T16-07-05.850212.parquet}
- 路径：
- 分片：2024_03_24T16_07_05.850212
- 数据文件：
搜集汇总
数据集介绍
构建方式
在大型语言模型评估领域，Open LLM Leaderboard为模型性能的量化比较提供了标准化平台。该数据集源自对JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora模型的一次完整评估运行，自动生成于HuggingFace的Open LLM Leaderboard评测流程中。数据集包含63个配置，每个配置对应一个被评估的任务，如ARC挑战、HellaSwag、GSM8K及涵盖多学科知识的MMLU等。评估结果被组织为多个分片，每个分片以运行时间戳命名，其中'train'分片始终指向最新结果。此外，一个名为'results'的独立配置存储了所有聚合指标，用于在排行榜上计算和展示综合表现。
特点
该数据集的核心特色在于其结构化的评估记录方式，能够细致反映模型在多种自然语言理解与推理任务上的表现。每个任务配置均独立存储，便于研究者按需聚焦特定领域。数据集中包含的指标丰富，如准确率（acc）、标准化准确率（acc_norm）及其标准误差，以及针对TruthfulQA的多选指标（mc1、mc2），为深入分析模型能力提供了多维视角。最新结果显示，模型在Winogrande任务上达到67.4%的准确率，而在GSM8K数学推理任务上仅获18.6%，凸显了模型在不同认知维度上的能力差异。
使用方法
研究者可通过HuggingFace的datasets库便捷地加载该数据集。例如，使用load_dataset函数并指定任务配置名称（如'harness_winogrande_5'）及分片（如'train'）即可获取特定任务的评估详情。对于需要批量分析的用户，数据集支持通过配置列表遍历所有63个任务，或直接读取'results'配置获取聚合结果。代码示例中展示了如何快速加载Winogrande任务的详细数据，为复现排行榜结果或进行自定义分析提供了清晰的技术路径。
背景与挑战
背景概述
在大型语言模型（LLM）蓬勃发展的浪潮中，如何系统性地评估模型在多样化任务上的表现，已成为推动该领域进步的关键议题。Hugging Face社区于2023年发起的Open LLM Leaderboard，旨在为研究者提供一个标准化、可复现的模型评测平台。该数据集记录了模型JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora在2024年3月的一次评测运行详情，涵盖ARC挑战赛、HellaSwag、GSM8K、TruthfulQA、Winogrande以及涵盖57个学科的MMLU基准测试等众多任务。其核心研究问题在于，通过精细化的分任务性能指标，揭示微调策略（如基于GPT-3.5生成的80k对话数据）对Llama-2-7B基座模型在常识推理、数学求解、知识理解及事实一致性等方面的增益效果，为后续模型优化与对比提供了珍贵的实证数据。
当前挑战
该数据集所面临的挑战多维且深刻。在领域问题层面，所解决的评估任务覆盖了从常识推理（如HellaSwag）到复杂数学（如GSM8K）、从知识问答（如MMLU）到对抗性事实检验（如TruthfulQA）的广泛范畴，模型在GSM8K上仅取得18.6%的准确率，暴露出在符号推理与多步计算方面的显著短板，反映了当前LLM在精确数学推理上的通用瓶颈。在构建过程中，该数据集需处理来自63个不同配置的评测结果，每个配置对应一项独立任务，且需管理多次运行的时间戳分裂与最新结果聚合，这要求数据存储结构具备高度的灵活性与一致性，确保研究者能准确回溯特定时间点的模型表现，并避免因任务覆盖不全而产生的偏差。
常用场景
经典使用场景
该数据集源于对JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora模型在Open LLM Leaderboard上的评估过程，系统性地记录了模型在63个不同配置下的细粒度评测结果。经典使用场景聚焦于大语言模型的多维度能力剖析，涵盖ARC挑战赛、HellaSwag、GSM8K等推理与知识基准，以及涵盖57个学科的MMLU测试集。研究者可通过加载特定任务的parquet文件，精准复现模型在常识推理、数学解题、科学知识等维度的表现，为模型能力图谱的构建提供结构化数据支撑。
衍生相关工作
该数据集衍生了一系列重要的相关工作，包括推动Open LLM Leaderboard榜单的动态更新与社区驱动的模型排名，以及催生了针对评估结果的可视化分析工具和模型能力雷达图。此外，基于数据集中各任务的误差分析，研究者开发了模型脆弱性诊断方法，例如识别在MMLU特定子领域（如形式逻辑、大学数学）表现不佳的共性模式，进而引导出面向知识短板的数据增强与课程学习策略，深化了对大语言模型能力边界与提升路径的认知。
数据集最近研究
最新研究方向
在大语言模型迅猛发展的浪潮中，针对Llama-2-7B这类基础模型进行指令微调与知识蒸馏已成为提升其综合能力的关键路径。该数据集记录了JCX-kcuf/Llama-2-7b-chat-hf-gpt-3.5-80k-base_lora模型在Open LLM Leaderboard上的完整评估过程，涵盖ARC挑战赛、HellaSwag、MMLU多学科知识、TruthfulQA及GSM8K等63项任务。前沿研究方向聚焦于利用GPT-3.5生成的高质量合成数据对Llama-2进行知识蒸馏与对话能力增强，从而在保持模型轻量化的同时显著提升其在常识推理、数学求解及专业学科问答上的表现。这一评估体系不仅为蒸馏模型的泛化能力提供了量化基准，也推动了开源社区在低成本、高性能对话系统构建上的探索，其影响在于加速了从通用基座模型向领域适配模型的转化，并为后续研究提供了可复现的标准化评测框架。
以上内容由遇见数据集搜集并总结生成
