open-llm-leaderboard-old/details_facebook__opt-13b
收藏Hugging Face2023-12-02 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_facebook__opt-13b
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型facebook/opt-13b时自动创建的，评估过程在Open LLM Leaderboard上进行。数据集包含64个配置，每个配置对应一个评估任务。数据集由4次运行生成，每次运行的结果作为一个特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置，存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。
该数据集是在评估模型facebook/opt-13b时自动创建的，评估过程在Open LLM Leaderboard上进行。数据集包含64个配置，每个配置对应一个评估任务。数据集由4次运行生成，每次运行的结果作为一个特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置，存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。
原始信息汇总
数据集概述
数据集来源
该数据集是在评估模型 facebook/opt-13b 在 Open LLM Leaderboard 上的运行过程中自动创建的。
数据集结构
- 配置数量：64个配置，每个配置对应一个评估任务。
- 运行次数：数据集由4次运行创建，每次运行在每个配置中作为一个特定的分片存在，分片名称使用运行的时间戳。
- 最新结果："train" 分片始终指向最新的结果。
- 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的汇总指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_facebook__opt-13b", "harness_gsm8k_5", split="train")
最新结果
以下是 2023-12-02T16:45:23.193106 运行的最新结果： python { "all": { "acc": 0.017437452615617893, "acc_stderr": 0.0036054868679982863 }, "harness|gsm8k|5": { "acc": 0.017437452615617893, "acc_stderr": 0.0036054868679982863 } }
配置详情
以下是部分配置及其数据文件路径：
-
harness_arc_challenge_25
- 分片：2023_07_19T18_53_15.812068
- 路径：
**/details_harness|arc:challenge|25_2023-07-19T18:53:15.812068.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|arc:challenge|25_2023-07-19T18:53:15.812068.parquet
- 路径：
- 分片：2023_07_19T18_53_15.812068
-
harness_drop_3
- 分片：2023_09_09T11_29_00.543425
- 路径：
**/details_harness|drop|3_2023-09-09T11-29-00.543425.parquet
- 路径：
- 分片：2023_10_13T09_11_13.715169
- 路径：
**/details_harness|drop|3_2023-10-13T09-11-13.715169.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|drop|3_2023-10-13T09-11-13.715169.parquet
- 路径：
- 分片：2023_09_09T11_29_00.543425
-
harness_gsm8k_5
- 分片：2023_09_09T11_29_00.543425
- 路径：
**/details_harness|gsm8k|5_2023-09-09T11-29-00.543425.parquet
- 路径：
- 分片：2023_10_13T09_11_13.715169
- 路径：
**/details_harness|gsm8k|5_2023-10-13T09-11-13.715169.parquet
- 路径：
- 分片：2023_12_02T16_45_23.193106
- 路径：
**/details_harness|gsm8k|5_2023-12-02T16-45-23.193106.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|gsm8k|5_2023-12-02T16-45-23.193106.parquet
- 路径：
- 分片：2023_09_09T11_29_00.543425
-
harness_hellaswag_10
- 分片：2023_07_19T18_53_15.812068
- 路径：
**/details_harness|hellaswag|10_2023-07-19T18:53:15.812068.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|hellaswag|10_2023-07-19T18:53:15.812068.parquet
- 路径：
- 分片：2023_07_19T18_53_15.812068
-
harness_hendrycksTest_5
- 分片：2023_07_19T18_53_15.812068
- 路径：多个路径，例如
**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T18:53:15.812068.parquet
- 路径：多个路径，例如
- 分片：latest
- 路径：多个路径，例如
**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T18:53:15.812068.parquet
- 路径：多个路径，例如
- 分片：2023_07_19T18_53_15.812068
-
其他配置
- 包括
harness_hendrycksTest_abstract_algebra_5,harness_hendrycksTest_anatomy_5,harness_hendrycksTest_astronomy_5等，每个配置都有相应的分片和路径。
- 包括
搜集汇总
数据集介绍
构建方式
该数据集源自对facebook/opt-13b模型在Open LLM Leaderboard上的评估过程，通过自动化流程构建而成。数据集包含64个配置，每个配置对应一项评估任务，例如ARC挑战、GSM8K、HellaSwag等。每次评估运行的结果被存储为独立的split，并以运行时间戳命名，而“train”split则始终指向最新结果。此外，一个名为“results”的额外配置汇总了所有运行的聚合指标，用于在排行榜上计算和展示综合表现。
特点
数据集的核心特点在于其结构化的多配置设计，覆盖了从常识推理到数学问题求解的广泛任务领域。每个任务配置都保留了多次运行的历史记录，使得研究者能够追踪模型性能随时间的变化趋势。通过“latest”split，用户可以便捷地获取最新评估结果，而“results”配置则提供了全局视角的聚合数据，便于进行模型间的横向比较与深入分析。
使用方法
使用该数据集时，研究者可通过HuggingFace的datasets库加载特定任务的配置及split。例如，加载GSM8K任务的最新结果，只需指定配置名“harness_gsm8k_5”和split为“train”。对于历史数据的回溯，则可以选择对应时间戳的split。此外，通过访问“results”配置，可以一键获取所有任务的汇总指标，从而高效地进行模型性能的评估与对比分析。
背景与挑战
背景概述
随着大规模语言模型（LLMs）的蓬勃发展，如何系统性地评估其多维能力成为核心议题。Open LLM Leaderboard应运而生，由HuggingFace团队于2023年创建，旨在为社区提供透明、可复现的模型评测基准。该数据集聚焦于facebook/opt-13b模型，通过64种配置涵盖ARC挑战、HellaSwag、GSM8K、MMLU等多样化任务，覆盖常识推理、数学求解与专业知识等维度。其核心研究问题在于：能否通过标准化评测框架揭示模型在不同场景下的真实表现？自发布以来，该数据集已成为模型间横向对比的重要参考，推动了LLM评估从碎片化向体系化演进，为后续研究奠定了方法论基础。
当前挑战
当前面临的核心挑战体现在两个层面。领域层面，LLM评估仍受限于任务泛化性不足——例如GSM8K数学推理任务中，模型准确率仅达1.74%，暴露出复杂符号推理的薄弱环节，如何设计更具判别性的基准以捕捉模型深层认知缺陷成为难题。构建层面，数据集需持续追踪模型迭代（如四次运行时间戳各异），不同评测轮次间的结果一致性维护、多任务配置的版本兼容性管理，以及自动生成元数据与原始评测日志的关联映射，均对数据管道的鲁棒性与可追溯性提出严苛要求。
常用场景
经典使用场景
在大型语言模型评估的学术研究中，该数据集作为Open LLM Leaderboard的标准化评估记录，核心用途是系统性地追踪facebook/opt-13b模型在多样化任务上的表现。数据集涵盖64个配置，对应ARC挑战、HellaSwag、GSM8K等经典基准，每个配置按时间戳分割存储历次运行结果，最新结果统一归入'train'分割。研究者可便捷地通过load_dataset接口加载特定任务的细粒度评估数据，从而复现模型性能、比较不同时间点的优化效果，或对模型在数学推理、常识理解等维度的能力进行纵向分析。
解决学术问题
该数据集精准回应了大语言模型评估中两大核心挑战：评估结果的可复现性与跨时间维度的可比性。通过结构化存储每次运行的完整细节（包括任务配置、准确率及标准误），它解决了传统评估中因随机性导致的结果波动问题，使学术社区能基于同一基准验证模型改进效果。其意义在于为模型性能的客观比较提供了透明且可追溯的数据基础，推动了评估标准的规范化，进而助力研究者更可靠地诊断模型弱点，如OPT-13B在GSM8K上仅1.74%的准确率揭示了其数学推理能力的显著局限。
衍生相关工作
围绕该数据集已衍生出一系列重要学术工作。Open LLM Leaderboard本身作为评估基础设施，催生了多种模型比较框架，如基于其数据格式构建的跨模型性能分析工具。研究者借鉴其多任务、多时间戳的设计理念，提出了动态评估协议，用于追踪模型在持续学习场景下的能力演变。此外，该数据集的细粒度结果（如每项任务的置信区间）被用于开发新的模型鲁棒性指标，推动了对评估噪声的系统性建模。这些工作共同强化了大语言模型评估的科学性，使社区能够更严谨地衡量技术进步。
以上内容由遇见数据集搜集并总结生成
