open-llm-leaderboard/details_TehVenom__PPO_Shygmalion-V8p4_Dev-6b

该数据集是在Open LLM Leaderboard上对模型TehVenom/PPO_Shygmalion-V8p4_Dev-6b进行评估时自动生成的。数据集由64个配置组成，每个配置对应一个被评估的任务。它由2次运行创建，每次运行在每个配置中表示为特定的分割，以运行的时间戳命名。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个使用Python中的datasets库加载运行细节的示例。This dataset was automatically generated during the evaluation of the model TehVenom/PPO_Shygmalion-V8p4_Dev-6b on the Open LLM Leaderboard. The dataset comprises 64 configurations, each corresponding to one evaluated task. It is constructed from two runs, where each run is represented as a specific split under each configuration, with splits named after the timestamps of their respective runs. The `train` split always points to the most recent results. An additional configuration titled `results` stores the aggregated results across all runs, which are utilized to compute and display the aggregated metrics on the Open LLM Leaderboard. The README also provides an example of loading run details using the `datasets` library in Python.

原始信息汇总

数据集概述

数据集来源

该数据集是在对模型 TehVenom/PPO_Shygmalion-V8p4_Dev-6b 进行评估运行时自动创建的，评估运行在 Open LLM Leaderboard 上进行。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集由 2 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_TehVenom__PPO_Shygmalion-V8p4_Dev-6b", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-19T06:04:59.904183 运行的最新结果： python { "all": { "em": 0.001363255033557047, "em_stderr": 0.00037786091964606367, "f1": 0.05447671979865783, "f1_stderr": 0.001290676035215164, "acc": 0.3325412749009229, "acc_stderr": 0.00893055367392792 }, "harness|drop|3": { "em": 0.001363255033557047, "em_stderr": 0.00037786091964606367, "f1": 0.05447671979865783, "f1_stderr": 0.001290676035215164 }, "harness|gsm8k|5": { "acc": 0.02577710386656558, "acc_stderr": 0.004365042953621815 }, "harness|winogrande|5": { "acc": 0.6393054459352802, "acc_stderr": 0.013496064394234024 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|arc:challenge|25_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|arc:challenge|25_2023-07-19T15:59:40.627268.parquet

• harness_drop_3

  • 分割：2023_10_19T06_04_59.904183
  • 路径：**/details_harness|drop|3_2023-10-19T06-04-59.904183.parquet
  • 分割：latest
  • 路径：**/details_harness|drop|3_2023-10-19T06-04-59.904183.parquet

• harness_gsm8k_5

  • 分割：2023_10_19T06_04_59.904183
  • 路径：**/details_harness|gsm8k|5_2023-10-19T06-04-59.904183.parquet
  • 分割：latest
  • 路径：**/details_harness|gsm8k|5_2023-10-19T06-04-59.904183.parquet

• harness_hellaswag_10

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hellaswag|10_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hellaswag|10_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T15:59:40.627268.parquet 等 40 个文件
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T15:59:40.627268.parquet 等 40 个文件

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-07-19T15:59:40.627268.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-07-19T15:59:40.627268.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_07_19T15_59_40.627268
  • 路径：`**/details_harness|hendrycksTest-electrical_engineering|5_2023-07

搜集汇总

数据集介绍

构建方式

在大规模语言模型评估的背景下，该数据集是Open LLM Leaderboard在评测模型TehVenom/PPO_Shygmalion-V8p4_Dev-6b时自动生成的产物。数据集由64个配置组成，每个配置对应一个被评测的任务，这些配置涵盖了从常识推理到专业知识的多维度评估。数据集的构建基于两次独立的运行，每次运行的结果以时间戳命名的分割形式存储，而'train'分割则始终指向最新一次运行的结果。此外，一个名为'results'的额外配置汇总了所有运行的综合指标，用于在排行榜上计算和展示聚合性能。

特点

该数据集最显著的特征在于其结构化与时间序列的整合能力。它通过64个任务配置，系统性地捕捉了模型在ARC挑战、DROP、GSM8K、HellaSwag以及涵盖57个学科的HendrycksTest等基准上的表现。每个配置内包含多个时间戳分割，使得研究人员能够追溯模型在不同时间点的评估细节，从而洞察性能的演变趋势。'results'配置则提供了如准确率、F1分数等关键指标的聚合视图，为模型间的横向对比提供了标准化依据。

使用方法

使用该数据集时，研究人员可通过Hugging Face的datasets库便捷地加载特定任务配置。例如，通过load_dataset函数指定配置名称如'harness_winogrande_5'，并选择分割为'train'即可获取最新评估结果。对于需要历史数据的场景，可选用具体的时间戳分割（如'2023_10_19T06_04_59.904183'）来加载特定运行时的细节。数据集以Parquet格式存储，确保了高效的数据读取与处理，适用于深度分析模型在各项任务上的细粒度表现。

背景与挑战

背景概述

在大规模语言模型（LLM）迅猛发展的时代背景下，如何系统、公正地评估模型在多样化任务上的表现，已成为自然语言处理领域的核心议题。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在构建一个开放、透明的模型评测平台，推动LLM性能的标准化比较。本数据集正是该排行榜对TehVenom/PPO_Shygmalion-V8p4_Dev-6b模型进行评估的产物，创建于2023年10月，由Clementine等人主导维护。该数据集记录了模型在ARC、HellaSwag、MMLU、GSM8K、Winogrande等多项基准任务上的细粒度结果，涵盖推理、常识、数学与阅读理解等维度，为研究者提供了模型能力图谱的量化洞察。其影响力在于，它不仅支撑了排行榜的实时排名与可视化，更成为社区追踪LLM演进轨迹、诊断模型短板的重要依据。

当前挑战

该数据集所面临的挑战首先体现在所评测的领域问题上：LLM在复杂推理（如GSM8K数学题）与精确知识问答（如DROP）中表现仍显著不足，例如该模型在GSM8K上的准确率仅约2.58%，在DROP上的精确匹配率不足0.14%，暴露出模型在符号推理与细粒度信息提取方面的结构性缺陷。构建过程中，挑战则集中于评测流程的标准化与可重复性：需协调多个异构任务（如MMLU的57个子领域）的配置参数与评估脚本，确保每次运行结果的可比性；同时，数据集需动态追踪多次运行（如2023年7月与10月的两次评估）并以时间戳区分版本，对数据版本管理与存储结构提出了较高要求。此外，评测结果仅覆盖了有限的任务子集，如何扩展至更多样化的场景并防止过拟合于基准测试，亦是持续存在的难题。

常用场景

经典使用场景

在大规模语言模型评估领域，该数据集作为Open LLM Leaderboard的评估记录载体，经典用途在于对特定模型（如TehVenom/PPO_Shygmalion-V8p4_Dev-6b）进行多维度性能基准测试。它涵盖了ARC挑战、DROP、GSM8K、HellaSwag、WinoGrande及HendrycksTest等丰富任务，为研究者提供细粒度的准确率、F1分数等指标，从而系统性地衡量模型在常识推理、数学计算、文本理解与知识问答等核心能力上的表现。

解决学术问题

该数据集解决了大语言模型评估标准化与可复现性的学术难题。通过统一的任务配置与结果聚合格式，它使研究者能够公平比较不同模型在相同基准上的优劣，避免因评估流程差异导致的结论偏差。其意义在于推动模型性能透明化，助力识别特定领域的短板，如GSM8K上仅2.58%的准确率揭示了模型在数学推理中的显著不足，为后续优化指明了方向。

衍生相关工作

该数据集衍生了一系列评估标准化工作，如HuggingFace团队基于其格式构建的Open LLM Leaderboard社区排行榜，激励了全球研究者提交模型并公开性能。它启发了后续研究中对评估粒度的细化，例如将HendrycksTest拆分为57个学科子任务，推动了多领域知识评估的精细化。此外，其parquet存储格式与可复现加载方式，成为其他评估数据集设计的模板。