open-llm-leaderboard/details_RWKV__rwkv-raven-7b

该数据集是在评估模型RWKV/rwkv-raven-7b时自动生成的，主要用于在Open LLM Leaderboard上进行评估。数据集包含64个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果存储在不同的分割中，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，数据集还包含一个名为results的配置，用于存储所有运行的聚合结果，并在Open LLM Leaderboard上显示聚合指标。This dataset was automatically generated during the evaluation of the RWKV/rwkv-raven-7b model, and is primarily intended for evaluation on the Open LLM Leaderboard. The dataset includes 64 configurations, each corresponding to one evaluation task. Generated from two separate runs, the dataset stores the results of each run in distinct dataset splits, with the split names derived from the timestamps of the respective runs. The "train" split always points to the most recent evaluation results. Furthermore, the dataset contains a configuration named "results" that stores the aggregated results across all runs and displays the aggregated metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 RWKV/rwkv-raven-7b 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示聚合指标在 Open LLM Leaderboard 上。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_RWKV__rwkv-raven-7b", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-17T20:05:27.789159 运行 的最新结果： python { "all": { "em": 0.10968959731543625, "em_stderr": 0.0032003177207929542, "f1": 0.15844798657718087, "f1_stderr": 0.0033868319824486323, "acc": 0.3160387943079502, "acc_stderr": 0.007545486731728054 }, "harness|drop|3": { "em": 0.10968959731543625, "em_stderr": 0.0032003177207929542, "f1": 0.15844798657718087, "f1_stderr": 0.0033868319824486323 }, "harness|gsm8k|5": { "acc": 0.003032600454890068, "acc_stderr": 0.0015145735612245395 }, "harness|winogrande|5": { "acc": 0.6290449881610103, "acc_stderr": 0.013576399902231568 } }

配置详情

• harness_arc_challenge_25

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|arc:challenge|25_2023-09-03T10:19:01.730626.parquet

• harness_drop_3

  • 分割: 2023_09_17T20_05_27.789159, latest
  • 路径: **/details_harness|drop|3_2023-09-17T20-05-27.789159.parquet

• harness_gsm8k_5

  • 分割: 2023_09_17T20_05_27.789159, latest
  • 路径: **/details_harness|gsm8k|5_2023-09-17T20-05-27.789159.parquet

• harness_hellaswag_10

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hellaswag|10_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: 多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-abstract_algebra|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_anatomy_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-anatomy|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_astronomy_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-astronomy|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-business_ethics|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-clinical_knowledge|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_college_biology_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-college_biology|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-college_chemistry|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-college_computer_science|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-college_mathematics|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-college_medicine|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_college_physics_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-college_physics|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_computer_security_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-computer_security|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-conceptual_physics|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_econometrics_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-econometrics|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-electrical_engineering|5_2023-09-03T10:19:01.730626.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分割: 2023_09_03T10_19_01.730626, latest
  • 路径: **/details_harness|hendrycksTest-elementary_mathematics|5_2023-09-03T10:19:01.730626.parquet

以上是数据集的详细概述，包括数据集的简介、结构、加载示例、最新结果以及各个配置的详细信息。

搜集汇总

数据集介绍

构建方式

该数据集是Open LLM Leaderboard在评估RWKV/rwkv-raven-7b模型时自动生成的产物，旨在系统化记录模型在多项基准任务上的表现。数据集的构建依托于HuggingFace生态，通过运行语言模型评估工具（harness）对模型进行多维度评测，并将每次评估的详细结果以Parquet格式存储。数据集包含64个配置，每个配置对应一个被评估的具体任务，如ARC挑战、DROP、GSM8K等。每次运行的结果被组织为独立的分割（split），以时间戳命名，而'train'分割始终指向最新一次的评估结果。此外，一个名为'results'的额外配置汇总了所有运行的聚合指标，用于在Leaderboard上展示模型的综合性能。

特点

该数据集的核心特点在于其结构化的多任务评估框架与版本管理机制。它涵盖了从常识推理（如HellaSwag）到数学问题求解（如GSM8K）再到领域知识测试（如MMLU的57个子任务）的广泛评测范围，为研究者提供了模型能力的全景视图。每个任务的配置独立存储，便于按需加载特定领域的细粒度评估数据。数据集通过时间戳分割实现了评估历史轨迹的追踪，使得模型在不同时间点的性能变化可被回溯分析。同时，'results'配置提供的聚合指标使得模型间的横向对比变得直观高效，这些设计共同构成了一个严谨、透明且可复现的模型评估数据集。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集。例如，使用'load_dataset'函数并指定配置名称（如'harness_winogrande_5'）和分割（如'train'），即可获取特定任务的最新评估细节。每个配置下的数据文件以Parquet格式存储，支持高效的列式读取。对于希望进行深入分析的场景，可以依据时间戳加载历史运行数据，从而观察模型性能的演变趋势。此外，'results'配置提供了所有任务的聚合结果，便于快速生成模型在Leaderboard上的综合评分。这种设计使得数据集不仅适用于模型性能的验证，也支持对评估流程本身的研究与优化。

背景与挑战

背景概述

随着大规模语言模型（LLMs）的蓬勃发展，如何系统、公正地评估其性能成为自然语言处理领域的核心议题。在此背景下，Hugging Face团队于2023年创建了Open LLM Leaderboard，旨在为社区提供一个标准化、透明化的模型评测平台。该数据集作为RWKV/rwkv-raven-7b模型在该排行榜上的评估记录，由Hugging Face的Clémentine Fourrier等人主导维护，其核心研究问题在于通过多任务、多轮次的自动化评测，揭示模型在常识推理、数学计算、阅读理解等多维度能力上的真实表现。该数据集的建立不仅为RWKV这一非Transformer架构的模型提供了横向对比的基准，更推动了开源大模型评估体系的规范化进程，对后续模型迭代与社区协作产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：大语言模型的评估需覆盖从常识推理（如Winogrande）到数学解题（如GSM8K）的多元任务，而不同任务间的难度差异与指标兼容性（如准确率与F1分数）对综合排名构成严峻考验。此外，构建过程中亦遭遇显著困难，包括评测任务配置的标准化（64个不同配置需统一数据格式）、多次运行结果的时间戳对齐与版本管理（如训练分割始终指向最新结果），以及海量评测日志的自动化存储与高效检索，这些均对数据管道的稳健性与可扩展性提出了极高要求。

常用场景

经典使用场景

在大型语言模型（LLM）的评估领域，open-llm-leaderboard/details_RWKV__rwkv-raven-7b 数据集作为 Open LLM Leaderboard 的自动化评测产物，其核心用途在于系统性地量化 RWKV/rwkv-raven-7b 模型在多项自然语言理解与推理任务上的表现。该数据集涵盖了 ARC-Challenge、HellaSwag、MMLU、Winogrande、GSM8K 及 DROP 等经典基准测试，通过细粒度的配置与分次运行记录，为研究者提供了模型在常识推理、数学解题、阅读理解及世界知识掌握等维度的精准性能画像。这种结构化的评测数据不仅用于横向对比不同模型的优劣，更是验证模型改进方向（如架构优化或训练策略调整）的关键依据。

解决学术问题

该数据集直面当前大模型研究中两大核心挑战：一是缺乏统一、透明且可复现的模型性能评估框架，二是难以精准定位模型在特定能力维度上的短板。通过整合多个权威基准测试的细粒度结果，并公开每次评测的原始日志与聚合指标，它有效解决了评估过程中因数据集选择偏差、评测流程不透明所导致的结论不可比问题。其意义在于，使学术界能够基于标准化数据诊断模型在常识推理（如 Winogrande 准确率约 62.9%）、数学推理（如 GSM8K 准确率仅 0.3%）等任务中的真实水平，从而推动对模型泛化能力与鲁棒性的深度剖析。这一透明化评测范式极大促进了 LLM 评估科学性的提升。

衍生相关工作

该数据集衍生了一系列关于 LLM 评估方法论与模型诊断的经典工作。例如，研究者基于其多任务结果矩阵，提出了针对 RWKV 系列模型的细粒度能力分析框架，揭示了线性注意力架构在长程依赖与符号推理任务上的固有局限。此外，该数据集常被用作基准，验证新型评估指标（如校准误差、对抗鲁棒性）的有效性，或作为训练数据增强与提示工程策略的验证平台。其开源、可复现的特性也催生了诸如“评测结果可视化工具”与“跨模型性能对比排行榜”等衍生项目，进一步丰富了 LLM 评估生态，推动领域内形成以数据驱动、透明可溯为核心的评价文化。