遇见数据集

open-llm-leaderboard/details_KatyTheCutie__LemonadeRP-4.5.3

收藏
Hugging Face2024-03-11 更新2024-06-11 收录
数据链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_KatyTheCutie__LemonadeRP-4.5.3数据链接链接失效反馈
官方服务：

资源简介：

该数据集是在Open LLM Leaderboard上对模型KatyTheCutie/LemonadeRP-4.5.3进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，train分割始终指向最新结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Hugging Face datasets库加载数据集的示例。

该数据集是在Open LLM Leaderboard上对模型KatyTheCutie/LemonadeRP-4.5.3进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，train分割始终指向最新结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Hugging Face datasets库加载数据集的示例。

提供机构：
open-llm-leaderboard
原始信息汇总

数据集概述

数据集名称

  • pretty_name: Evaluation run of KatyTheCutie/LemonadeRP-4.5.3

数据集描述

数据集组成

  • 数据集结构: 包含63个配置，每个配置对应一个评估任务。
  • 数据集创建: 数据集由1次运行创建，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳命名。
  • 额外配置: “results”配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_KatyTheCutie__LemonadeRP-4.5.3", "harness_winogrande_5", split="train")

最新结果

数据集配置详情

配置列表

  • config_name: harness_arc_challenge_25

    • data_files:
      • split: 2024_03_11T04_45_15.527508
        • path: /details_harness|arc:challenge|25_2024-03-11T04-45-15.527508.parquet
      • split: latest
        • path: /details_harness|arc:challenge|25_2024-03-11T04-45-15.527508.parquet

  • config_name: harness_gsm8k_5

    • data_files:
      • split: 2024_03_11T04_45_15.527508
        • path: /details_harness|gsm8k|5_2024-03-11T04-45-15.527508.parquet
      • split: latest
        • path: /details_harness|gsm8k|5_2024-03-11T04-45-15.527508.parquet

  • config_name: harness_hellaswag_10

    • data_files:
      • split: 2024_03_11T04_45_15.527508
        • path: /details_harness|hellaswag|10_2024-03-11T04-45-15.527508.parquet
      • split: latest
        • path: /details_harness|hellaswag|10_2024-03-11T04-45-15.527508.parquet

  • config_name: harness_hendrycksTest_5

    • data_files:
      • split: 2024_03_11T04_45_15.527508
        • path:
          • /details_harness|hendrycksTest-abstract_algebra|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-anatomy|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-astronomy|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-business_ethics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-clinical_knowledge|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-college_biology|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-college_chemistry|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-college_computer_science|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-college_mathematics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-college_medicine|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-college_physics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-computer_security|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-conceptual_physics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-econometrics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-electrical_engineering|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-elementary_mathematics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-formal_logic|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-global_facts|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_biology|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_chemistry|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_computer_science|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_european_history|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_geography|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_government_and_politics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_macroeconomics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_mathematics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_microeconomics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_physics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_psychology|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_statistics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_us_history|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-high_school_world_history|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-human_aging|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-human_sexuality|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-international_law|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-jurisprudence|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-logical_fallacies|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-machine_learning|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-management|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-marketing|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-medical_genetics|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-miscellaneous|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-moral_disputes|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-moral_scenarios|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-nutrition|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-philosophy|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-prehistory|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-professional_accounting|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-professional_law|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-professional_medicine|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-professional_psychology|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-public_relations|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-security_studies|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-sociology|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-us_foreign_policy|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-virology|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-world_religions|5_2024-03-11T04-45-15.527508.parquet
      • split: latest
        • path:
          • /details_harness|hendrycksTest-abstract_algebra|5_2024-03-11T04-45-15.527508.parquet
          • /details_harness|hendrycksTest-anatomy|5_2024-03-11T04-45-15.527508.parquet
          • **/details_harness|hendrycksTest-astronomy|5_2024-03-11T04-45-15.527
搜集汇总
数据集介绍
open-llm-leaderboard/details_KatyTheCutie__LemonadeRP-4.5.3 数据集图片
构建方式
该数据集是在Open LLM Leaderboard评估框架下，针对模型KatyTheCutie/LemonadeRP-4.5.3进行自动化评估时生成的。数据集包含63个配置，每个配置对应一项评估任务，所有任务结果均来源于单次运行。运行记录以时间戳命名，作为每个配置中的特定分割，而'train'分割则始终指向最新结果。此外，一个名为'results'的额外配置存储了所有聚合后的评估指标，用于在排行榜上计算和展示综合性能。
特点
数据集的结构设计精巧，每个配置独立存储一项任务的详细评估数据，便于研究者按需访问。时间戳分割机制保留了每次运行的历史记录，而'latest'分割则确保用户能便捷获取最新成果。'results'配置进一步整合了全局指标，如准确率及其标准误差，覆盖了从常识推理到专业学科的多维度评测，展现了模型在57个细分任务上的表现全貌。
使用方法
使用该数据集时，可通过Hugging Face的datasets库加载特定配置和分割。例如，调用load_dataset函数并指定任务名称（如'harness_winogrande_5'）和分割（如'train'），即可获取最新评估细节。对于需要历史数据的场景，可按时间戳分割名称加载特定运行的结果。此外，'results'配置提供了全局聚合指标，适合进行模型性能的概览分析。
背景与挑战
背景概述
随着大语言模型（LLM）的蓬勃发展，如何公正、全面地评估其性能成为学界与工业界共同关注的焦点。Hugging Face团队于2023年发起了Open LLM Leaderboard项目，旨在通过标准化评测体系，为社区提供一个透明的模型能力比较平台。该数据集正是该项目对模型KatyTheCutie/LemonadeRP-4.5.3进行自动化评估的产物，创建于2024年3月11日。它涵盖了ARC-Challenge、HellaSwag、MMLU（涵盖57个学科）、TruthfulQA、Winogrande和GSM8K等63项任务配置，系统性地测量了模型在推理、常识、知识、诚实性、常识推理和数学能力等多个维度的表现。该数据集不仅为社区提供了LemonadeRP-4.5.3模型的详细性能快照，更通过公开、可复现的评测流程，推动了LLM评估的标准化进程，对后续模型研发和比较具有重要参考价值。
当前挑战
该数据集所反映的挑战主要体现在两个层面。在领域问题层面，它直面LLM评估中的核心难题：如何超越单一基准测试的局限，构建涵盖多维度、多任务、多学科的综合性评估体系。例如，MMLU的57个学科对模型的知识广度与深度提出了极高要求，而GSM8K的数学推理任务则考验模型的逻辑链生成能力，模型在不同任务上的得分差异（如GSM8K仅46.3%，而部分MMLU子任务超85%）揭示了当前LLM在知识泛化与推理鲁棒性上的不均衡性。在数据构建层面，挑战在于如何确保63个异构任务配置的标准化集成与结果对齐，包括不同任务格式（如多项选择、生成式问答）的统一处理、评测时间戳的管理（如将2024-03-11T04:45:15.527508次运行结果标记为最新），以及大规模评测过程中计算资源的有效调度与结果一致性校验。这些挑战共同指向了LLM评估从碎片化走向系统化过程中必须克服的技术瓶颈。
常用场景
经典使用场景
该数据集作为Open LLM Leaderboard评估体系的核心组成部分，主要用于标准化评测大语言模型在多样化任务上的综合性能。其经典使用场景涵盖常识推理（如ARC-Challenge）、文本蕴含（如HellaSwag）、数学推理（如GSM8K）、多学科知识问答（如MMLU的57个学科子集）以及常识消歧（如WinoGrande）等关键领域。通过这一数据集，研究者能够系统性地对比不同模型在零样本或少样本条件下的表现，从而精准定位模型的优势与短板。
实际应用
在实际应用中，该数据集为模型选型与部署提供了关键参考依据。开发者可依据其在各任务上的表现，选择最适合特定业务场景的模型，例如在需要高精度数学推理的金融领域或需广泛知识覆盖的教育咨询场景中做出明智决策。此外，该数据集还支持持续集成与自动化评估流程，使得模型迭代过程中的性能监控与回归测试变得高效可行，从而加速了从研究到落地的转化。
衍生相关工作
该数据集衍生了一系列具有深远影响的相关工作，包括但不限于多维度模型能力分析框架的构建、基于Leaderboard结果的模型性能预测方法，以及针对特定任务（如数学推理或知识问答）的专项优化策略。这些工作不仅深化了对模型行为规律的理解，还催生了诸如模型集成、知识蒸馏与自适应提示等前沿技术。同时，开放的数据格式与代码接口也激发了社区贡献，推动了评测任务库的持续扩展与更新。
以上内容由遇见数据集搜集并总结生成
关于我们
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
数发科官网www.sfktec.com
联系我们
selectdataset@iotsh.com.cn
商业合作
数据驱动未来，携手共赢发展
二维码
社区交流群
二维码
科研交流群
商业服务