open-llm-leaderboard/details_ZhangShenao__0.001_idpo_declr_4iters_iter_3

hugging_face2024-04-08 更新2024-06-11 收录

下载链接：

https://hf-mirror.com/datasets/open-llm-leaderboard/details_ZhangShenao__0.001_idpo_declr_4iters_iter_3

下载链接

链接失效反馈

资源简介：

该数据集是在模型ZhangShenao/0.001_idpo_declr_4iters_iter_3的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

提供机构：

open-llm-leaderboard

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 ZhangShenao/0.001_idpo_declr_4iters_iter_3 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集结构

配置数量：63个配置，每个配置对应一个评估任务。
数据来源：数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
最新结果："train" 分割始终指向最新的结果。
聚合结果：额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ZhangShenao__0.001_idpo_declr_4iters_iter_3", "harness_winogrande_5", split="train")

最新结果

以下是 2024-04-08T08:47:34.953273 运行的最新结果：

python { "all": { "acc": 0.6050759758521479, "acc_stderr": 0.03311893846776277, "acc_norm": 0.6114459885903942, "acc_norm_stderr": 0.03380911687393187, "mc1": 0.3488372093023256, "mc1_stderr": 0.016684419859986886, "mc2": 0.5033400649330749, "mc2_stderr": 0.01588434641111232 }, "harness|arc:challenge|25": { "acc": 0.5981228668941979, "acc_stderr": 0.014327268614578276, "acc_norm": 0.6305460750853242, "acc_norm_stderr": 0.014104578366491885 }, "harness|hellaswag|10": { "acc": 0.6579366660027883, "acc_stderr": 0.004734311435009194, "acc_norm": 0.8498307110137423, "acc_norm_stderr": 0.0035650718701954478 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.34, "acc_stderr": 0.04760952285695236, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695236 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5703703703703704, "acc_stderr": 0.042763494943765995, "acc_norm": 0.5703703703703704, "acc_norm_stderr": 0.042763494943765995 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.631578947368421, "acc_stderr": 0.03925523381052932, "acc_norm": 0.631578947368421, "acc_norm_stderr": 0.03925523381052932 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.6, "acc_stderr": 0.04923659639173309, "acc_norm": 0.6, "acc_norm_stderr": 0.04923659639173309 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6754716981132075, "acc_stderr": 0.02881561571343211, "acc_norm": 0.6754716981132075, "acc_norm_stderr": 0.02881561571343211 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7222222222222222, "acc_stderr": 0.03745554791462456, "acc_norm": 0.7222222222222222, "acc_norm_stderr": 0.03745554791462456 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.41, "acc_stderr": 0.049431107042371025, "acc_norm": 0.41, "acc_norm_stderr": 0.049431107042371025 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.47, "acc_stderr": 0.050161355804659205, "acc_norm": 0.47, "acc_norm_stderr": 0.050161355804659205 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5838150289017341, "acc_stderr": 0.03758517775404947, "acc_norm": 0.5838150289017341, "acc_norm_stderr": 0.03758517775404947 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4803921568627451, "acc_stderr": 0.04971358884367405, "acc_norm": 0.4803921568627451, "acc_norm_stderr": 0.04971358884367405 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.74, "acc_stderr": 0.044084400227680794, "acc_norm": 0.74, "acc_norm_stderr": 0.044084400227680794 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5234042553191489, "acc_stderr": 0.03265019475033582, "acc_norm": 0.5234042553191489, "acc_norm_stderr": 0.03265019475033582 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.4824561403508772, "acc_stderr": 0.04700708033551038, "acc_norm": 0.4824561403508772, "acc_norm_stderr": 0.04700708033551038 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.503448275862069, "acc_stderr": 0.04166567577101579, "acc_norm": 0.503448275862069, "acc_norm_stderr": 0.04166567577101579 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.42328042328042326, "acc_stderr": 0.025446365634406772, "acc_norm": 0.42328042328042326, "acc_norm_stderr": 0.025446365634406772 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.35714285714285715, "acc_stderr": 0.04285714285714281, "acc_norm": 0.35714285714285715, "acc_norm_stderr": 0.04285714285714281 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.38, "acc_stderr": 0.04878317312145633, "acc_norm": 0.38, "acc_norm_stderr": 0.04878317312145633 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7322580645161291, "acc_stderr": 0.025189006660212385, "acc_norm": 0.7322580645161291, "acc_norm_stderr": 0.025189006660212385 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5073891625615764, "acc_stderr": 0.035176035403610105, "acc_norm": 0.5073891625615764, "acc_norm_stderr": 0.035176035403610105 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.69, "acc_stderr": 0.04648231987117316, "acc_norm": 0.69, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7272727272727273, "acc_stderr": 0.0347769116216366, "acc_norm": 0.7272727272727273, "acc_norm_stderr": 0.0347769116216366 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7727272727272727, "acc_stderr": 0.029857515673386417, "acc_norm": 0.7727272727272727, "acc_norm_stderr": 0.029857515673386417 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8290155440414507, "acc_stderr": 0.02717121368316453, "acc_norm": 0.8290155440414507, "acc_norm_stderr": 0.02717121368316453 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5666666666666667, "acc_stderr": 0.025124653525885113, "acc_norm": 0.5666666666666667, "acc_norm_stderr": 0.025124653525885113 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.29259259259259257, "acc_stderr": 0.027

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4099个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

flames-and-smoke-datasets

该仓库总结了多个公开的火焰和烟雾数据集，包括DFS、D-Fire dataset、FASDD、FLAME、BoWFire、VisiFire、fire-smoke-detect-yolov4、Forest Fire等数据集。每个数据集都有详细的描述，包括数据来源、图像数量、标注信息等。

github 收录

LIDC-IDRI

LIDC-IDRI 数据集包含来自四位经验丰富的胸部放射科医师的病变注释。 LIDC-IDRI 包含来自 1010 名肺部患者的 1018 份低剂量肺部 CT。

OpenDataLab 收录

World Development Indicators (WDI)

世界发展指标（World Development Indicators, WDI）是由世界银行发布的一个综合数据集，涵盖了全球200多个国家和地区的经济、社会和环境指标。数据集包括人口统计、教育、健康、经济、环境等多个领域的指标，旨在提供全球发展状况的全面视图。

databank.worldbank.org 收录

PU Dataset

德国帕德博恩大学（PU）轴承故障诊断数据集提供了丰富的轴承故障信号数据，包括内圈、外圈和滚动体故障等多种类型的轴承故障。与其他数据集相比，PU数据集的特色在于包含了大量的电机驱动系统故障数据，为轴承故障诊断研究提供了一个全面的实验平台。

github 收录

Climate Data Store (CDS)

Climate Data Store (CDS) 是一个提供气候相关数据的平台，涵盖了从历史气候数据到未来气候预测的广泛信息。数据集包括但不限于气象观测数据、再分析数据、气候模型输出、气候影响评估工具等。

cds.climate.copernicus.eu 收录