open-llm-leaderboard/details_Trelis__TinyLlama-chat-SFT
收藏Hugging Face2024-03-29 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_Trelis__TinyLlama-chat-SFT
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在Open LLM Leaderboard上对模型Trelis/TinyLlama-chat-SFT进行评估时自动创建的。它由63个配置组成，每个配置对应一个评估任务。数据集由1次运行创建，每次运行作为每个配置中的一个特定拆分，使用运行的时间戳命名。train拆分始终指向最新结果。一个额外的配置results存储了运行的所有聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。可以使用Python中的datasets库加载数据集，如提供的代码片段所示。还提供了2024-03-29T21:01:51.381865运行的最新结果，显示了不同任务的各种准确率指标。
该数据集是在Open LLM Leaderboard上对模型Trelis/TinyLlama-chat-SFT进行评估时自动创建的。它由63个配置组成，每个配置对应一个评估任务。数据集由1次运行创建，每次运行作为每个配置中的一个特定拆分，使用运行的时间戳命名。train拆分始终指向最新结果。一个额外的配置results存储了运行的所有聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。可以使用Python中的datasets库加载数据集，如提供的代码片段所示。还提供了2024-03-29T21:01:51.381865运行的最新结果，显示了不同任务的各种准确率指标。
提供机构：
open-llm-leaderboard
原始信息汇总
数据集概述
- 名称: Evaluation run of Trelis/TinyLlama-chat-SFT
- 创建目的: 自动创建于模型Trelis/TinyLlama-chat-SFT在Open LLM Leaderboard的评估运行期间。
- 组成: 包含63个配置，每个配置对应一个评估任务。
- 数据来源: 数据集由1次运行创建，每次运行对应一个特定的分割，分割名称使用运行的时间戳。
- 特殊配置: 配置“results”存储所有运行的聚合结果，用于计算和显示聚合指标。
数据集结构
- 配置详情:
- 每个配置包含一个或多个数据文件，每个文件对应一个特定的任务和时间戳。
- 示例加载代码: python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Trelis__TinyLlama-chat-SFT", "harness_winogrande_5", split="train")
最新结果
- 结果示例:
- 整体准确率(acc): 0.2637240637678488
- 任务特定准确率，如"harness|arc:challenge|25"的准确率(acc): 0.318259385665529
- 详细结果包含多个任务的准确率和其他相关指标。
数据集加载
- 加载方式: 使用
load_dataset函数，指定数据集名称、配置名称和分割类型。 - 分割类型: 包括特定时间戳的分割和“latest”分割，后者指向最新结果。
