pharaouk/dharma-1

Dharma-1是一个精心策划的基准测试集，旨在为LLM（大语言模型）的零样本和少样本任务提供评估目标。它包含了多个顶级基准测试的混合，如AGIEval、Bigbench、MMLU等，并且每个基准测试的重要子部分都经过了均衡选择，以最好地代表原始基准测试的目标。数据集的大小分别为3000、450和90个样本，分别对应Dharma-1、Dharma-mini和Dharma-micro。此外，Dharma-1已经集成到Axolotl中，方便用户优化训练管道、模型架构和数据集。

原始信息汇总

数据集概述

设计目的

• 该数据集是一个精心策划的基准集，旨在适应新一代用户主要使用大型语言模型（LLM）进行零样本和单样本任务的需求。

训练目标

• 鼓励模型开发者停止使用传统的训练目标（如评估损失、训练损失），而是将轻量级的Dharma作为评估目标。

内容组成

• 该数据集融合了多个顶级基准测试的内容。