codys12/LlamaKD
收藏官方服务：
资源简介：
该数据集是使用Fineweb-Edu数据生成的Llama 3.1 405B模型的top 32 logprobs。仅使用长度大于等于1024的序列，并截断至1024。最终将达到10B个tokens。该数据集特别适用于知识蒸馏实验。数据集结构包括输入维度为[1024]，目标维度为[1024, 2, topk(32)]。
This dataset is the top 32 logprobs of Llama 3.1 405B using Fineweb-Edu data. Only sequences >= 1024 will be used, and truncated to 1024. This will eventually be 10B tokens. The dataset structure includes inputs and targets, with targets containing topk(32) logprobs.
提供机构：
codys12
