Eliahu/LoWRA-Bench

LoWRA Bench数据集旨在评估预微调（Pre-FT）权重恢复方法的性能。该数据集包括三个预训练的源模型：一个在ImageNet-1K上预训练的视觉Transformer（ViT）、Mistral-7B-v0.1和Stable Diffusion 1.5。这些模型涵盖了视觉和自然语言处理（NLP）领域的监督和自监督任务，以及生成和判别任务。对于每个源模型，数据集包含了15个在不同数据集、任务和目标上微调的LoRA模型。数据集总共包含超过8,000层，分为四个子集，每个子集对应一个不同的源模型。

原始信息汇总

数据集概述

数据集名称

LoWRA-Bench

数据集配置

数据集包含以下配置：

• mistral-7b-v0.1-dpo
• mistral-7b-v0.1-sft
• stable-diffusion-1.5
• vit

数据集特征

每个配置包含以下特征：

• task_name: 字符串类型
• layer_model: 字符串类型
• layer_name: 字符串类型
• pre_ft_name: 字符串类型
• pre_ft_weight: 序列类型，包含浮点数
• lora_X_name: 字符串类型
• lora_X_A_weight: 序列类型，包含浮点数
• lora_X_B_weight: 序列类型，包含浮点数
• lora_X_rank: 整数类型
• lora_X_alpha: 整数或浮点数类型

其中 X 表示 LoRA 层的编号，范围从 0 到 14。

数据集分割

每个配置包含一个训练集分割：

• train: 包含数据字节数和样本数量

数据集大小

• mistral-7b-v0.1-dpo:
  • 下载大小: 3419054382 字节
  • 数据集大小: 8661875544 字节
  • 样本数量: 128
• mistral-7b-v0.1-sft:
  • 下载大小: 5791365905 字节
  • 数据集大小: 8661875544 字节
  • 样本数量: 128
• stable-diffusion-1.5:
  • 下载大小: 1724766354 字节
  • 数据集大小: 2561357508 字节
  • 样本数量: 264
• vit:
  • 下载大小: 111481540 字节
  • 数据集大小: 93231628 字节
  • 样本数量: 24