llava-sae-explanations-5k

This is the explanation generated for the first 5k features for sae 131k trained on llava-next-llama3-8B.

The revised one is the explanation using revised prompt and cached on the lmms-lab/sae-sample-cache-dataset. The legacy one is the old explanations with an old prompt and use the first 15% of the LLaVA-NeXT-Data.

In our paper, the reported evaluation result are based on the revised ones and feature probing is done on both of the versions

本说明针对基于llava-next-llama3-8B训练的稀疏自编码器（SAE）131k模型的前5000个特征生成。经修订的特征说明采用了更新后的提示词生成，并缓存于lmms-lab/sae-sample-cache-dataset数据集中。旧版特征说明则基于旧版提示词生成，且使用了LLaVA-NeXT-Data数据集的前15%数据。本论文中报告的评估结果均基于经修订的特征说明，而特征探查实验同时针对两个版本的特征说明展开。

搜集汇总

背景与挑战

背景概述

该数据集为llava-next-llama3-8B模型训练的前5k特征生成解释，包含修订版和旧版两个版本，其中修订版采用改进提示，评估基于此版本进行。