ViT-H-14_laion2b

该数据集包含模型https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K的中间检查点，每个epoch对应于额外的(32B / 256)样本，总共256个epoch。发布这些检查点和优化器状态的目的是为了进行分析。在前121个epoch中，训练使用了float16混合精度，之后由于损失爆炸而切换到bfloat16。