CLIP-ViT-H-14-laion2B-s32B-b79K-all-checkpoints
收藏魔搭社区2025-12-04 更新2025-10-11 收录
下载链接：
https://modelscope.cn/datasets/laion/CLIP-ViT-H-14-laion2B-s32B-b79K-all-checkpoints
下载链接
链接失效反馈官方服务：
资源简介：
This repository contains the intermediate checkpoints for the model https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K.
Each "epoch" corresponds to an additional 32B/256 samples seen.
The purpose of releasing these checkpoints and optimizer states is to enable analysis.
For the first 121 "epcohs", training was done with float16 mixed precision before switching to bfloat16 after a loss blow up.
本仓库包含模型https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K的中间检查点（intermediate checkpoint）。
每个训练轮次「epoch」对应模型额外学习的320亿/256个样本。
发布此类检查点与优化器状态的目的在于支持相关分析研究。
在前121个训练轮次中，模型采用float16混合精度训练；在出现损失暴增后，后续训练切换为bfloat16精度。
提供机构：
maas
创建时间：
2025-10-03
