laion/CLIP-ViT-H-14-laion2B-s32B-b79K-all-checkpoints
收藏Hugging Face2026-02-04 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/laion/CLIP-ViT-H-14-laion2B-s32B-b79K-all-checkpoints
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含模型https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K的中间检查点，每个epoch对应于额外的(32B / 256)样本，总共256个epoch。发布这些检查点和优化器状态的目的是为了进行分析。在前121个epoch中，训练使用了float16混合精度，之后由于损失爆炸而切换到bfloat16。
This repository contains the intermediate checkpoints for the model https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K. Each epoch corresponds to an additional (32B / 256) samples seen, consituting total of 256 epochs. The purpose of releasing these checkpoints and optimizer states is to enable analysis. For the first 121 epochs, training was done with float16 mixed precision before switching to bfloat16 after a loss blow up.
提供机构：
laion
原始信息汇总
数据集概述
许可证
- MIT许可证
内容描述
- 该存储库包含模型 https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K 的中间检查点。
- 每个“epoch”对应于额外的 32B/256 个样本。
- 发布这些检查点和优化器状态的目的是为了分析。
训练细节
- 前 121 个“epoch”使用 float16 混合精度进行训练，之后在损失爆炸后切换到 bfloat16。
