alvarobartt/gists

该🤗数据集包含作者在GitHub上的一些Gists，这些Gists被移植到HuggingFace以便更清晰和易于维护。可用的Gists包括用于上传因果语言模型到HuggingFace Hub的脚本和用于在4位精度下使用Q-LoRA微调因果语言模型的脚本。

原始信息汇总

Gists 数据集

概述

该数据集包含作者在 GitHub Gists 上的一些代码片段，地址为 https://gist.github.com/alvarobartt，为了更清晰和易于维护，这些代码片段被移植到这里。

可用代码片段

• causallm-to-hub.py: 用于将本地的 AutoModelForCausalLM 模型上传到 🤗 Hub，适用于在 LLM 微调后使用，因为有时 accelerate 在推送至 Hub 时会卡住，所以作者倾向于在每个 epoch 数据被转储到磁盘后，通过单独的进程进行上传。

• dpo-qlora-4bit.py: 用于使用 Q-LoRA 在 4-bit 模式下微调 AutoModelForCausalLM 模型，该微调过程使用 🤗 trl.DPOTrainer，基于 transformers，适用于在低资源环境下对 LMs 进行意图对齐，约需 80GB 的 VRAM。