unsloth-jobs

该README描述了一组使用Unsloth在HF Jobs上微调LLMs和VLMs的训练脚本。它包括前提条件、VLM微调和持续预训练的数据格式要求、使用示例、可用脚本及其基础模型和任务、常见选项以及使用提示。内容主要关注脚本及其使用，而非特定数据集，但确实提供了VLM微调和持续预训练所需的数据格式信息。

This README details a collection of training scripts for fine-tuning Large Language Models (LLMs) and Vision-Language Models (VLMs) via Unsloth on Hugging Face Jobs. It covers prerequisites, data format requirements for VLM fine-tuning and continued pre-training, usage examples, available scripts paired with their respective base models and tasks, common configuration options, and usage tips. The content primarily focuses on the scripts and their application rather than specific datasets, yet it does provide the necessary data format information for VLM fine-tuning and continued pre-training.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: Unsloth Training Scripts for HF Jobs
• 数据集地址: https://huggingface.co/datasets/uv-scripts/unsloth-jobs
• 标签: uv-script, unsloth, training, hf-jobs, vlm, fine-tuning
• 主要用途: 提供用于在HF Jobs（按需云GPU）上使用Unsloth微调LLM和VLM的UV脚本。

数据集内容

• 脚本类型: 包含用于视觉语言模型（VLM）微调和持续预训练的Python脚本。
• 核心脚本:
  • sft-qwen3-vl.py: 基于Qwen3-VL-8B模型进行VLM微调。
  • sft-gemma3-vlm.py: 基于Gemma 3 4B模型进行VLM微调（较小模型）。
  • continued-pretraining.py: 基于Qwen3-0.6B模型进行领域适应（持续预训练）。

数据格式要求

VLM微调

• 必需列: images 和 messages。
• images: PIL.Image对象的列表。
• messages: 遵循特定角色和内容结构的消息列表。
• 示例数据集: https://huggingface.co/datasets/davanstrien/iconclass-vlm-sft

持续预训练

• 必需列: 包含文本的列（默认列名为text）。
• 可使用--text-column参数指定其他列名。

使用前提

• 拥有Hugging Face账户及访问令牌。
• 已安装HF CLI。
• 在Hub上拥有符合格式要求的数据集。

使用方法

查看脚本选项

bash uv run https://huggingface.co/datasets/uv-scripts/unsloth-jobs/raw/main/sft-qwen3-vl.py --help

VLM微调示例命令

bash hf jobs uv run https://huggingface.co/datasets/uv-scripts/unsloth-jobs/raw/main/sft-qwen3-vl.py --flavor a100-large --secrets HF_TOKEN --timeout 4h -- --dataset your-username/your-vlm-dataset --num-epochs 1 --eval-split 0.2 --output-repo your-username/my-vlm

持续预训练示例命令

bash hf jobs uv run https://huggingface.co/datasets/uv-scripts/unsloth-jobs/raw/main/continued-pretraining.py --flavor a100-large --secrets HF_TOKEN -- --dataset your-username/domain-corpus --text-column content --max-steps 1000 --output-repo your-username/domain-llm

带Trackio监控的示例命令

bash hf jobs uv run https://huggingface.co/datasets/uv-scripts/unsloth-jobs/raw/main/sft-qwen3-vl.py --flavor a100-large --secrets HF_TOKEN -- --dataset your-username/dataset --trackio-space your-username/trackio --output-repo your-username/my-model

常用参数

参数	描述	默认值
--dataset	Hugging Face数据集ID	必需
--output-repo	保存训练后模型的位置	必需
--max-steps	训练步数	500
--num-epochs	训练轮数（替代步数）	-
--eval-split	用于评估的数据比例（如0.2）	0（禁用）
--batch-size	每个设备的批量大小	2
--learning-rate	学习率	2e-4
--trackio-space	用于实时监控的HF Space	-

使用建议

• 使用--max-steps 10在全量运行前验证流程。
• 使用--eval-split 0.2有助于检测过拟合。
• A100-large规格费用约为每小时4美元。
• 对于大型数据集，可添加--streaming参数。

相关链接

• HF Jobs快速入门: https://huggingface.co/docs/hub/jobs-quickstart
• Unsloth文档: https://docs.unsloth.ai/
• UV脚本指南: https://docs.astral.sh/uv/guides/scripts/

搜集汇总

数据集介绍

构建方式

在视觉语言模型与大型语言模型蓬勃发展的时代背景下，unsloth-jobs数据集并非传统意义上的静态数据集合，而是一套精心设计的自动化训练脚本集合。其构建核心在于利用Unsloth高效微调框架与Hugging Face Jobs云服务，通过UV脚本统一管理依赖与环境，实现了从数据准备到模型训练的无缝衔接。这套方法将复杂的模型适配流程封装为可复用的标准化命令，旨在为研究者和工程师提供一个即开即用的云端微调解决方案。

特点

该数据集最显著的特点在于其任务导向的模块化设计，针对视觉语言模型监督微调和领域自适应持续预训练等不同场景，提供了专门的脚本与明确的数据格式规范。例如，对于视觉语言模型，它要求数据包含图像列表和结构化对话消息列。这种设计确保了与前沿模型架构的兼容性，同时通过集成Trackio监控等可选功能，赋予了训练过程更高的可观测性与可控性。其本质是一个高度集成、可配置的自动化工作流，而非静态数据。

使用方法

使用该数据集的方法极为清晰直接，用户无需进行复杂的本地环境配置。整个过程始于将符合格式要求的数据集上传至Hugging Face Hub。随后，通过Hugging Face CLI执行特定的uv run命令，并指定目标脚本、计算资源规格、数据集路径及输出仓库等参数，即可在云端自动触发完整的模型训练流程。用户可以通过调整训练步数、评估集比例等超参数来定制实验，并利用简短的试运行命令预先验证流程的正确性，从而高效、可靠地完成模型微调与部署。

背景与挑战

背景概述

unsloth-jobs数据集由Unsloth AI团队与Hugging Face社区于2024年协作构建，旨在为大型语言模型（LLM）和视觉语言模型（VLM）的高效微调提供标准化脚本资源。该数据集的核心研究问题聚焦于简化模型在云端GPU环境中的部署与训练流程，通过集成Unsloth优化框架与Hugging Face Jobs平台，显著降低了领域自适应与指令微调的技术门槛。其影响力体现在加速了多模态人工智能模型的迭代周期，并为研究者提供了可复现的自动化训练方案，推动了开源模型生态的实践应用。

当前挑战

该数据集致力于解决视觉语言模型微调与领域持续预训练中的两大挑战：一是多模态数据对齐的复杂性，要求图像与文本序列在语义层面实现精准关联，以提升模型跨模态理解能力；二是训练过程的资源优化，需在有限计算成本下平衡模型性能与效率。构建过程中的挑战涉及脚本通用性与特定模型架构的适配，需确保不同基模型（如Qwen3-VL、Gemma3）的兼容性，同时维护数据格式的灵活扩展，以支持多样化的下游任务需求。

常用场景

经典使用场景

在视觉语言模型（VLM）与大型语言模型（LLM）的微调领域，unsloth-jobs数据集为研究者提供了一个标准化的训练脚本集合，其经典使用场景在于利用Hugging Face Jobs平台上的按需云GPU资源，高效执行模型微调与持续预训练任务。通过集成Unsloth优化库，该数据集显著加速了训练过程，降低了计算成本，使得研究人员能够专注于模型架构与性能的探索，而非繁琐的环境配置。

实际应用

在实际应用中，unsloth-jobs数据集支持企业快速部署定制化的视觉语言模型，例如用于图像描述生成、视觉问答系统或专业领域的文档分析。借助其脚本，开发者可在云端高效微调模型，适应特定业务需求，如医疗影像解读或工业质检，同时通过实时监控功能优化训练流程，提升模型在实际场景中的准确性与鲁棒性。

衍生相关工作

围绕该数据集衍生的经典工作包括基于Qwen3-VL-8B和Gemma 3 4B等基础模型的视觉语言微调研究，以及针对特定领域的持续预训练项目。这些工作扩展了多模态模型在艺术分类、科学文献理解等垂直领域的应用，并推动了高效训练工具链的生态发展，为后续开源社区贡献了可扩展的模板与最佳实践。