philschmid/markdown-documentation-transformers
收藏Hugging Face2023-10-05 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/philschmid/markdown-documentation-transformers
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是使用Clipper.js工具创建的，该工具可以将网页内容转换为Markdown格式。数据集的主要用途是用于创建RAG（Retrieval-Augmented Generation）应用程序，特别是那些需要使用Hugging Face Transformers文档的应用。示例文档展示了如何使用PEFT（Parameter-Efficient Fine Tuning）方法加载适配器。
提供机构：
philschmid
原始信息汇总
Hugging Face Transformers 文档 Markdown 数据集
概述
该数据集是通过 Clipper.js 创建的，Clipper.js 是一个 Node.js 命令行工具，用于从网页中轻松提取内容并转换为 Markdown 格式。它使用 Mozilla 的 Readability 库和 Turndown 库来解析网页内容并转换为 Markdown。
用途
该数据集可用于创建 RAG 应用程序，这些应用程序希望使用 transformers 文档。
示例文档
示例文档链接：https://huggingface.co/docs/transformers/peft
内容概要
- Parameter-Efficient Fine Tuning (PEFT) 方法在微调过程中冻结预训练模型的参数，并在其上添加少量可训练参数（适配器）。适配器用于学习任务特定信息。
- PEFT 训练的适配器通常比完整模型小一个数量级，便于共享、存储和加载。
- 示例中，OPTForCausalLM 模型的适配器权重存储在 Hub 上，大小仅为 ~6MB，而完整模型权重大小可达 ~700MB。
- 更多关于 🤗 PEFT 库的信息，请参阅 文档。
