llm.txt File Generator API

Generate llm.txt files automatically for any website. Map website directories and convert documentation into clean markdown structured llm.txt files for LLM agents.

原始信息汇总

数据集概述：llm.txt File Generator API

简介
该API是一个专门用于将网站文档、API指南和网页内容转换为标准 llm.txt 格式的开发者网关。它能够将原始HTML结构转化为简洁的Markdown，使AI爬虫、代码助手和大型语言模型（LLM）能够高效读取并索引文档，同时最小化令牌消耗。

核心技术
基于Cloudflare Workers的无服务器边缘路由节点构建，提供带有头部限制的代理，确保交付可靠性。

关键用例

1. AI爬取优化：在网站根目录部署标准的 llm.txt 文件，使AI代码助手（如Cursor、Copilot、ChatGPT）能即时扫描API/SDK参考文档。
2. 动态RAG知识库：爬取文档网站的子页面，并将其格式化为干净的Markdown数据集，用于填充检索增强生成（RAG）向量存储。
3. LLM上下文编译：将多个开发者文档页面聚合为单个纯文本Markdown文件，便于直接复制粘贴到AI聊天提示中。

API端点与参数

1. POST /map

• 功能：爬取基础网站，映射所有相关的文档子页面。
• 请求格式：application/json
• 主体参数：
  • url（字符串，必需）：目标网站的基础URL（例如：https://google.com/）。

2. POST /generate

• 功能：从发现的子页面生成格式化的 llm.txt Markdown内容。
• 请求格式：application/json
• 主体参数：
  • url（字符串，必需）：基础网站URL。
  • urls（字符串数组，必需）：要解析并合并的子URL列表。

性能指标

• 流行度：8.2
• 服务等级：100%
• 延迟：3341ms
• 测试通过率：100%

定价方案

方案	价格
BASIC	$0.00/月
PRO	$29.99/月
ULTRA	$79.99/月
MEGA	$199.99/月

关键词与搜索词

llmstxt api、llm.txt generator、markdown documentation crawler、llm.txt compiler、ai friendly docs builder、scraping docs to markdown、docs mapping api、firecrawl llmstxt proxy、cursor docs builder