ComfyUI-R1

ComfyUI-R1是一个用于自动化工作流生成的大型推理模型。该数据集包含了4K个工作流，每个工作流都有JSON格式和代码表示，以及功能描述。这些数据是从ComfyUI社区网站收集的，涵盖了图像、视频和3D生成和编辑等多样化任务。数据集的创建过程包括节点选择、工作流规划以及代码级工作流表示的生成。ComfyUI-R1被用于生成与用户指令一致的高分辨率图像，同时保留参考图像的面部特征。

原始信息汇总

ComfyUI-Copilot 数据集概述

🌟 简介

ComfyUI-Copilot 是一个基于 Comfy-UI 框架的智能助手，旨在通过自然语言交互简化 AI 算法调试和部署流程。支持文本、图像和音频生成，提供节点推荐、工作流构建辅助和模型查询服务。

🤔 核心优势

• 易用性：通过自然语言交互降低使用门槛。
• 智能推荐：AI 驱动的节点建议和工作流实现。
• 实时支持：全天候交互式问题解决。

🚀 最新更新

2025.05.16 版本

• GenLab 历史记录：支持查询参数探索的历史结果。
• 个性化工作流生成：用户输入需求，大模型生成定制工作流。

2025.04.28 版本

• 前端 UI 集成：嵌入 ComfyUI 界面，支持主题自适应。

2025.04.08 版本

• GenLab 发布：
  • 参数探索：优化可执行工作流的参数。
  • 提示词改写助手：生成高质量提示词。
• 错误修复：提升系统稳定性。

2025.02.27 版本

• 多模型支持：新增 DeepSeek AI 和 Qwen-plus 模型。
• 节点安装指南：智能跳转未安装节点的资源。
• 性能优化：修复延迟问题，增强多语言支持。

🔥 核心功能

• 交互式问答机器人：查询模型、节点和参数详情。
• 自然语言节点推荐：快速定位节点，优化工作流。
• 智能工作流辅助：自动推荐和构建工作流框架。
• 模型查询：根据需求查找基础模型和 LoRA。
• 即将推出：
  • 自动参数调优：机器学习算法优化参数。
  • 错误诊断与修复建议：提供错误分析和解决方案。

🚀 快速开始

1. 安装： bash cd ComfyUI/custom_nodes git clone https://github.com/AIDC-AI/ComfyUI-Copilot

   • 或通过 ComfyUI Manager 安装。

2. 激活：运行 ComfyUI 项目后，点击面板右上角的 Copilot 按钮。

3. 密钥生成：输入邮箱获取 API 密钥。

🤝 贡献

欢迎提交问题、拉取请求或功能建议。

📞 联系方式

• 邮箱：[e-mail]
• 微信和 Discord 二维码详见原页面。

📚 许可证

MIT 许可证。

搜集汇总

数据集介绍

构建方式

ComfyUI-R1数据集的构建基于对ComfyUI平台上共享资源的系统化收集与处理。研究团队从社区平台、GitHub仓库及官方站点获取原始数据，经过严格的去重、格式校验和内容过滤，最终筛选出3,917个高质量工作流和7,238个标准化节点。通过GPT-4o等模型增强功能描述，并创新性地将JSON格式工作流转化为拓扑排序的Python风格函数调用序列，形成兼具语义表达力和执行兼容性的双模态表示。

特点

该数据集的核心特征体现在其多维度标注体系和推理链构建上。每个工作流样本包含JSON与代码双模态表示、功能描述文本及模拟检索的候选节点集，并附有由多模型协同生成的详细设计原理说明。特别值得注意的是，数据集通过0.8比例负采样构建候选节点集，模拟真实场景下的节点检索过程。工作流平均包含21个节点，覆盖文本生成图像、风格迁移、视频编辑等6大类任务，其代码化表征方式较传统JSON格式提升12%的图结构准确性。

使用方法

使用该数据集需遵循三阶段流程：首先基于用户指令检索Top3语义相关工作流构建候选节点集；随后输入ComfyUI-R1模型生成包含节点选择、设计原理和代码工作流的完整推理链；最终通过规则验证确保输出符合DAG结构。实验表明，该工作流代码可直接加载至ComfyUI服务器执行，在ComfyBench测试集上达到67%的通过率。研究人员建议优先采用代码表征进行二次开发，因其比JSON格式在节点级F1分数上具有5%的绝对优势。

背景与挑战

背景概述

ComfyUI-R1是由哈尔滨工业大学（深圳）与阿里巴巴国际数字商业集团联合研发的大型推理模型，专注于自动化工作流生成领域。该数据集于2025年6月通过arXiv平台首次公开，核心研究目标是通过链式思维推理技术，解决ComfyUI平台上复杂AI艺术创作工作流的自动化生成难题。作为首个针对模块化AI内容生成流程设计的专用模型，其创新性地将工作流表达为拓扑有序的代码序列，显著提升了工作流结构的可解释性和可执行性。数据集包含从社区收集的3,917个经过严格清洗的工作流样本，覆盖文本到图像生成、风格迁移、视频编辑等多元模态任务，为AI艺术创作领域提供了首个标准化的工作流知识库。

当前挑战

该数据集面临的核心挑战主要体现在两个维度：在领域问题层面，需要解决模块化AI工作流中节点选择组合的指数级复杂度，以及多模态任务中风格一致性保持的难题，例如在图像融合任务中需精确协调ControlNet与IPAdapter等组件的参数交互；在构建过程层面，原始社区数据存在40%的噪声节点和63%的不完整工作流描述，研究团队通过多轮过滤机制和GPT-4o辅助标注，最终仅保留14.5%的高质量数据。特别地，工作流向代码表示的转换需确保双向解析的严格等价性，这要求开发专用的DAG解析器来处理节点间的非线性依赖关系。

常用场景

经典使用场景

在AI生成内容领域，ComfyUI-R1数据集通过其独特的链式推理机制，为自动化工作流生成提供了标准化解决方案。该数据集特别适用于多模态任务中复杂工作流的构建，例如文本到图像生成、风格迁移以及图像编辑等场景。其核心价值在于将用户指令转化为可执行的工作流代码，显著降低了非专业用户的操作门槛。

解决学术问题

该数据集有效解决了AI艺术创作中工作流设计的专业壁垒问题。通过构建包含4K标准化工作流的知识库，并结合两阶段训练框架（监督微调与强化学习），显著提升了模型在节点选择准确率（97%格式有效性）和工作流结构合理性方面的表现。其创新性的规则-指标混合奖励机制，为复杂DAG结构的自动化生成提供了可量化的优化路径。

衍生相关工作

该数据集催生了多个重要研究方向，包括Xue等人提出的多智能体框架ComfyAgent，以及Huang团队开发的ComfyGPT自优化系统。后续研究如WorkflowLLM和AFlow进一步扩展了其在金融分析、医疗决策等领域的应用边界，形成了以代码表示为特征的自动化工作流生成技术体系。