如果你在 Stable Diffusion 或 ComfyUI 中创作时常常因为想不出好的提示词而卡住或者对着一张参考图却不知道如何描述才能让 AI 理解那么这个项目可能就是你的“词穷救星”。它不是一个新模型而是一个强大的 ComfyUI 插件工作流核心是利用llama-cpp本地运行大语言模型来实现两大核心功能精准的提示词增强和高效的图片/视频反推。最引人注目的是它明确支持NSFWNot Safe For Work内容的提示词处理这意味着在创作特定风格或主题时它能提供更直接、更符合预期的词汇建议。简单来说这个工作流解决了两个痛点一是“我想画个XX但不知道用什么词描述最好”二是“我有一张参考图/视频帧怎么让 AI 理解并复现它的风格和内容”。通过本地部署的 LLM它避免了在线服务的审核限制和延迟同时保证了隐私。对于追求工作流自动化、批量处理素材或需要特定内容生成的创作者而言这是一个能显著提升效率和质量的生产力工具。本文将带你完整了解这个 ComfyUI 工作流的核心能力、部署方法、具体操作和实际效果。重点会放在它到底能不能在你的机器上跑起来显存要求高不高如何一键加载以及最重要的——用它生成的提示词真的能提升出图质量吗1. 核心能力速览在深入细节之前我们先通过一个表格快速把握这个工作流的关键信息能力项说明项目类型ComfyUI 自定义工作流插件/节点组合核心引擎llama-cpp(用于本地运行 LLM)主要功能1.提示词增强根据简短描述或主题生成详细、风格化的英文提示词。2.图片反推分析图像内容生成描述性提示词。3.视频反推分析视频关键帧生成连贯的场景描述提示词。4.NSFW 支持可处理涉及成人内容的提示词生成与反推。硬件门槛主要依赖 LLM 模型大小。7B 参数模型可在 6G-8G 显存的 GPU 上运行13B 模型需要 10G 显存也可使用 CPU 推理速度较慢。启动方式作为 ComfyUI 的一个工作流加载启动 ComfyUI 即启动该功能。接口能力通过 ComfyUI 的 API 可集成到外部脚本实现批量图片/视频的自动反推和提示词生成。批量任务支持。可通过工作流循环或外部脚本调用 API对文件夹内的图片、视频进行批量处理。适合场景AI 绘画创作者、视频内容生产者、需要自动化素材分析的工作室、希望探索特定风格含 NSFW的进阶用户。2. 适用场景与使用边界这个工具并非万能明确其适用边界能帮助你更好地利用它。它非常适合创意激发与词穷解救当你只有一个模糊概念时输入几个关键词让 LLM 帮你扩展成一段富含细节、光影、构图、风格的完整提示词。风格复现与分析找到一张喜欢的作品但不知如何模仿用图片反推获取其可能的提示词构成作为自己创作的起点。视频内容分析对于短视频、动画片段提取关键帧并反推可以快速获得视频内容的文本描述用于生成摘要或作为二次创作的提示基底。工作流自动化将反推功能接入自动化脚本批量处理采集的素材库为后续的 AI 生成准备大量的标签化数据。特定领域创作由于支持 NSFW 提示词在符合法律法规和平台政策的前提下可用于相关主题的创作探索避免了通用在线反推工具的内容过滤问题。需要注意的边界与合规性版权与授权反推功能用于分析图片/视频时请确保你拥有该素材的合法使用权或已获得授权尊重原创作者的版权。内容合规NSFW 功能的支持不代表可以生成非法或有害内容。所有生成内容的责任在于使用者必须遵守所在地区的法律法规以及使用平台的内容政策。效果依赖模型生成提示词的质量和反推的准确性很大程度上取决于你加载的llama-cpp模型的质量。一个经过优质指令微调的模型如一些专用的“提示词专家”模型效果会远好于通用聊天模型。非实时渲染这是一个提示词预处理工具它不直接生成图像或视频而是为 Stable Diffusion 等扩散模型提供更优质的“指令”。3. 环境准备与前置条件要运行这个工作流你的系统需要先搭建好基础环境。1. 基础软件要求操作系统Windows 10/11, Linux, 或 macOS (Apple Silicon 芯片性能更佳)。Python建议使用 Python 3.10 版本这是大多数 AI 工具链兼容性最好的版本。Git用于克隆 ComfyUI 及其插件仓库。2. 核心平台ComfyUI你需要一个正常运行的 ComfyUI 环境。如果你还没有安装推荐使用“秋叶 ComfyUI 整合包”它集成了常用插件和依赖对新手非常友好。获取方式从可靠的社区或开源平台如 GitHub搜索“ComfyUI 秋叶整合包”获取最新版本。验证安装成功启动 ComfyUI 后应能通过浏览器访问本地 WebUI 界面。3. 关键组件llama-cpp 与模型这是工作流的大脑。llama-cpp-python一个高效的 LLM 推理库支持在 CPU 和 GPU 上运行 GGUF 格式的模型。通常 ComfyUI 的相关插件会依赖它。LLM 模型文件 (GGUF 格式)你需要自行下载一个合适的语言模型。对于提示词工程推荐使用经过指令微调或专门训练用于写作、描述的模型例如Mistral-7B-Instruct-v0.2Llama-3.2-3B-Instruct或社区专门训练的“Prompt Generator”类模型。模型下载可以从 Hugging Face 等模型社区搜索并下载对应的.gguf文件。4. 硬件检查GPU (推荐)拥有至少 6GB 显存的 NVIDIA GPU 可以获得较好的推理速度。显存越大能加载的模型参数就越多如 13B, 70B。CPU (备用)如果没有合适 GPU纯 CPU 推理也可行但生成速度会慢很多适合轻度或测试使用。磁盘空间预留 10-20 GB 空间用于存放 ComfyUI、插件和 LLM 模型文件。4. 安装部署与启动方式假设你已经有了基础的 ComfyUI 环境接下来的步骤是让这个“提示词增强与反推”工作流运行起来。步骤 1获取工作流/插件这个功能通常以一个自定义工作流.json或.png文件或一个专用插件的形式提供。从项目发布页或社区分享处下载工作流文件例如prompt_enhancer_with_llama.json或插件仓库。如果是工作流文件放置到任意位置稍后在 ComfyUI 中加载即可。如果是插件需要将插件文件夹克隆或复制到 ComfyUI 的custom_nodes目录下。步骤 2安装 llama-cpp 依赖如果插件或工作流需要你可能需要手动安装llama-cpp-python。在 ComfyUI 的根目录下打开终端或使用整合包提供的启动器终端执行# 使用 pip 安装根据你的 CUDA 版本选择 # 对于 CUDA 12.x pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir --index-urlhttps://pypi.nvidia.com # 或者使用预编译的 wheel (更稳定) pip install llama-cpp-python[server] --prefer-binary # 对于 CPU 或没有 CUDA 的环境 pip install llama-cpp-python[server]步骤 3放置 LLM 模型将你下载好的 GGUF 格式模型文件如mistral-7b-instruct-v0.2.Q4_K_M.gguf放在一个固定的目录例如ComfyUI/models/llm/。记住这个路径。步骤 4加载并配置工作流启动你的 ComfyUI。在 ComfyUI 界面中点击“Load”加载按钮选择你下载的工作流.json文件。工作流加载后你会看到一系列节点。找到与LLM Loader或LlamaCpp相关的节点。在该节点中配置model_path参数指向你放置的 GGUF 模型文件绝对路径如D:/ComfyUI/models/llm/mistral-7b-instruct-v0.2.Q4_K_M.gguf。根据你的硬件可能还需要配置n_gpu_layersGPU 推理层数设为 0 则全用 CPU和n_ctx上下文长度。步骤 5一键启动与访问配置完成后点击界面上的“Queue Prompt”按钮工作流就会开始初始化 LLM 模型。首次加载模型可能需要几十秒到几分钟。成功后你就可以使用其他输入节点如文本输入、图像加载来调用提示词生成或反推功能了。5. 功能测试与效果验证工作流跑起来后我们通过几个典型场景来测试其效果。5.1 测试一基础提示词增强测试目的验证 LLM 能否将简短想法扩展成高质量的 Stable Diffusion 提示词。操作步骤在工作流中找到标记为“Prompt Input”或“User Input”的文本输入节点。输入一个简单的主题例如a beautiful elf princess in a forest。点击“Queue Prompt”运行。观察输出节点通常标记为“Enhanced Prompt”或“LLM Output”。预期结果LLM 应该输出一段更详细、包含多种修饰词的英文提示词。例如(masterpiece, best quality, ultra-detailed), 1girl, beautiful elf princess with long silver hair and pointed ears, wearing an elegant dress made of leaves and flowers, standing in a mystical glowing forest at twilight, ethereal lighting, soft focus, intricate details, fantasy art style by Greg Rutkowski and Artgerm, dynamic pose, looking at viewer.判断成功输出内容比输入更丰富包含了画质标签、细节描述、环境、光影、艺术家风格等 SD 常用元素。5.2 测试二图片反推提示词测试目的验证能否从图片中准确提取描述性元素。操作步骤找到“Image Loader”节点上传一张测试图片例如一张风景照或人物插图。确保该节点连接到“Image Caption”或“LLM Vision”相关节点如果工作流支持视觉理解。有些工作流可能需要先将图片通过 CLIP 等视觉编码器处理再交给 LLM 描述。点击运行。预期结果LLM 会生成一段描述图片内容的文字。例如对于一张日落海滩的图片可能输出a serene beach at sunset, orange and purple sky reflected on the wet sand, a lone palm tree silhouette, peaceful atmosphere, photorealistic.判断成功生成的描述基本覆盖了图片中的核心物体、场景和氛围。5.3 测试三视频反推关键帧分析测试目的验证对视频内容的分析能力。操作步骤工作流中应有“Video Loader”或节点组合用于提取视频的关键帧如每秒1帧或按场景切割。上传一个短视频文件。工作流会提取多帧图片并批量或逐帧送入反推流程。最终输出可能是一个综合描述或一系列按时间顺序的帧描述。预期结果获得一段概括视频内容的文字或一个描述列表。例如对于一个行走的猫的视频A ginger cat walking slowly across a wooden floor, sunlight streaming through a window, its tail swaying gently.判断成功输出抓住了视频的主体动作和关键视觉元素。5.4 测试四NSFW 提示词处理测试目的验证其对敏感内容主题的提示词生成能力。操作步骤在提示词增强的输入框中输入一个涉及 NSFW 主题的简单描述。观察 LLM 的输出是否包含相关且具体的词汇而不会被安全过滤器截断或替换为无害内容这是本地部署的优势。重要提醒此功能需在合法合规的前提下用于测试。生成的任何内容都应由使用者负全部责任。判断成功LLM 能够根据输入的主题生成相应风格的、详细的提示词且未出现因内容过滤导致的输出中断或质量下降。6. 接口 API 与批量任务对于希望集成到自动化脚本中的用户ComfyUI 的 API 是核心。1. 启动 API 服务ComfyUI 默认在启动时就开启了 API 服务通常位于http://127.0.0.1:8188。你可以通过命令行指定端口cd your_comfyui_directory python main.py --port 81882. 调用工作流 API你的自定义工作流有一个唯一的 ID。你可以通过 ComfyUI 的 API 来触发它。获取工作流 API 格式在 ComfyUI 界面配置好所有参数后点击“Save (API Format)”可以保存一个.json文件里面包含了所有节点的参数这就是 API 调用的模板。Python 调用示例import requests import json import io def queue_prompt(prompt_workflow): 提交工作流到 ComfyUI 队列 api_url http://127.0.0.1:8188/prompt data json.dumps({prompt: prompt_workflow}) headers {Content-Type: application/json} response requests.post(api_url, datadata, headersheaders) return response.json() # 1. 加载你保存的 API 格式工作流文件 with open(your_prompt_enhancer_workflow_api.json, r) as f: workflow json.load(f) # 2. 动态修改输入参数 # 假设节点ID为text_input_1的是提示词输入框 workflow[6][inputs][text] a cyberpunk samurai # 修改输入文本 # 假设节点ID为image_loader_10的是图片加载节点对于反推 # 对于图片需要先上传并获取文件名这里以文本输入为例 # 3. 提交任务 result queue_prompt(workflow) prompt_id result[prompt_id] print(f任务已提交ID: {prompt_id}) # 4. 监听结果简化示例实际需轮询或使用WebSocket history_url fhttp://127.0.0.1:8188/history/{prompt_id} # ... 稍后请求此URL获取输出3. 实现批量任务结合上述 API你可以轻松实现批量处理import os from pathlib import Path input_image_dir Path(./input_images) output_text_dir Path(./output_prompts) output_text_dir.mkdir(exist_okTrue) for img_file in input_image_dir.glob(*.jpg): # 1. 上传图片到 ComfyUI upload_url http://127.0.0.1:8188/upload/image with open(img_file, rb) as f: files {image: f} upload_resp requests.post(upload_url, filesfiles) uploaded_name upload_resp.json()[name] # 2. 修改工作流将图片节点指向刚上传的文件 workflow[10][inputs][image] uploaded_name # 假设节点10是图片输入 # 3. 提交反推任务 result queue_prompt(workflow) prompt_id result[prompt_id] # 4. 等待并获取结果这里需要实现轮询逻辑 # ... 获取到生成的提示词文本 generated_prompt # 5. 保存结果 output_file output_text_dir / f{img_file.stem}.txt with open(output_file, w, encodingutf-8) as f: f.write(generated_prompt) print(f已处理: {img_file.name})这样就能自动扫描一个文件夹内的所有图片并为每张图生成对应的提示词文件。7. 资源占用与性能观察运行这个工作流资源消耗主要集中在 LLM 模型推理上。1. 显存占用观察启动 ComfyUI 后打开系统任务管理器Windows或nvidia-smi命令Linux观察显存使用。当你首次加载工作流并初始化 LLM 模型时显存会大幅上升。模型加载完毕后显存占用会稳定在一个值。典型参考7B 模型 (Q4_K_M 量化)GPU 推理时显存占用约3-5 GB。如果n_gpu_layers设置较低部分层使用 CPU显存会更少。13B 模型 (Q4_K_M 量化)显存占用约7-10 GB。模型量化等级越低如 Q8, Q6精度越高占用也越大。降低显存技巧使用量化等级更高的模型如 Q4_K_S, Q3_K_M。减少n_gpu_layers让更多层在 CPU 运行牺牲速度。使用更小的模型如 3B 参数模型。2. 推理速度GPU 推理对于 7B 模型生成一段提示词~100 tokens通常在几秒内完成。CPU 推理速度可能慢 5-10 倍取决于 CPU 核心数和内存速度。视频反推速度取决于提取的帧数。处理一个 10 秒的视频每秒1帧就需要进行 10 次图片反推总时间会显著增加。3. 性能影响因素上下文长度 (n_ctx)设置越大能处理的输入文本或对话历史越长但也会增加内存/显存占用和计算量。对于提示词生成2048 或 4096 通常足够。批处理大小如果工作流支持批量反推一次处理多张图片能提升吞吐量但也会线性增加显存占用。图片分辨率反推时图片在送入视觉编码器前通常会被缩放到固定尺寸如 224x224原始图片大小对最终推理速度影响不大但加载大图会消耗更多内存。8. 常见问题与排查方法问题现象可能原因排查方式解决方案ComfyUI 启动后工作流加载报错缺少自定义节点依赖工作流文件版本不兼容。查看 ComfyUI 终端或命令行的错误日志。根据错误信息安装缺失的节点如ComfyUI-LLaMA-CPP。尝试下载更新版本的工作流。LLM 节点加载模型失败1. 模型文件路径错误。2. 模型文件损坏。3.llama-cpp-python版本与系统/GPU 不兼容。检查节点中model_path配置。确认文件存在且可读。查看终端是否有 CUDA 或加载错误。使用绝对路径。重新下载模型文件。尝试重装或指定版本的llama-cpp-pythonpip install llama-cpp-python0.2.xx。提示词生成内容空洞或无关使用的 LLM 模型不擅长指令跟随或创意写作。对比输入和输出看模型是否理解了任务。更换为专门针对指令微调或创意写作优化的 GGUF 模型。在输入提示词时给出更明确的指令例如“You are a prompt expert for AI painting. Expand the following theme into a detailed Stable Diffusion prompt: [你的主题]”。图片/视频反推结果不准确1. 视觉编码器能力有限。2. LLM 对视觉特征理解有偏差。3. 关键帧提取不具代表性。用多张不同类型的图片测试。观察是描述完全错误还是遗漏细节。尝试不同的视觉编码模型如果工作流支持切换。对于视频尝试增加关键帧采样率或使用场景检测来提取更有代表性的帧。可以结合多个反推结果。NSFW 内容生成被“和谐”或输出无害内容即使本地部署所使用的 LLM 模型本身可能内置了安全对齐Safety Alignment会拒绝或改写某些请求。测试不同的 NSFW 相关主题观察模型是直接拒绝、输出警告还是能正常生成。寻找并下载明确声明去除了安全限制或针对 NSFW 内容进行过训练的模型变体。注意使用此类模型需承担全部责任。批量处理时内存/显存溢出同时加载的图片或数据过多。观察任务管理器在批量任务执行期间内存/显存是否持续增长直至崩溃。减少批处理大小batch size。在脚本中增加处理间隔。考虑使用队列一张一张处理。API 调用无响应或超时1. ComfyUI 服务未运行或端口错误。2. 工作流执行时间过长。3. 网络问题。先用浏览器访问 ComfyUI WebUI 确认服务正常。查看 ComfyUI 终端是否有错误。检查 API 调用地址和端口。确保服务启动。增加 API 调用的超时时间。检查防火墙设置。9. 最佳实践与使用建议为了让这个工具更稳定、高效地服务于你的创作这里有一些经验之谈模型选择是关键不要盲目追求大参数模型。一个 7B 参数、优秀指令微调的模型在提示词生成任务上很可能比一个未调优的 13B 通用模型表现更好。多尝试几个模型找到最适合你创作风格的。建立提示词模板将 LLM 生成的提示词作为“草稿”你可以将其保存为模板。在此基础上手动调整权重如(keyword:1.2)、调整顺序、添加固定的质量标签如masterpiece, best quality形成你自己的提示词库。反推结果作为参考图片/视频反推的结果不是“标准答案”而是 AI 对画面的“理解”。它可能遗漏关键元素或添加不存在的东西。将其作为灵感来源和关键词补充而不是唯一依据。工作流模块化在 ComfyUI 中将这个提示词增强/反推流程保存为一个子工作流Group或自定义节点。这样你可以在不同的主工作流中像搭积木一样重复使用它提高效率。批量处理做好日志运行批量反推脚本时务必记录日志。记录处理了哪些文件、成功与否、生成的提示词预览。这样在中断或出错时可以快速定位和恢复。资源管理长时间运行批量任务时注意监控温度和内存使用。可以编写脚本在每处理 N 个文件后暂停片刻或者设置处理时间窗口。合规与备份对生成的所有 NSFW 或敏感内容相关提示词进行加密存储或本地隔离避免意外泄露。定期备份你的 ComfyUI 工作流配置和自定义节点特别是经过你精心调校的提示词生成流程。明确区分用于测试和用于生产的工作流避免混淆。10. 总结与下一步这个基于llama-cpp的 ComfyUI 提示词增强与反推工作流本质上是一个将大语言模型的“理解”和“创作”能力无缝嵌入到 AI 绘画/视频生成流程中的桥梁。它最大的价值在于打破了提示词创作的瓶颈让“词穷”不再是阻碍也让分析现有视觉素材变得自动化。最值得尝试的点首先是它的本地化隐私性和对特定内容如 NSFW的无过滤处理能力这为专业和特殊领域的创作者提供了可控的工具。其次是与 ComfyUI 可视化流程和 API 的深度集成使得它可以被轻松地编排进复杂、自动化的生产管线中。最先应该验证的功能毫无疑问是基础提示词增强。用一个简单的主题测试你选择的 LLM 模型是否能输出结构良好、元素丰富的提示词。这是所有功能的基础。最容易踩的坑模型与环境的兼容性。llama-cpp-python的版本、CUDA 版本、GGUF 模型文件这三者不匹配是导致启动失败的最常见原因。建议从社区验证过的模型和配置开始。后续扩展方向一旦这个工作流稳定运行你可以探索更多可能性风格学习收集某个画师的一系列作品反推得到一批提示词用这些数据微调一个小型 LLM让它专门学习该画师的描述风格。提示词优化迭代将生成的图片再次反推与原始提示词对比让 LLM 分析差异并优化提示词形成一个“生成-评估-优化”的闭环。集成更多模型除了文生图还可以将提示词生成接入图生图、局部重绘、甚至视频生成工作流实现端到端的创意内容生产。工具已经就位关键在于你如何将它融入你的创作流程。建议从一个小型、明确的任务开始测试逐步熟悉它的所有节点和参数最终让它成为你 ComfyUI 武器库中一件得心应手的利器。