桌面应用音视频视频处理【免费下载链接】openshot-qtOpenShot Video Editor is an award-winning free and open-source video editor for Linux, Mac, and Windows, and is dedicated to delivering high quality video editing and animation solutions to the world.项目地址https://gitcode.com/gh_mirrors/op/openshot-qt点击查看免费下载导读本文围绕 OpenShot Video Editor 内置的Advanced AI: ComfyUI功能展开系统讲解如何在 OpenShot 中连接本地 ComfyUI 服务器通过“Create with AI / Enhance with AI”右键菜单调用文生图、文生视频、视频风格迁移、音频降噪、超分辨率、场景切分与语音字幕等内置工作流。读完本文你将掌握从硬件评估、服务器部署、自定义节点与模型安装到工作流模板导入、SAM2 区域跟踪标注以及任务队列与故障排查的完整闭环方案并了解 OpenShot 与 ComfyUI 之间的 HTTP/WebSocket 调用原理与源码级实现细节。注意OpenShot 的 AI 功能属于实验性特性官方文档明确提示其不推荐在笔记本、中端台式机或入门级系统上使用。你必须自行运行一个本地 ComfyUI 服务器并做好模型下载、环境配置与工作流排错的预期。最低推荐硬件官方文档给出了明确的硬件门槛低于该水平时任务会停滞、失败或产生不稳定结果。若 GPU 显存仅有 8GB 或更少运行这些模型几乎必然 OOM显存耗尽。组件建议配置GPUNVIDIA 5070 12GB 或更高强烈建议 16–24GB 显存CPURyzen 9 5900 级别或同等高主频多核处理器内存64GB 及以上存储200GB 以上空闲空间用于模型、缓存与生成产物经验要求熟悉 ComfyUI 图、模型与节点依赖这些要求与内置工作流的模型体量直接相关仅 WAN 系列视频模型、SDXL 检查点、SAM2 系列分割权重与 Whisper large-v3 等合计就需占用大量磁盘与显存详见下文“必需模型清单”。安装与配置快速配置路径在尝试任何 AI 工作流之前按以下顺序完成部署安装 ComfyUI 并确认其能正常启动安装所需的自定义节点见下节将所需模型文件下载到 ComfyUI 对应模型目录见“必需模型清单”启动 ComfyUI然后在 OpenShot 中打开Edit - Preferences - Advanced设置ComfyUI URL点击Check按钮确认 OpenShot 能连通该服务器。必需自定义节点以下节点包必须安装到 ComfyUI 的custom_nodes目录否则对应工作流无法运行comfyui_controlnet_auxControlNet 辅助预处理器用于线稿、深度等条件控制ComfyUI-Frame-InterpolationRIFE 帧插值对应 “Smooth Motion” 工作流ComfyUI-VideoHelperSuiteVHS视频加载/保存/批处理基础设施ComfyUI-Video-SegmentationTransNetV2 场景切分ComfyUI-Whisper语音转字幕输出 SRTOpenShot-ComfyUIOpenShot 官方自定义节点集提供 SAM2 跟踪、DeepFilterNet 降噪、LavaSR 语音增强等专有节点必需模型 / 文件清单官方文档给出了内置工作流依赖的完整文件清单按 ComfyUI 目录结构组织如下扩散模型ComfyUI/models/diffusion_models/wan2.1_vace_1.3B_fp16.safetensorsvideo2video 风格迁移wan2.2_ti2v_5B_fp16.safetensors文生视频 / 图生视频检查点ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors文生图 / 图生图sd_xl_refiner_1.0.safetensorsSDXL 精修stable-audio-open-1.0.safetensorsStable Audio Open音效生成文本编码器ComfyUI/models/text_encoders/t5-base.safetensorsumt5_xxl_fp8_e4m3fn_scaled.safetensorsWAN 系列工作流使用视觉模型与 SAM2 系列ComfyUI/models/clip_vision/clip_vision_g.safetensorsgrounding-dino/groundingdino_swint_ogc.pthsam2/sam2.1_hiera_base_plus.ptsam2/sam2.1_hiera_small-fp16.safetensors、sam2/sam2.1_hiera_small.ptsam2/sam2.1_hiera_tiny-fp16.safetensors、sam2/sam2.1_hiera_tiny.ptsam2/sam2_hiera_small.pt语音 / 音频相关ComfyUI/models/stt/whisper/large-v3.pt、stt/whisper/medium.pt字幕工作流TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt音乐生成超分 / VAE / VLMComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors4x 超分vae/wan_2.1_vae.safetensors、vae/wan2.2_vae.safetensorsVLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth场景切分帧插值权重ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pthSmooth Motion将上述文件放入对应目录后重启 ComfyUI 使其加载即可在 OpenShot 中使用全部内置工作流。OpenShot 中的 AI 入口当 ComfyUI 可用时OpenShot 会在右键上下文菜单中显示 AI 工具Create with AI创建新素材文生图、文生视频、音效、音乐Enhance with AI (images)处理图像素材风格迁移、提取深度/线稿、超分、SAM2 跟踪等Enhance with AI (videos)处理视频素材去噪、字幕、场景切分、帧插值、视频风格迁移、SAM2 视频跟踪等生成的产物会以进度文本与队列徽章的形式添加到Project Files面板。输出文件默认写入用户目录下的.openshot_qt/comfyui-output/对应源码常量 src/classes/info.py 中的COMFYUI_OUTPUT_PATH。项目生命周期与临时目录新建或打开既有项目时OpenShot 会清空.openshot_qt下临时的 AI 工作目录保证每次从干净状态开始。已保存的项目不受影响任何已复制进项目目录PROJECTNAME_Assets的素材仍保留在原项目目录中。服务不可用时的表现如果 ComfyUI 不可达OpenShot 会禁用 AI 菜单。此时应回到Edit - Preferences - Advanced配置服务器地址并使用Check按钮测试连通性。源码层面生成服务通过ComfyClient(url).ping()请求 ComfyUI 的/system_stats接口做探测src/classes/comfy_client.py偏好设置面板则异步发起连通性检查并据结果启停 AI 菜单src/windows/preferences.py。工作流模板的加载与扩展模板来源与覆盖规则OpenShot 读取两类模板目录内置模板仓库根目录的comfyui/文件夹运行时路径为info.PATH/comfyui用户自定义模板~/.openshot_qt/comfyui/对应info.COMFYUI_PATH见 src/classes/info.py。源码中模板发现与分类逻辑位于 src/classes/comfy_templates.pyComfyTemplateRegistry同时扫描内置与用户目录通过文件修改时间与大小构建缓存签名用户模板的显示名会加(User)前缀并且以template_id去重重复时追加__2、__3后缀。模板 JSON 必须是以class_type节点为值的 API 格式图_looks_like_workflow校验否则会被跳过并在日志中告警。导入你自己的工作流在 ComfyUI 中打开想要使用的工作流页签选择Export (API)将工作流保存为*.json文件把该 JSON 文件复制到~/.openshot_qt/comfyui/重启 OpenShot或按需重开项目。OpenShot 会自动加载该工作流并把它显示到对应的 AI 菜单中。从 OpenShot 触发时所选源文件会被注入工作流的输入节点工作流最终输出节点的产物会被导入回Project Files。模板 JSON 支持若干顶层字段用于菜单分类与行为控制见 src/classes/comfy_templates.pymenu_category/categorycreate或enhance、menu_parent如noise、clarity、extract、track_object、input_type/source_type、output_type/media_output、action_icon、open_dialog、needs_reference_image、menu_order等。工作流内部的占位符约定包括__openshot_input__或{{openshot_input}}、$openshot_input表示源素材路径、__openshot_reference_image__表示参考图、__openshot_prompt__表示提示词、__openshot_lyrics__表示歌词音乐工作流。这些占位符在 src/classes/generation_service.py 中统一替换为实际值。调试载荷OpenShot 会把发送给 ComfyUI 的完整请求图写入~/.openshot_qt/comfyui/debug.json包含生成时间、ComfyUI URL、client_id 与整个 prompt 图见 src/classes/comfy_client.py供高级用户检查实际下发的请求内容当 ComfyUI 返回校验错误时还会额外写入debug_error.json。AI 生成对话框Create with AI与Enhance with AI打开的是同一个生成对话框源码实现为 src/windows/generate.py 中的GenerateMediaDialog由 src/classes/generation_service.py 创建该对话框的意义在于把所有 AI 输入集中到一处在入队前校验必填字段例如 SAM2 跟踪工作流必须提供种子点/矩形或启用 Auto 模式否则直接拒绝见 src/classes/generation_service.py允许在昂贵的生成运行前预先设置跟踪提示。对话框中你可以选择工作流 / 动作输入提示词文本预览所选源文件适用于增强类工作流为生成的媒体设置输出名称默认按源名_gen序号自动命名并避开冲突命名逻辑在 src/classes/generation_service.py 并有对应单元测试 src/tests/test_generation_service.py在Reference页签中为需要参考图的工作流如Change Video Style选择参考图像为跟踪工作流提供跟踪点 / 矩形点击Generate开始任务或Cancel关闭。SAM2 目标跟踪遮罩 / 模糊 / 高亮跟踪类工作流Blur...、Highlight...、Mask...使用一个区域标注界面你在其中标记“要包含什么”和“要忽略什么”为什么需要跟踪跟踪能让你施加的效果随时间“粘”在移动主体上。典型场景包括模糊人脸、高亮球员、或生成一个能跨帧跟随同一物体的干净遮罩。该工作流基于 SAM2Segment Anything Model 2实现。图标 / 标记含义图标 / 标记含义蓝点正向跟踪坐标前景 / 主体种子点红点负向跟踪坐标背景 / 排除种子点蓝色矩形正向区域种子大范围主体提示红色矩形负向区域种子大范围排除提示删除图标清除全部当前种子点 / 矩形并重新开始跟踪原理OpenShot 把你的正 / 负标记作为种子坐标发送给跟踪模型模型为指定主体构建遮罩并随时间持续追踪。更好的种子通常得到更干净的遮罩和更少的漂移。从源码看跟踪参数的组装发生在 src/classes/generation_service.py正向点写入positive_points_json/coordinates_positive、负向点写入negative_points_json/coordinates_negative、矩形写入positive_rects_json/negative_rects_json同时可设置frame_index种子帧与tracking_selection_json坐标同时兼容x,y; x,y简写与 JSON 列表两种格式。SAM2 视频跟踪在 OpenShot 侧还支持动态分块批处理_apply_dynamic_sam2_meta_batchsrc/classes/generation_service.py根据源视频分辨率与显存预算默认目标批字节 4GiB可由comfy-sam2-target-batch-bytes/comfy-sam2-target-batch-gb设置调整自动计算chunk_size_frames与frames_per_batch4–192 帧之间按 4 取整避免长视频一次性喂入导致 OOM高亮路径按每像素 64 字节、模糊路径按 40 字节估算内存比纯遮罩路径24 字节更保守。使用方法选一个主体清晰可见的帧先在主体上放一个蓝点仅在需要时在附近背景上添加红点需要更快的大范围选择时添加矩形当运动 / 形状变化时在额外帧上重复标注。随时间调整帧滑块拖动帧滑块到片段的不同时刻在跟踪开始漂移的帧上添加或调整点 / 矩形仅在需要处遮挡、快速运动、大幅形状变化补充种子点。遮罩预览输出跟踪过程的产物最佳实践先用短测试片段从简单开始一个蓝点通常就够只在跟踪失败处增加点必要时加入更精细的正 / 负点与矩形组合正、负点保持清晰分离跟踪混乱时使用删除图标清空用更干净的种子重新开始。任务队列、进度与取消点击Generate后请求进入 OpenShot 的 AI 任务队列GenerationQueueManager单工作线程、内存驻留见 src/classes/generation_queue.py进度展示Project Files中显示徽章与状态文本如Queued、Generating 45% (node 12 45%)、Canceling...产物回导完成后的输出自动导入Project Files取消任务右键点击带进度条的项目文件选择Cancel Job。取消会同时请求 ComfyUI 的/queue删除 prompt与/interrupt中断执行并轮询确认 prompt 已从队列消失或历史状态标记为失败src/classes/generation_queue.py输出位置.openshot_qt/comfyui-output/。实现细节工作线程通过 WebSocket/ws?clientId...订阅 ComfyUI 的progress/progress_state事件以获得实时进度src/classes/comfy_client.pyWebSocket 不可用时回退到 HTTP/progress轮询两者都失效时则仅依赖/history与/queue轮询判断完成。任务执行设有 6 小时超时上限与“从队列消失且无历史结果超 10 分钟即判定失败”的保护逻辑。源素材通过/upload/image接口以 multipart 方式上传为[input]引用src/classes/comfy_client.py最终产物经/view下载并按类型图片 / 视频 / 音频 / SRT 文本导入。内置 JSON 工作流速查以下小节与comfyui/目录下的内置 JSON 模板一一对应仓库中模板清单见 src/comfyui/。Create with AI动作模板文件用途与模型Image...comfyui/txt2img-basic.json文生图使用sd_xl_base_1.0.safetensorsVideo...comfyui/txt2video-svd.json文生视频短片使用 WAN 系列视频模型Sound...comfyui/txt2audio-stable-open.json生成非音乐类音频使用 Stable Audio Open 模型Music...comfyui/txt2music-ace-step.json按风格 / 标签及可选歌词生成音乐使用 Ace-Step 1.5 检查点提示词中可用Lyrics:段内联输入歌词src/classes/generation_service.pyEnhance with AI —— 音频动作模板文件用途与节点Noise - Reducecomfyui/audio-noise-reduce.json轻度抑制平稳背景噪声、保留更多原始氛围使用OpenShotDeepFilterNetDenoiseAudioNoise - Removecomfyui/audio-noise-remove.json激进去除嘈杂录音的背景噪声使用OpenShotDeepFilterNetDenoiseAudioClarity - Speechcomfyui/audio-clarity-speech.json改善沉闷、嘈杂、带宽受限或低保真的语音清晰度使用OpenShotLavaSRSpeechClarityEnhance with AI —— 图像动作模板文件用途与模型Change Image Style...comfyui/img2img-basic.json保持原构图前提下重绘风格使用sd_xl_base_1.0.safetensorsExtract - Depthcomfyui/image-extract-depth.json导出灰度深度图使用DepthAnythingV2PreprocessorExtract - Linescomfyui/image-extract-lines.json导出线稿图使用LineArtPreprocessorIncrease Resolutioncomfyui/upscale-realesrgan-x4.json低分辨率图像 4x 超分使用RealESRGAN_x4plus.safetensorsEnhance with AI —— 视频动作模板文件用途与模型Image to Video...comfyui/img2video-wan.json静止图像转生成视频镜头使用 WAN 2.2 图生视频模型Change Video Style...comfyui/video2video-basic.json对源视频应用新视觉风格必须提供参考图组合DepthAnythingV2Preprocessor深度与 Canny 边缘双重控制使用wan2.1_vace_1.3B_fp16.safetensors、wan_2.1_vae.safetensors、umt5_xxl_fp8_e4m3fn_scaled.safetensorsExtract - Depthcomfyui/video-extract-depth.json导出视频灰度深度图使用DepthAnythingV2Preprocessor保持源帧率Extract - Linescomfyui/video-extract-lines.json导出视频线稿版使用LineArtPreprocessor保持源帧率Increase Resolutioncomfyui/video-upscale-gan.json视频帧超分提升表观细节使用RealESRGAN_x4plus.safetensorsSmooth Motion (2x Frame Rate)comfyui/video-frame-interpolation-rife2x.json插值提升帧率使运动更流畅使用rife47.pthSplit into Scenescomfyui/video-segment-scenes-transnet.json自动检测场景变化并切分长片段使用 TransNetV2切分结果会生成带时间码命名如scene (00;12 to 00;30)与scene标签的分段文件src/classes/generation_service.pyAdd Captions from Speechcomfyui/video-whisper-srt.json语音转字幕 / 字幕文件SRT 输出并会把字幕文本写入源文件的caption元数据src/classes/generation_service.py跟踪类工作流SAM2这些工作流共用上文所述区域 / 跟踪输入流程集中在跟踪上下文菜单中动作模板文件说明Blur... (image)comfyui/image-blur-anything-sam2.json模糊静态图像中的指定主体区域SAM2 图像分割Highlight... (image)comfyui/image-highlight-anything-sam2.json强调静态图像中的指定主体区域SAM2 图像分割Mask... (image)comfyui/image-mask-anything-sam2.json为静态图像中的指定区域生成遮罩SAM2 图像分割Blur... (video)comfyui/video-blur-anything-sam2.json跟踪并模糊视频中的移动主体SAM2 视频跟踪Highlight... (video)comfyui/video-highlight-anything-sam2.json跟踪并高亮视频中的移动主体SAM2 视频跟踪Mask... (video)comfyui/video-mask-anything-sam2.json生成跟随移动主体的动画遮罩SAM2 视频跟踪这些模板中的 SAM2 相关节点OpenShotSam2VideoSegmentationChunked、OpenShotImageBlurMasked、OpenShotImageHighlightMasked等由OpenShot-ComfyUI自定义节点提供已被 src/classes/comfy_templates.py 的KNOWN_NODE_TYPES收录。新手起点如果你是第一次接触这些工具官方文档建议按以下顺序试水由易到难、由快到慢Create with AI-ImageEnhance with AI-Increase ResolutionEnhance with AI-Smooth MotionEnhance with AI-Split into ScenesEnhance with AI-Add Captions故障排查如果 AI 菜单不出现或任务立即失败按顺序排查验证 ComfyUI 正在运行且配置的 URL 可达使用偏好设置中的Check按钮确认必需模型存在于 ComfyUI 环境中对照上文清单逐项核对确认自定义节点包已安装且与所选工作流匹配如OpenShot-ComfyUI缺失会导致 SAM2 / 降噪节点全部校验失败减小批量 / 分块尺寸处理长片段长视频任务可结合comfy-sam2-target-batch-gb设置调低 SAM2 批处理预算或缩短片段再跑先用短片段或静态图复测把问题范围缩小。ComfyUI 返回的 prompt 校验错误会在 OpenShot 中以简明文本展示错误信息经过截断与结构限制处理避免巨型张量转储刷屏见 src/classes/comfy_client.py同时完整错误载荷保存在~/.openshot_qt/comfyui/debug_error.json供深入排查。延伸阅读完整的 ComfyUI 服务器搭建分步指南可参考 OpenShot 官方 Wiki 的 “ComfyUI: Advanced AI Setup Guide”关于预览性能与缓存调优参见官方文档的 播放与预览章节 与 偏好设置章节内置工作流模板源码位于 src/comfyui/模板加载与分类实现在 src/classes/comfy_templates.py生成编排在 src/classes/generation_service.pyHTTP/WebSocket 客户端在 src/classes/comfy_client.py任务队列在 src/classes/generation_queue.py命名、菜单标签等关键行为的单元测试见 src/tests/test_generation_service.py。赞分享桌面应用音视频视频处理【免费下载链接】openshot-qtOpenShot Video Editor is an award-winning free and open-source video editor for Linux, Mac, and Windows, and is dedicated to delivering high quality video editing and animation solutions to the world.项目地址https://gitcode.com/gh_mirrors/op/openshot-qt点击查看免费下载相关推荐Kedro 项目集成 MLflow 实战指南实验跟踪、模型注册与部署全流程Kedro 项目集成 MLflow 实战指南实验跟踪、模型注册与部署全流程 本文以 Kedro 官方文档《How to add MLflow to your数据工程工作流自动化Sunshine 自托管游戏串流完全指南把主机画面串到电视、手机与平板Sunshine 自托管游戏串流完全指南把主机画面串到电视、手机与平板 Sunshine 是一款免费的自托管游戏串流服务端配合 Moonlight 客户端音视频后端ComfyUI-Ollama插件轻松集成本地AI模型到工作流程ComfyUI Ollama插件轻松集成本地AI模型到工作流程 在AI创作工具ComfyUI中集成强大的语言模型从未如此简单ComfyUI Ollama插件AI 应用大模型本地部署多模态上一篇PP-StructureV3 实战指南5 步把复杂 PDF 变成结构化数据下一篇IceCubesApp的内存泄漏模拟单元测试检测方法创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考