Omost完整入门指南如何把LLM的写代码能力变成可用的图像合成管线【免费下载链接】OmostYour image is almost there!项目地址: https://gitcode.com/GitHub_Trending/om/OmostOmost 是一个让大模型写 Python 代码、再由代码驱动 Stable Diffusion XL 出图的 LLM 图像合成项目你输入一句自然语言LLM 负责把画面拆成结构化的画布描述渲染端再把这些描述合成为最终图片。对于想理解LLM 图像合成这条技术路线、或想在本地 8GB 显存显卡上跑起来的读者来说这篇文章会讲清它的工作机制、部署步骤和常见坑Omost 上手教程视角。一句话定义Omost 到底换了什么入口传统文生图是一句长 prompt 喂给扩散模型而 Omost 把中间层换成了代码模型先输出一段操作虚拟画布的 Python 脚本脚本执行后得到带区域、带层级的画面描述最后才交给扩散模型渲染 。换句话说LLM 承担的是编码环节图像是代码合成的产物。适合谁用谁先绕道适合想在本地NVIDIA 显卡约 8GB VRAM搭一套对话式出图工具的开发者研究 prompt-to-code 与区域引导扩散的研究者对可控构图有诉求、嫌一段长 prompt 说不清谁在左谁在右的用户。绕道只有核显或云端没有 GPU 的读者。仓库自带内存管理模块会把 LLM 和扩散模型轮流挪上显存但 8GB 是官方给出的门槛。五分钟装好 Omost安装命令与第一次出图本地部署只需要以下几步要求 Python 3.10PyTorch 建议用 cu121 版本git clone https://gitcode.com/GitHub_Trending/om/Omost cd Omost pip install -r requirements.txt python gradio_app.py网页界面里怎么操作从一句话到出图启动后会打开一个 Gradio 聊天页流程其实就三步在输入框写需求例如画一场武士与巨龙的激战LLM 会流式吐出一段 Canvas 代码全局描述 若干局部描述每个元素都带位置、大小、颜色代码解析成功后页面会亮起Render the Image!按钮点击即把画布状态转成图像条件并调用扩散模型采样出图后还能继续对话式编辑比如把龙换成恐龙LLM 会重新生成整份画布代码只改动相应元素。界面上可调整的项包括随机种子、temperature/top-p、采样步数默认 25 步、CFG默认 5.0、宽高默认 896×1152高级区还有 HR-fix 放大重绘和负面提示词。默认加载的语言模型是量化版omost-llama-3-8b-4bits底模是 RealVisXL_V4.0 这个 SDXL 微调模型。三个现成 LLM 怎么选官方在 HuggingFace 上放了三个基座模型及其量化版前缀均为lllyasviel/omost-llama-3-8b推荐 4bits 量化omost-dolphin-2.9-llama3-8b4bitsomost-phi-3-mini-128k推荐 8bits按官方用户测试的排序llama-3-8b-4bits 最好其次是 dolphin 版最后是 phi-3-mini 8bits。所以绝大多数情况直接用第一个即可。Canvas 在里面到底干了什么Canvas 是 LLM 与渲染端之间的接口协议实现见 lib_omost/canvas.py。它只有两个方法需要 LLM 学会调用set_global_description负责整幅画的总描述add_local_description负责往画面里放一个具体元素。每个局部描述都带一套受控字段description 与 detailed_descriptions一句话概括 若干细节句都是自洽的小提示词location / offset / area位置、微调偏移、区域大小三者都是有限枚举值distance_to_viewer相对远近只用于把元素排成从背景到前景的图层顺序绝对数值不可信HTML_web_color_name一个网页标准色名用来给元素定色tags / atmosphere / style / quality_meta补充的风格与质量描述按小词袋的方式参与文本编码。729 个格位LLM 如何说清东西摆在哪关键在这里项目没有让 LLM 输出像素坐标而是把画布切成 3×3 共 9 个位置中心、左上、右下……每个位置再细分 9 种微调偏移再配 9 种区域规格小/中/大 × 方形/竖长/横长组合起来就是 9×9×9729 个可用格位实现上落在 90×90 的归一化坐标系里。作者试过像素索引、百分比坐标等多种表示发现开源 LLM 学数字坐标很不稳定而on the leftslightly to the upper这类自然语言枚举收敛又快又稳——而且主流区域引导扩散方法本来就是粗粒度的不需要逐像素精确。LLM 写错枚举值也没关系canvas.py里有个最近邻匹配函数会自动纠正并打印提示。子提示词设计为什么文本不会被截断所谓子提示词sub-prompt指长度低于 75 个 token、能独立描述一个概念的短句。所有描述都遵守这个约定后编码时可以贪心地把若干短句拼进同一个 77-token 的袋子里再送进 CLIP 编码器拼不满 75 token 为止。因为每句都自洽任意切割都不会丢语义而把一个男人和英俊、职业这类句子合并编码还能让向量更连贯。另外全局描述里带了一个色块初稿机制把所有元素的颜色和区域画成一张粗糙色块图理论上可以当作初始潜变量img2img 起点去引导渲染不过当前仓库的默认流程是直接从零均值潜变量采样色块图更多是调试与验证构图用。图最终怎么生成SDXL 加注意力基线渲染渲染端是StableDiffusionXLOmostPipeline源码在 lib_omost/pipeline.py它继承自 SDXL 的 img2img 管线流程大致是把画布里每个区域转成文本条件 二值遮罩的成对列表负向提示词单独编码为覆盖全屏的负条件替换 UNet 的注意力处理器对每个像素只允许它attend到遮罩罩住自己的那些文本条件——这属于注意力分数操纵一族做法作者把它当作无参数、几乎不引入风格偏移的基线方案未来可能再上参数化方法用 DPM-Solver(2M) 采样器迭代去噪得到潜变量VAE 解码出像素若打开 HR-fix则把结果放大后按指定重绘强度再过一遍管线。配合memory_management模块在 LLM 与扩散模型之间腾挪显存整条链才能在 8GB 级别显卡上跑得动。部署前必看的常见坑与注意事项量化依赖量化版 LLM 需要bitsandbytes部分 9 系/10 系/20 系显卡上可能出问题官方建议这种情况直接用线上演示。上下文别信 128komost-phi-3-mini-128k超过约 8k token 后性能明显下滑实际按 8k 上下文对待比较稳妥8k 大约够 56 轮对话式编辑快用完时可以直接改前面的消息重发。模型排序别猜三个模型质量有实测差距首选omost-llama-3-8b-4bitsphi-3-mini 压到 4bits 有明显退化只在显存极端受限时考虑。内容过滤差异llama 版与 phi 版用过滤后的安全数据训练dolphin 版是未过滤全量数据若要对外提供基于 dolphin 版的服务必须自行做安全对齐。许可证使用这些模型需同时遵守 Llama-3 与 Phi-3 的许可条款。训练方式三个模型均在 H100 集群上用 fp16 全量训练无 Q-LoRA 之类技巧数据混合了 Open-Images 等地真实标注、自动标注抽取数据、以代码能否被 Python 3.10 编译为偏好的 DPO 强化以及少量 GPT-4o 多模态微调数据。最后局限与适用场景一句话收尾Omost 目前是一套LLM 出结构化代码 无参数注意力基线渲染的可控构图方案它的边界在于空间控制停留在 729 格位的粗粒度层面出图风格受制于所选 SDXL 底模且对 8GB 级显存和本地部署环境有硬要求如果你的需求是先让模型把画面规划成可审查、可对话修改的代码再交给扩散模型落地它就是一个值得完整过一遍源码再上手的参照实现。【免费下载链接】OmostYour image is almost there!项目地址: https://gitcode.com/GitHub_Trending/om/Omost创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
