JoyAI-Image空间编辑完全指南物体移动、旋转与镜头控制3类提示词模板详解【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-ImageJoyAI-Image 是一个开源的统一多模态基础模型集图像理解、文生图生成与指令式图像编辑于一体。它的空间编辑Spatial Editing能力是最大亮点只需一句话提示词就能让图中物体精确移动、按指定方位旋转甚至像操作真实相机一样旋转、俯仰、缩放镜头——全程无需手动修图。本文将带你完整掌握 JoyAI-Image 空间编辑的3 类提示词模板物体移动Object Move、物体旋转Object Rotation与镜头控制Camera Control。30秒看懂 JoyAI-Image 空间编辑JoyAI-Image 由一个 8B 多模态大语言模型MLLM和一个 16B 多模态扩散 TransformerMMDiT组成核心理念是理解、生成、编辑的闭环协作更强的空间理解让编辑指令执行得更精准而视角变换等生成能力又反过来辅助空间推理。与常见的改颜色、换背景式编辑不同空间编辑操作的是三维空间关系物体移动把目标物体移动到图中指定的红框区域物体旋转让物体转到指定方位正面、左后侧等 8 种视角镜头控制保持 3D 场景不变仅改变相机的偏航角、俯仰角和缩放快速开始3步搭好空间编辑环境环境要求Python ≥ 3.10、CUDA 显卡。第 1 步克隆仓库git clone https://gitcode.com/gh_mirrors/jo/JoyAI-Image cd JoyAI-Image第 2 步创建环境并安装详见 README.md 的 Quick Start 章节conda create -n joyai python3.10 -y conda activate joyai pip install -e .第 3 步下载模型权重JoyAI-Image-Edit可从 Hugging Face / ModelScope 获取然后运行 inference.py 执行空间编辑python inference.py \ --ckpt-root /path/to/ckpts \ --image test_images/test_1.jpg \ --prompt Move the apple into the red box and finally remove the red box. \ --output outputs/result.png \ --steps 30 --guidance-scale 4.0 如果你习惯图形化工作流仓库内置的 joyai_image_comfyui/ 目录提供了 ComfyUI 自定义节点拖拽即可跑空间编辑。类型一Object Move —— 物体移动提示词模板适用场景想图中某个物体移动到指定的红框区域红框是你预先画在输入图上的目标位置标注。模板Move the object into the red box and finally remove the red box.三条使用规则object替换为目标物体的清晰描述如apple、the red car红框代表目标位置——编辑前需在输入图上画出红框句尾的finally remove the red box表示最终成图里不要出现引导框务必保留这句。官方示例Move the apple into the red box and finally remove the red box.下面是仓库assets/application/moving/中的真实效果输入图中散落的橙子被整体移动到了人物手部位置其余画面保持不变。编辑前输入图物体移动后输出图动态过程注意背景与人物姿态的高保真保持类型二Object Rotation —— 物体旋转提示词模板适用场景让物体旋转到某个标准视角canonical view常用于产品展示、3D 数据增广。模板Rotate the object to show the view side view.支持的 8 种view取值只能从里面选front, right, left, rear, front right, front left, rear right, rear left使用规则object替换为要旋转的物体描述view必须是上面 8 个方向词之一该指令只改变物体朝向物体身份和周围场景尽量保持一致。官方示例Rotate the chair to show the front side view. Rotate the car to show the rear left side view.官方演示中红色跑车从正面视角旋转为左前斜侧视角车漆反光、轮胎细节和背景玻璃幕墙都保持了高度一致旋转前输入图旋转后输出图类型三Camera Control —— 镜头控制提示词模板适用场景不改动场景本身只改变相机视角——偏航Yaw、俯仰Pitch和缩放Zoom相当于给模型下运镜指令。模板注意是四行结构请尽量原样套用Move the camera. - Camera rotation: Yaw {y_rotation}°, Pitch {p_rotation}°. - Camera zoom: in/out/unchanged. - Keep the 3D scene static; only change the viewpoint.填写规则占位符说明示例{y_rotation}偏航角单位为度正负均可45、-90{p_rotation}俯仰角单位为度20、-30Camera zoom只能填in、out、unchanged三选一in⚠️ 最后一行Keep the 3D scene static; only change the viewpoint.是关键约束它明确告诉模型保持 3D 场景内容不变只调整视角。删掉这句模型可能会顺便改动画面内容。官方示例Move the camera. - Camera rotation: Yaw 45°, Pitch 0°. - Camera zoom: in. - Keep the 3D scene static; only change the viewpoint.Move the camera. - Camera rotation: Yaw -90°, Pitch 20°. - Camera zoom: unchanged. - Keep the 3D scene static; only change the viewpoint.官方演示中镜头从平视旋转俯转为近 45° 俯视人物表情、滑板文字和人群布局都未失真运镜前输入图运镜后输出图进阶玩法空间编辑还能做什么掌握 3 类模板后你还可以把空间编辑当作空间数据合成器3D 重建增广对单视角点云/场景用镜头控制合成更丰富的观察视角补全稀疏输入参考 assets/application/3dpoint/ 中的点云演示视频首尾帧生成用物体旋转模板生成视频尾帧再交给视频生成模型补间实现平滑旋转转场见 assets/application/rotation/ 的演示辅助空间推理通过高保真的新视角消歧谁在谁上方这类空间关系问题。空间编辑提示词速查表类型模板关键约束物体移动Move the object into the red box and finally remove the red box.图中需有红框保留 remove 句物体旋转Rotate the object to show the view side view.view限 8 个方向词镜头控制Move the camera. Yaw/Pitch/zoom 三行保留 scene static 末行效果优化小贴士提示词尽量贴近模板原文官方说明模板遵循度越高、行为越稳定推理参数建议--steps 30、--guidance-scale 4.0输出分辨率用--basesize 1024简单指令不满意时可加--rewrite-prompt让 LLM 先自动改写提示词inference.py 支持。从移动一颗苹果到给场景运镜JoyAI-Image 用三套简洁的提示词模板把三维空间操作变成了人人可用的能力。现在就挑一张图试试你的第一条空间编辑提示词吧 【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-Image创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考