这期聊的是 AutoMV 系列里一个特别折磨人的环节角色一致性。前两篇我们把分镜脚本和素材管线搭好了结果真把视频拼起来一看同一个角色在第三秒还是短发到第七秒突然变成卷发到第十秒连衣服都换了。观众可能看不出这是同一个人。我后来想明白一件事——不是模型不行而是我的故事本里根本没给“角色”留位置所有角色都是临时生成的路人AI 当然每次都在演一个不同的人。所以这篇就是记录我怎么把“故事本”升级成“带主角的系统”把特定角色 IP 真正锁进 AutoMV 管线里。AutoMV这个打法的核心是把一套自动生成 MV 的流程拆成可复用的模块分镜、提示词、素材、剪辑。角色 IP 是其中最容易被忽略但最影响观感的一环。这篇文章我会从角色构成拆解、工作流接入方案到实操让一个“红风衣女记者”在多个分镜里不串脸一步步给你过一遍我的完整思路适合已经在跑 AutoMV、或是做 AI 故事短片但总被“角色漂移”困扰的朋友。1. 为什么故事本需要角色IP1.1 只靠提示词AI永远都在“演不一样的演员”AutoMV 生成一个故事本质上是在做序列图像生成。每一帧、每一个分镜都由模型重新采样模型并不知道上一个分镜里那个女孩长什么样。哪怕你把提示词里的外貌描述写得很完整什么“棕色长发、蓝色眼睛、白色连衣裙”每一张图也只是一个“符合这段描述的陌生女孩”而不是“同一个女孩”。这就是为什么很多 AI 短片看完之后总觉得像幻灯片每张单看都好看连起来看却像一群人在轮流扮演主角。问题出在信息的传递方式上。文本对容貌的描述是高度压缩的“眼睛大小”“鼻梁高度”“脸型轮廓”这些用文字说清楚太难了更不用说 AI 模型对文字的理解还带有随机性。所以纯靠提示词去维持角色一致基本不可行。我最早试过把外貌描述写成一个长句模板放在每个分镜里结果出图后脸部相似度连一半都不到。这个问题的本质是故事本里只有“叙事文本”没有“角色定义层”。要让 AI 连续剧成立必须在故事本之外单独给角色建立一个稳定的视觉锚点就像剧组给演员定妆照一样。1.2 一个稳定的IP角色能带来哪些连锁收益把角色 IP 引入 AutoMV 后收益不是“好看一点”这么简单而是整条管线都会变顺。第一是剪辑叙事成立了。观众能分清谁是主角、谁是配角、谁在哪个场景里做了什么。没有这个基础故事结构再精巧也没用。第二是生产效率提高。角色固定之后场景背景可以放开手脚变化因为注意力焦点始终在角色身上画面哪怕切换得很频繁观感也连贯。第三是支持系列化。同一角色可以在多个故事本里反复演出形成自己的“演员库”之后做续集、合集就非常轻松。我自己的体会是角色 IP 不是一个“滤镜”或“风格”它应该作为故事本数据模型里的一个独立字段存在。用结构化的方式把角色信息和分镜绑定才能让后续步骤稳定发挥。2. 角色IP的构成三根定海神针想把角色稳定下来不能只盯着一张脸。我拆了很久最后把“一个可复用的 AI 角色”归纳成三个维度脸部特征、服装道具、光影与镜头习惯。这三者缺一不可少了任何一个都会在某些分镜里露馅。2.1 第一根“脸”的控制链路脸是角色识别的第一优先级也是最难控制的部分。目前 AutoMV 里锁脸最常用的方案是训练一个轻量级 LoRA。LoRA 会把角色的脸型、五官位置、肤色、神态习惯等编码进一个很小的模型文件里出图时加载它角色就会倾向于往这张脸靠拢。LoRA 的训练数据不需要很多我自己实践下来10 到 20 张同一角色的正面、侧面、不同表情的图片就够用。关键是图片要干净背景简单、表情自然、不要戴夸张配饰。训练步数不宜过高我一般把 epoch 控制在 10 到 12学习率 1e-4 量级。步数太高容易过拟合把背景和衣服也一起记住了步数太低则脸部特征不稳定。如果没有条件训练 LoRA另一个常用方案是参考图法让工作流加载一张角色的标准脸图通过 IPAdapter 或 Reference 节点把这幅图的特征“迁移”到新生成的画面里。这个方案不需要训练但对参考图的清晰度要求很高而且批量生成时偶尔会丢失细节需要人工挑图。两种链路不是互斥的我更推荐先用 LoRA 保证基础特征再用参考图在关键分镜做二次锁定。2.2 第二根服装和道具的锚定设计服装是很多做 AI 视频的人容易忽略的点。人物脸部维持住了但衣服每换一个镜头就换个颜色或款式观众同样会出戏。因为在生活经验里一个人换个造型是常事但在连续几分钟的故事里频繁变装会造成强烈的“这不是同一个人”的感觉。我的做法是把服装写成一个完全固定的“锚定描述”原封不动地贴进每个需要该角色出场的分镜里。描述里包含颜色、版型、材质、细节配饰四个层级。以我实操的“红风衣女记者”为例服装锚定是这样的red trench coat, slightly oversized, black belt at waist, white shirt inside, black trousers, brown leather messenger bag这段描述不能随意改动。很多人为了让画面“更丰富”会在不同分镜里加围巾、换内搭最后角色就崩了。保持克制把服装作为角色的一部分而不是场景的一部分。道具也是一样。比如角色戴一副圆框眼镜那么这个眼镜最好在所有出场镜头中都存在除非故事里专门安排了“摘掉眼镜”的剧情节点。道具锚定越严格角色辨识度越高。2.3 第三根光影、构图与镜头习惯第三根定海神针是光影和构图这个维度最容易被忽略却对“是不是同一个角色”的观感起着不小的作用。AI 生成时如果每个分镜的光线方向、色温都不同比如前一个镜头是暖黄侧光后一个镜头是冷蓝顶光即便脸型很像观众也会隐约觉得哪里不对。我的策略是给每个角色设定一个“默认光照风格”并且写进角色卡里。比如这个角色是“柔和自然光、轻微暖调、阴影过渡柔和”另一个角色是“硬朗顶光、高对比、偏冷调”。这样一来不只是角色长得一样连“她所在的世界”也是一致的。构图和镜头习惯同样要写清楚喜欢特写还是中景视角是平视还是略微仰视景深是虚化强烈还是清晰锐利。这些细节决定了角色的“镜头人格”也是区分同一张脸下不同人物的方式之一。在实际操作里我会把这些信息整理成一张角色卡像下面这样维度设定内容脸部特征圆脸、棕色长发、琥珀色眼睛、小巧鼻型服装锚定红风衣黑腰带白衬衫黑色直筒裤棕色挎包道具标记黑色圆框眼镜、银色腕表光照习惯柔和自然光、轻微暖调、边缘光偏柔构图偏好中近景为主平视视角浅景深运动风格步伐轻快手势幅度小表情内敛这张角色卡就是后续提示词和参数设计的“源代码”所有分镜都围绕它来展开。3. AutoMV工作流里的IP接入方案3.1 方案ALoRA角色训练一劳永逸但需要准备数据如果决定走 LoRA 路线完整的链路是准备训练集 → 训练出 .safetensors 文件 → 在生成工作流中挂载 → 配合角色卡提示词使用。训练数据准备阶段我踩过最大的坑是图片素材不统一。开始我直接搜了一堆模特图各种背景、各种滤镜结果训练出来的 LoRA 在脸部特征上摇摆不定。后来改成自己生成标准脸图固定一个基础模型写一段中性描述把同一个角色生成 8 张半身照、8 张面部特写、4 张侧面照。再统一裁剪成方形、保持同样的光线方向。这套数据训练出来的 LoRA稳定性明显提升。训练参数方面我建议用 SD 生态里常见的 LoRA 脚本。设置上分辨率统一为 512 或 768batch size 设置成 1 到 2Epoch 控制在 10 到 12。判断是否过拟合的方法很简单训练结束后用这个 LoRA 生成几张和训练集风格完全不同的图片如果脸还是清晰且相似说明效果不错如果出现背景被复制说明 overfit 了。在实际 AutoMV 生成时LoRA 不是单独使用而是和角色卡提示词组合。我通常会在正向提示词最前面写“角色名 角色卡中的外貌关键词”然后再把 LoRA 触发词放在中间避免模型只记住了脸忽略了服装锚定。3.2 方案B零训练的参考图工作流IPAdapter / Reference OnlyLoRA 方案效果好但它需要完整走一遍训练流程如果只是临时做一个角色或者只想快速验证一个故事能不能成立我更推荐先用参考图工作流。ComfyUI 里有两种比较成熟的做法IPAdapter 和 Reference Only。IPAdapter 的思路是把参考图的特征向量提取出来注入到生成过程里。具体操作是在工作流里增加一个 IPAdapter 节点把角色标准脸图输入进去然后设置权重。权重太高会导致画面过于贴近参考图动作和构图被限制权重太低又起不到稳定作用。我一般先从 0.7 开始调根据出图效果微调。Reference Only 更像是一种重绘约束扩散过程会参考参考图的整体构图和人物特征。它对脸部细节的控制力没有 IPAdapter 强但对整体风格迁移更自然。我会把它们搭配使用Reference Only 管整体氛围IPAdapter 管脸两条链并行最后的出图效果相当稳定。这个方案的另一个优势是迭代快。换角色不用重新训练模型只要换一张参考图就行。所以我的建议是快速验证期用方案 B确定角色要长期使用后升级成方案 A。3.3 结合故事本脚本的角色参数嵌入无论用哪种方案最终角色信息都要落回故事本的数据结构里。我不会把提示词散落在各个操作界面里而是会把它结构化地写进故事本配置中做成一个角色字典每个分镜通过引用角色 ID 来获取对应锚定信息。这里给出一个我在 AutoMV 中使用的极简配置示例便于直观理解{ story: 红风衣记者的夜间追踪, cast: { reporter: { name: Lina, role_card: round face, amber eyes, brown long hair, red trench coat ..., lora: lina_v3.safetensors, ref_image: assets/ref_lina.png, lighting: soft natural light, warm tone, soft shadows } }, scenes: [ { id: scene_01, cast: [reporter], prompt: wide shot, Lina walking on the night street, ... }, { id: scene_02, cast: [reporter], prompt: close-up, Lina looking at the phone, ... } ] }这样设计的好处是分镜脚本本身不用重复写一大段角色描述只需要写“这个分镜由哪些角色参与”以及“他们在这个镜头里做什么”。提示词拼接的逻辑由程序自动完成取出角色卡 → 拼接动作描述 → 加上场景描述 → 发送给生成模块。整个流程干净、规范、可复现。4. 实操让“红风衣女记者”在3个分镜中不串脸我拿最近做的一个 AutoMV 项目做演示故事讲一个叫 Lina 的女记者在夜里接到一个神秘电话然后赶去一座旧码头调查。总共 3 个核心分镜每个分镜她都必须保持同一张脸、同一件红风衣。下面我完整跑一遍我的工作流。4.1 写角色卡并固化服装锚定第一步不是打开生成界面而是先写角色卡。我直接在故事本配置文件里建了一个 cast 字典Lina 的所有视觉信息都放在这里。除了前面表格里那些我还额外加了一条“负面提示词里的服装排除项”例如防止模型给她换衣服的描述negative prompt: different clothes, different coat, changing outfit, inconsistent face, duplicate face这条负面提示词被附加在每个分镜里。实践下来它对“防变装”非常有帮助。很多模型默认会倾向于多样化给它加明确的排除项等于告诉它“不要耍花样”。同理我也会加入“不对称脸、畸形手、多余手指”等常规负面项。4.2 分镜提示词的组织顺序每一条分镜的最终提示词我会按固定顺序拼接角色名 LoRA触发词 角色卡视觉锚定 动作 场景 光照。顺序很重要因为模型对提示词的注意力不是均等的靠前的词影响更大。场景一的完整提示词大概是Lina, beautiful woman, round face, amber eyes, brown long hair, wearing red trench coat, black belt, white shirt, black trousers, walking toward camera on the night street, street lamps, soft warm light, shallow depth of field, photorealistic, 8k注意动作和场景只放最后角色信息永远占据前面的位置。在 ComfyUI 中我会用换行分隔不同语义块但实际发送给模型时会保留逗号分隔这样的文本结构更利于模型解析。场景二的提示词只需要替换动作部分Lina, ... (角色卡不变), checking phone while walking, night street, phone screen glow on face, soft warm light, close-up shot场景三用到旧码头背景我依然保持角色卡不变只把动作和场景换成“looking at the harbor, dark blue tone, wide shot”。实践下来只要角色卡部分不变化模型就很难在衣服或脸上自作主张。4.3 出图后的一致性检查与修复手段三组分镜都生成完后不能直接进视频合成。我会做一个“一致性快检”把每个分镜的生成图截出人脸区域并排放进同一张画布里肉眼检查脸部轮廓、发型和服装颜色是否有明显偏差。这一步很快但能省掉后期返工的巨大麻烦。如果某一帧的脸崩了我不会直接重新抽卡。我通常先尝试用固定随机种子微调提示词或者把参考图的权重提高 0.05 再生成一次。要是还不行就手动把崩的那张作为图生图的底图用低重绘幅度修脸。关于修脸我习惯把底图丢给局部重绘模型只框选脸部用 0.3 左右的重绘幅度修复。注意不要框到头发否则发色会漂。所有分镜通过检查后才合并成视频序列。这个“先验货再合成”的流程是 AutoMV 项目里最值得养成的好习惯。5. 常见问题与排查技巧实录这节我把实际运行中遇到最多的问题整理成一份速查表全都是我自己用真金白银踩出来的经验希望能帮你少走弯路。现象可能原因排查方向脸部轮廓相似但眼睛颜色漂移LoRA 训练数据里眼部特写不够补充多角度眼部特写图重训 LoRA服装颜色每帧渐变服装锚定词被场景词稀释把服装锚定移到提示词最前部并加入负面词只有正脸稳定侧脸崩训练集缺少侧面图增加 30% 侧面、45度角图片参考图作用下动作呆板IPAdapter 权重过高将 IPAdapter 权重从 0.8 降到 0.6同一角色在不同分镜里整体气质不同光照词变化太大统一角色卡中的 lighting 字段不让分镜单独覆盖脸部清晰但手部畸形底模对肢体表达能力不足换用新版本底模或加入手部修复节点排查时有一个核心原则一次只改一个变量。很多新手在发现效果不好时同时换模型、加 LoRA、改提示词、调权重最后完全不知道问题出在哪。我的做法是先锁死提示词和种子只调参考图权重或 LoRA 权重确认稳定后再动提示词。这样出来的结果可复现性很高。还有一个容易踩的坑是上下文干扰。生成视频序列时某些工具会把上一张图的 latent 作为下一张图的初始输入以实现帧间连贯。这本来是好事但如果你在生成中途调整了权重会导致后面的结果突然偏离。遇到这种状况建议重新从干净状态开始不要让旧 latent 继续影响新合成。在做 AutoMV 过程中我还总结出一个习惯每个角色创建一个独立版本文件夹里面放标准参考图、训练数据集、训练完成的 LoRA、角色卡 json、以及成功和失败的部分样例图。这样角色库会随项目积累越来越强大下次做新故事时可以直接调出以前建好的角色来用越到后面复用价值越高。6. 一些个人经验与后续可扩展的方向角色 IP 这块做完之后AutoMV 的故事表现力上升了不止一个层次。以前做出来的东西像“AI 随机人物图鉴”现在至少像一个有人物、有情绪、能讲事件的短片了。如果你想把这事儿做得更极致接下来还有几个可以探索的方向第一给角色设计一个“表情循环库”把开心、惊讶、沉思等表情单独做成 LoRA在叙事节点切换第二把角色的声音也固定下来配合 TTS 形成一套完整的“虚拟演员包”这样连配音的声线都能保持一致第三让多个角色出现在同一个画面里提前用蒙版或区域控制安排各自的空间位置这样就有了互动戏份故事张力会更强。但我还是想给刚接触 AutoMV 的朋友一个建议不要一上来就搞复杂。先把一个角色、三个分镜稳定跑通哪怕故事很简单也可以确认管线是可靠的。再慢慢叠加角色数、场景数和镜头变化。控制力是最重要的目标然后才是丰富性。这套“角色 IP”工作流本身没有太高门槛难的是在遇到不一致时不慌能一点点定位问题出在哪个环节。希望这篇分享能让你在制作 AI 短片时少几次抓狂多几分可控。