AI 搞笑短视频如今已经不只靠真人出镜。用生成式 AI 做搞笑内容时真正困难的地方不是点开某个工具生成一段视频而是把“一个好笑的想法”稳定地变成“一条能发布的成片”。同一句话给不同 AI 模型生成出的画面差异很大同一段素材在不同剪辑参数下效果也完全不同所以想稳定产出需要先把制作流程拆成可管理、可复现、可检查的阶段。下面的流程会从前到后演示一套 AI 搞笑视频制作的完整链路从确定搞笑点、写分镜脚本到生成画面关键帧、配音、字幕再用 FFmpeg 合成最终视频。这套链路既适合刚接触 AI 工具的内容创作者也适合想用脚本批量生产素材的程序员和运营。文章最后还会给出常见的画面异常、音画不同步、字幕乱码等问题的排查路径以及发布前检查清单。开始之前先说一条底线搞笑视频不能建立在危险操作、伤害他人或明显误导观众的基础上。无论是真人拍摄还是 AI 生成凡是涉及危险挑战和身体安全风险的内容都不适合作为选题。AI 生成的虚构画面也不能让观众误以为危险操作可以模仿。1. 先理解 AI 搞笑短视频的工作流创意也是一种工程输入1.1 搞笑短视频的最小工作流是什么样的一条搞笑短视频从创意到发布通常不是“写段子 随手一拍”这么简单。即使只做 20 秒也包含几个必须出现的组件一个明确的搞笑点。它可以是反差、误会、谐音梗、角色口误也可以是虚拟角色用严肃语气做离谱事情。一段能推动节奏的脚本。至少要能拆出场景和旁白也就是画面里发生了什么、声音在说什么。一组视觉素材。AI 生成的关键帧图片、图生视频片段、数字人口播片段都可以。一条配音轨道。旁白、角色对话、音效、背景音乐要分层处理。一份字幕文件。搞笑视频的字幕往往承担了很强的包袱作用不只是转述台词。最小工作流可以表示为确定搞笑点 - 生成分镜脚本 - 生成画面素材 - 生成声音素材 - 剪辑合成 - 发布前检查这里的每一步都可以用生成式 AI 辅助完成。但要注意AI 生成结果天然带有随机性如果每一步都直接打开网页手动生成很难批量做内容。更合理的方式是把“剧本”当成一份结构化数据让画面和声音工具都围绕这份数据工作。1.2 为什么用“脚本 JSON”来管理制作过程人工剪辑时习惯做法是打开剪辑软件把视频片段拖到时间线再凭感觉调整。但 AI 素材往往不是一次生成就能成功如果某个画面不好需要单独重新生成如果配音语速变了字幕时间又要跟着调整。这时候如果所有素材都散落在文件夹里很快会失控。所以建议把每个场景的期望内容写成结构化数据。最常见的载体是 JSON{ title: AI助手第一次点外卖, fps: 25, scenes: [ { id: s01, duration: 2.2, narration: 今天我要让AI帮我点一杯咖啡。, visual_prompt: 一个穿科技外套的年轻人坐在客厅用手机下单室内光线明亮写实风格镜头缓慢推进, negative_prompt: 模糊手指畸形文字水印人物变形, audio: male_comedy_zh, transition: cut }, { id: s02, duration: 3.0, narration: 等了十分钟它告诉我咖啡已经从屏幕上喝完了。, visual_prompt: 年轻人盯着手机屏幕表情惊讶手机屏幕发出蓝光桌面上没有咖啡杯写实风格, negative_prompt: 模糊手指畸形文字水印人物变形, audio: male_comedy_zh, transition: cut } ] }这个 JSON 的价值在于每个字段都对应一个后续操作。字段含义后续用途id场景唯一编号决定图片、音频、片段文件的命名duration期望时长生成或裁剪视频片段时作为对齐基准narration旁白文本交给 TTS 生成配音也是字幕文本visual_prompt画面提示词交给图像生成模型生成关键帧negative_prompt负面提示词降低画面异常出现概率audio音色标识决定用哪个声音角色朗读transition转场方式剪辑合成阶段决定是否硬切这样做以后如果第 s02 画面效果不好只需要重新生成 s02 对应的图片不需要把整个脚本重新跑一遍。1.3 环境准备至少需要哪些依赖实际写代码搭这套流程前先确认环境。可以在同一台电脑上完成也可以把画面生成放在 GPU 机器上把剪辑放在普通电脑上。推荐的起步环境如下依赖项用途备注Python 3.10 或更高版本运行批量处理脚本不同库对 Python 版本要求不同落地前先用python --version确认FFmpeg合成视频、添加字幕和音轨安装后执行ffmpeg -version确认可用图像生成能力文生图、图生视频本地模型需要 NVIDIA GPU在线服务需要服务商账号TTS 能力旁白和角色配音可用在线服务也可用本地方案字幕字体渲染中文字幕中文字幕需要系统中存在对应字体否则会出现方块如果是用生成式 AI 的在线平台显卡要求不高。如果想在本机跑 Stable Diffusion 这类模型需要准备支持 CUDA 的 NVIDIA 显卡显存建议不低于 8GB。不同模型对显存要求差异很大落地前要看你实际使用的模型说明不能只按照某一篇文章的配置执行。注意AI 制作流程里最容易出现的不是模型不生成而是依赖版本不一致。建议给项目单独建一个虚拟环境并把 Python 依赖固定到 requirements.txt。2. 从点子到分镜先把幽默结构写清楚2.1 搞笑点的常见结构AI 生成搞笑视频经常遇到的问题不是画面不真实而是“不知道为什么好笑”。很多提示词生成的画面虽然漂亮却没有情节张力和时间线。所以搞笑点要先于画面设计。常见且容易出效果的搞笑结构有三种反差。严肃的场景突然出现离谱行为例如一个西装革履的新闻播音员一本正经地给猫读天气预报。误会。角色根据错误信息做出了离谱判断例如 AI 助手把“点一杯咖啡”理解成“把咖啡杯放到屏幕前”。重复 反转。前两秒建立固定预期中间几次重复类似动作最后一次突然打破预期。第二条视频脚本的“反转”可以单独设计成一小段。喜剧节奏上铺垫不能太长最好一开始就用动作或旁白建立预期反转要干脆收尾要克制。搞笑短视频能把一个点讲清楚就够了不要在一分钟里塞五个剧情。2.2 用结构化提示词生成分镜脚本如果你使用了具备对话能力的生成式 AI可以先把上面设计的搞笑点喂给它要求它输出结构化脚本。比较稳定的提问格式是这样请帮我把这句话展开成搞笑短视频脚本AI第一次帮忙点外卖结果闹出乌龙。 要求 1. 一共 3 到 4 个场景。 2. 每个场景给出场景画面描述、旁白、期望时长。 3. 旁白要口语化每个场景不超过一句话。 4. 输出为 JSON 格式不要额外解释。生成后的 JSON 可以继续回填到脚本目录中例如保存为script.json。这里不建议直接把模型输出的 JSON 当作最终成品因为模型生成的文案经常偏长、缺少停顿需要人工删短。AI 文案在短内容场景中最大的问题不是语法错而是“信息太多”。旁白每句控制在 15 个字以内喜剧节奏会更紧凑。2.3 画面提示词怎么写才能减少废图同样的画面描述不同模型产生的结果差别很大。一个相对通用的正提示词结构是主体 动作 环境 光影/视角 风格 质量词对应到脚本里可以是一个穿科技外套的年轻人坐在客厅沙发上低头盯着手机表情惊讶 客厅灯光明亮手机屏幕发蓝光写实风格近距离侧面镜头高细节负面提示词单独填模糊低分辨率手指畸形多根手指文字错误水印脸部变形两个主体这里要说明负面提示词能降低一部分问题出现的概率但不能完全消除。生成图片后仍然需要人眼筛选。如果某一个画面反复出现手指异常可以增加“手部特写”的局部重绘或者干脆更换镜头角度不出现手部细节。3. 生成画面静态关键帧是最高效的起点3.1 本地模型和在线服务怎么选搞笑短视频不需要每条都做 3D 大片很多时候一张足够生动的人物关键帧配合缩放镜头和配音就能形成一条完整短片。先出静态关键帧再后期动态化比直接生成视频稳定性高很多生成成本也更低。如果你的电脑没有独立显卡建议使用支持文生图的在线工具或封装服务。不同服务商有各自的模型和计费规则调用前先读它的开发文档把接口凭证、模型名称、尺寸参数替换到下面的通用脚本里。如果在本地运行图像生成模型可以用类似下面的方式调用pip install diffusers transformers accelerate torch然后写一个批量生成脚本import json from pathlib import Path from diffusers import StableDiffusionXLPipeline import torch script json.loads(Path(script.json).read_text(encodingutf-8)) image_dir Path(assets/images) image_dir.mkdir(parentsTrue, exist_okTrue) pipe StableDiffusionXLPipeline.from_pretrained( 你选择的模型目录或模型ID, torch_dtypetorch.float16, variantfp16 ) pipe pipe.to(cuda) seed 42 generator torch.Generator(devicecuda).manual_seed(seed) for scene in script[scenes]: image pipe( promptscene[visual_prompt], negative_promptscene[negative_prompt], width832, height1216, num_inference_steps30, guidance_scale7.0, generatorgenerator, ).images[0] output_path image_dir / f{scene[id]}.png image.save(output_path) print(f生成完成: {output_path})这段代码不是所有环境都能直接运行。你要先确认自己使用的图像模型支持哪类加载方式模型文件名和任务入口都会因为版本不同而变化。示例的价值是展示“按场景循环生成”这一思路真正落地时以你选择的模型和文档为准。3.2 参数怎么调才能不浪费显存和时间以下参数是文生图场景中经常需要调整的。参数常见范围调大/调小的影响width / height根据目标平台设置画面构图影响很大竖屏短视频建议高度大于宽度num_inference_steps20 到 50调大用时更长细节不一定更好低于 20 容易出现画面不完整guidance_scale6 到 8调大更贴近提示词但可能过饱和调小画面自由但容易跑题seed固定整数同一个 seed 相同提示词更容易复现相近结果方便排错不要一上来就追求 4K。20 秒短视频在平台压缩后画质瓶颈经常是视频编码而不是原始分辨率。先输出 1024 左右宽度的竖图等完整流程跑通后再调大尺寸。3.3 生成之后的挑选原则图像生成脚本一次会出多张图人眼筛选仍然必要。筛选时重点看四个问题主体动作是否符合分镜预期。是否出现明显的肢体、文字、边缘变形。是否出现真实人物肖像、品牌 Logo 或受版权保护的素材。风格是否和前后场景统一。如果人物服装在不同场景里不一致最简单的方式是把角色描述做成一个固定前缀在每张图的正提示词里都带上相同描述。例如统一使用“穿黑色科技外套、戴圆框眼镜、短黑发的年轻男性”不要在第一张写“黑色外套”第二张写成“黑色夹克”。4. 让画面动起来动态化、数字人和镜头运动4.1 静态关键帧也能塑造运动感对搞笑短视频来说画面不需要每个像素都在动。观众更在意的是镜头是否稳定、变化是否清晰。常见做法是给静态图加上缓慢推镜头或摇镜头让画面不至于呆板。这种效果可以用 FFmpeg 的 zoompan 滤镜实现具体命令在后面的剪辑章节中会给出。先掌握思路缩放中心点的 x、y 坐标配合缩放比例 zoom 随时间变化就能模拟镜头视觉。推镜头适合表现人物“察觉到异常”拉镜头适合表现“离谱结果突然出现”。4.2 图生视频和数字人口播的选择如果需要画面里的角色真正开口说话光靠图片不够。现在常见的方式有两类图生视频。输入一张包含角色人脸或整个场景的图片再输入动作描述模型输出一小段视频。这类方式适合表现“转头、惊讶、摊手”这类肢体反应。口型驱动。输入一张人物正脸图和一条配音音频模型输出角色说话的视频片段。社区常用的开源模型有很多不同仓库的调用命令差异很大输入一张人脸图加一条音频输出带口型的短视频是通用流程。使用前一定要确认你用的模型训练数据是否允许你的用途是否涉及真实人脸。如果视频的目标是快速做搞笑段子最稳妥的角色方案是使用明显的虚拟角色或卡通形象不要直接对真实人物做肖像迁移。AI 生成角色可以承担大量离奇动作也不会造成肖像侵权问题。4.3 动态素材的长度怎么对齐图生视频生成的片段一般不会精确等于你想要的 2.2 秒或 3 秒。这个时候要以“脚本 JSON 里的 narration 配音长度”作为基准。让 AI 生成视频片段时尽量让它稍长一点后期用 FFmpeg 从头部裁剪到期望时长导出时要保持音画同步。如果生成出来的画面很难截取到关键动作那就回到剪辑思路在关键帧图片上做缓慢缩放让它撑满配音时长再用音效或字幕把包袱点出来。对搞笑短视频来说包袱是否响更多取决于节奏和声音而不是画面有多少帧。5. 合成声音配音、音效和字幕5.1 分场景生成配音的基本结构每个场景一独立配音避免一长段音频和画面轻微错位后全部得重来。TTS 服务可以选择在线厂商也可以选择本地开源模型。无论选择哪种都建议封装一个统一入口from pathlib import Path def synthesize_audio(text: str, voice: str, output_path: str): # 根据你选择的 TTS 服务实现 # 需要支持 voice 参数用于固定音色 ... def build_audio_for_scene(scene, audio_dir: Path): audio_dir.mkdir(parentsTrue, exist_okTrue) output_path audio_dir / f{scene[id]}.mp3 synthesize_audio( textscene[narration], voicescene.get(audio, default_male), output_pathstr(output_path), ) return output_path使用统一入口的好处是后续替换 TTS 后端时只需要改 synthesize_audio 内部实现整个脚本的调用方式不用变。如果你需要快速试效果可以在本地测试一些常见的 TTS 库。例如下面的逻辑可用于在线 TTS 服务测试import asyncio import edge_tts async def generate(): communicate edge_tts.Communicate( 今天我要让AI帮我点一杯咖啡。, voicezh-CN-YunxiNeural ) await communicate.save(assets/audios/s01.mp3) asyncio.run(generate())要注意这类在线能力依赖网络和第三方接口稳定性不同周期的可用性不一定一样。个人测试可以生产级短剧或商用项目要选择具备明确授权规则、便于开票和提供稳定 SLA 的服务不要长期依赖社区爬接口类方案。5.2 配音参数影响节奏配音效果不只取决于音色还取决于语速和停顿。常见参数参数作用建议voice选择音色一条片子锁定同一个角色音色rate语速搞笑反转前常要稍微放慢形成停顿pitch音调虚拟角色可用稍高音调表现浮夸break 标签句间停顿在包袱抛出前插入 200ms 到 500ms 停顿不要给所有台词设置同样语速。AI 配音最不自然的地方是每句话间隔均匀缺少人类说话时的思考停顿。如果 TTS 支持插入停顿标记可以在反转前加一处停顿如果不支持可以在剪辑时把语音切到反转词前再插入一小段空音频。5.3 字幕文件的生成字幕在搞笑视频里不只是文字展示它经常承担强调关键动作的功能。先用脚本 JSON 生成 SRT 文件也是一种可重复的方式。import json from pathlib import Path script json.loads(Path(script.json).read_text(encodingutf-8)) def to_srt_time(seconds: float) - str: ms int((seconds - int(seconds)) * 1000) h, rem divmod(int(seconds), 3600) m, s divmod(rem, 60) return f{h:02}:{m:02}:{s:02},{ms:03} current_time 0.0 srt_lines [] for index, scene in enumerate(script[scenes], start1): start current_time end current_time scene[duration] srt_lines.append(str(index)) srt_lines.append(f{to_srt_time(start)} -- {to_srt_time(end)}) srt_lines.append(scene[narration]) srt_lines.append() current_time end Path(output/subtitles.srt).write_text( \n.join(srt_lines), encodingutf-8 )这里用脚本 JSON 里的 duration 字段来切分字幕时间。实际发布前要先用脚本查询每段配音真实时长如果需要精确到字再用能导字幕的剪辑工具微调。6. 用 FFmpeg 把关键帧和配音合成为成片6.1 先给每个场景生成一个带镜头运动的短视频片段最基础的合成方式是把一张静态图片和一条配音合成为一个片段并添加轻微推镜头效果。ffmpeg -y -loop 1 -i assets/images/s01.png -i assets/audios/s01.mp3 \ -filter_complex [0:v]scale1080:1920,zoompanzmin(zoom0.0006,1.08):d55:xiw/2-(iw/zoom/2):yih/2-(ih/zoom/2):s1080x1920:fps25,formatyuv420p[v] \ -map [v] -map 1:a \ -c:v libx264 -c:a aac -shortest \ output/segment_s01.mp4命令关键点-loop 1表示把图片循环输入。zoompan里的 z 值从 1 缓慢增加到 1.08模拟推镜头。d55是希望这个片段按 25fps 播放 2.2 秒左右。注意 d 值受输入帧率影响实际输出时长要在本机验证。-shortest让视频和音频到较短一方就结束避免图片无限循环导致文件特别大。如果一段画面需要展示更复杂的动态使用图生视频工具生成的短视频片段后多数情况下不需要再做 zoompan 处理。你可以直接把生成的视频片段放到 assets/clips 目录并和配音放在一起。6.2 把多个分场景片段拼接成一个完整视频拼接前必须保证各片段分辨率、帧率、像素格式一致。常见做法是先写出一个文本列表file output/segment_s01.mp4 file output/segment_s02.mp4 file output/segment_s03.mp4然后执行ffmpeg -y -f concat -safe 0 -i concat_list.txt \ -c:v libx264 -c:a aac -pix_fmt yuv420p \ output/assembled.mp4如果片段是不同工具生成的编码参数不一致使用-c copy容易失败。此时不如统一重新编码虽然速度慢一点但不容易出现拼接后花屏或音画不同步。6.3 添加字幕、背景音乐和音量标准化在拼接后的整段视频上添加字幕比较简单ffmpeg -y -i output/assembled.mp4 \ -vf subtitlesoutput/subtitles.srt:force_styleFontNameYourFont,FontSize20,Alignment2,PrimaryColourH00FFFFFF,OutlineColourH00101010,Outline2 \ -c:a copy \ output/with_subtitle.mp4中文字幕渲染依赖 FFmpeg 编译时是否支持 libass以及系统中是否有中文字体。如果字幕位置出现方块可以换一个公开可用的中文字体并确保 FontName 与系统字体名称一致。背景音乐和音量可以用 amix 滤镜处理ffmpeg -y -i output/with_subtitle.mp4 -i bgm.mp3 \ -filter_complex [1:a]volume0.2[bgm];[0:a][bgm]amixinputs2:durationfirst:dropout_transition3[aout] \ -map 0:v -map [aout] -c:v copy -c:a aac \ output/release.mp4这里把 BGM 音量压到 0.2让人声保持清楚。发布前再使用 loudnorm 滤镜检查整体响度避免视频在手机上播放时音量忽大忽小。6.4 用 ffprobe 验证成片时长和流信息合成完成后不能只看视频能播放还要确认时长和流参数是否符合预期。执行ffprobe -v error -show_entries formatduration -of defaultnoprint_wrappers1:nokey1 output/release.mp4可以拿到文件总时长。把它和脚本 JSON 中所有场景的 duration 之和比较如果差异超过 0.5 秒说明某个片段没有裁剪到期望时长。再用ffprobe -v error -show_streams -select_streams v:0 -show_entries streamcodec_name,width,height,r_frame_rate,pix_fmt output/release.mp4验证视频编码、分辨率、帧率和像素格式。发布到平台前保证视频流和音频流都是平台常见的 H.264 AAC 组合兼容性会更好。7. 常见问题与排查路径7.1 高频故障对照表AI 搞笑短视频制作中高频问题集中在生成、剪辑和素材管理几个环节。下面这张表可以直接当排查手册使用。问题现象常见原因检查方式处理建议画面出现多根手指或肢体扭曲图像模型对复杂肢体结构还原不佳放大图片逐帧查看修改提示词避免肢体特写或使用局部重绘修复图片里的中文文字乱码模型对文字生成能力有限放大画面检查文字区域不要在图内生成太多长文本把文字放到字幕层音频时长和预期不一致TTS 对文本的播报时长和估算时长不同用 ffprobe 检查每段 mp3 实际时长以真实音频时长为准重新生成片段或调整语速拼接后音画不同步每个片段的帧率或编码参数不一致用 ffprobe 对比各片段帧率和时长合成前统一重新编码避免直接 copy 拼接字幕变成方块缺少中文字体或 FontName 不对确认系统字体和支持的字体名安装中文字体检查字幕滤镜的 FontName图片生成风格前后不一致每个场景提示词变化过大对比不同图片的人物服装、环境把固定角色描述做成前缀复制到每个场景提示词最后视频文件过大码率设置过高查看编码参数中的 bitrate使用-crf 23或更高质量映射控制码率生成结果看着不搞笑视频缺少反转和停顿回看脚本旁白是否把所有事都说满精简旁白在反转前留停顿让观众自己反应7.2 一条固定的排查链路遇到问题不要先改一堆命令。建议按下面的顺序找原因。先检查脚本 JSON 里的数据是否符合预期。旁白是否太长duration 是否和实际配音时长差太多提示词是否和该场景的画面一致。再检查文件命名和目录。AI 生成素材时如果没有按 scene id 命名很容易把 s02 的图片用在 s01 的视频里。看到画面不对时先确认素材文件路径。再检查依赖版本。FFmpeg 子版本差异会造成滤镜参数不支持Diffusers 版本差异也会影响模型加载方式。安装新版或换机器时最先出问题的往往不是代码逻辑而是环境版本。最后用 ffprobe 验证合成片段。把每个中间片段单独查一遍时长、分辨率、帧率能快速定位哪一段出了问题。不要等全部合成完才发现前半段音画不同步到时候定位会更花时间。8. 发布前检查清单与自动化方向8.1 可复用清单每次发布前可以按下表逐项检查。内容是否有明确搞笑点铺垫和反转是否清楚。是否有危险动作、误导操作或可能被模仿的伤害风险。画面里是否出现无法确认授权的真实人物、声音、商标和版权素材。旁白和字幕是否一致字幕是否有错别字。配音音色和角色形象是否匹配是否全程一致。每个场景时长是否与配音和画面节奏匹配。字幕字体是否清晰是否被画面底部按钮遮挡。视频分辨率、帧率、编码、音量是否符合发布平台当前建议。是否保留了脚本 JSON、种子、提示词、素材源文件和中间片段。是否由人眼完整看过一遍成片去掉明显 AI 生成异常画面。如果团队协作每条视频至少要有两个人的检查视角。一个人负责内容和脚本另一个人负责画面和合规判断。AI 工具生成内容的随机性意味着绝对不能把生成结果直接推向公网。8.2 内容安全和版权红线不要心存侥幸AI 搞笑短视频常用的风险点往往不在技术本身而在选题和素材授权。一是不要做可能诱导他人模仿的危险行为。以真实信息方式展示危险操作并配上轻松音乐会让部分观众低估风险。即使你只是在做搞笑内容也不要用这种方法吸引流量。二是不要使用未经授权的真实人物形象和声音训练或生成内容。生成式 AI 可以很容易把一张人脸照片做成“正在说话”但这种应用可能涉及肖像权、声音权、平台规则和现行法律风险。稳妥做法是使用原创虚拟角色或者获得明确授权的素材。三是商用前阅读每个模型和平台的使用协议。用于个人创作的素材范围、能否用于短视频平台变现、导出的成片是否属于平台再合成内容不同服务的规则差别很大。不要因为工具可以生成就默认可以商用。8.3 更进一步把流水线做成自动化项目当单条视频的操作稳定后可以把最花时间的环节变成脚本或服务。一个可迭代的自动化方向是用大模型对话接口把一句话点子扩展为 JSON 分镜脚本。把 JSON 分镜传入图像生成接口批量生成关键帧。按场景调用 TTS 生成配音保存为统一音色的音频。用 Python 生成 SRT 字幕。用 FFmpeg 合成片段输出整片。用 ffprobe 做技术质检再交由人工做内容质检。这样形成的不是“一键生成视频”的万能系统而是“能稳定重复生产某一类搞笑内容”的素材产线。AI 工具每天都在变化硬编码某个工具或版本可能很快就失效把脚本 JSON和素材管理这部分做稳定才是长期收益。最后建议新手不要一开始就追求完全自动。先手工完成三条完整视频把经常失败环节记录下来。当你发现自己总在重复处理“配音时长对齐”“字幕字体路径”“片段分辨率不一致”这三类问题时再写自动化脚本。从一条最简但完整可发布的成片开始不断积累可复用的提示词片段、音效素材和转场方案比一次性搭一套庞大系统要实际得多。