有朋友问能不能不用真人出镜、不请主播也把直播间搭起来这期内容我会把数字人直播间的完整搭建流程拆开从数字人形象怎么来、声音怎么配、口播视频怎么批量生成到最后怎么用 OBS 推流每一步都给你可执行的方案。整套流程里既有零成本的开源工具路径也有省时省力的在线方案你可以根据自己手上的设备和预算选。先说清楚这次讲的不是某个神话级付费软件而是一条完整的数字人内容生产链路。我按“形象 → 声音 → 视频 → 推流 → 互动”五个环节来做。如果你打算长期做口播类账号、带货直播或知识分享直播间这套流程可以帮你把内容批量生产这件事跑起来。1. 数字人直播间搭建核心能力速览在动手之前先看一套典型的数字人直播方案长什么样。下面这张表是整套链路的能力项后面逐个展开。能力项说明数字人形象使用 AI 绘画生成半身人物图或使用开源数字人驱动模型让形象开口说话数字人声音云端 TTS 或本地开源 TTS 模型支持多音色、语速和情绪调节口播视频生成将“形象图 音频”合成为视频可批量处理直播推流使用 OBS 推流通过虚拟摄像头和虚拟声卡接入直播工具实时互动关键词自动回复、定时欢迎语、直播间话术库免费程度开源工具路径可接近零成本但需要自己组装在线工具通常有免费额度和水印限制硬件门槛纯在线方案只需普通电脑本地数字人驱动方案建议独立显卡显存至少 8G上手难度录播方案中等实时驱动方案偏高这条链路不是必须一次性全部搭建。最开始的 1.0 版本你可以先做“假直播”用数字人提前录制好口播视频在直播间循环播放同时保留实时语音输入通道。等跑通了再升级到实时驱动的数字人。2. 数字人直播技术原理与方案选型数字人直播并不是一个单一软件而是一套组合方案。搞清楚原理选型就不会乱。数字人视频的核心原理是“音频驱动 图像合成”。给一个数字人形象输入音频通过驱动模型把音频内容映射成面部动作和口型再和固定的半身形象合成视频。整个过程可以拆成四层形象层一张数字人半身图或者一个可以活动的数字人模型。音频层一段语音来源可以是真人配音、TTS 语音合成或音色克隆后的声音。驱动层把音频转成口型和表情变化的算法模块这一层是数字人“活”起来的关键。推流层把生成好的视频画面通过直播工具输出到平台。按使用场景方案又可以分成两类。录播方案提前用数字人生成一批口播视频直播时循环播放。优点是显卡压力小不依赖实时推理缺点是互动感弱观众发现不了最好发现了体验会打折扣。实时驱动方案直播时把现场的语音输入实时传给驱动模型数字人即时开口。这种方案自然但对硬件和网络要求更高本地部署需要较强的 GPU成本也更难控制。选型建议个人频道或小规模直播间先把录播方案跑通积累一批口播素材等确认有稳定的直播需求再考虑上实时驱动。3. 环境准备与前置条件在开始制作数字人之前先确认你的设备和软件环境。下面是一个通用检查清单具体版本以你选择的工具要求为准。3.1 硬件环境项目最低要求参考说明操作系统Windows 10/11 或较新的 macOS/Linux大多数直播工具和 OBS 支持 Windows兼容性最好CPU4 核以上主要处理编码和推流任务内存16G 以上视频剪辑、批量生成、直播推流同时跑时内存越大越稳显卡本地驱动方案建议 8G 显存以上在线方案对显卡要求不高磁盘至少 50G 可用空间形象素材、音频、视频产物都很占空间注意这里不是绝对的硬指标。如果你的方案全部走在线工具那么一台普通办公电脑就够了如果要在本地跑数字人驱动模型就需要一个像样的独立显卡。3.2 软件环境软件用途备注OBS Studio直播推流、画面合成免费开源官方渠道下载FFmpeg视频/音频处理批量合成视频时必备虚拟摄像头工具将 OBS 画面输出为摄像头信号OBS 自带虚拟摄像头功能虚拟声卡工具将电脑播放的音频输出为麦克风信号避免用物理麦克风对着音箱收音Python 3运行批量脚本按需安装不是必须3.3 端口和系统设置如果你的直播操作里有本地 API 服务比如关键词自动回复服务那么要注意端口占用。常见的有# 查看端口占用情况Windows netstat -ano | findstr 8000 # 查看端口占用情况Linux / macOS lsof -i :8000只要发现端口被占用就可以在启动服务时换一个端口或者先结束占用进程。4. 第一步制作数字人形象数字人形象是整个直播间的视觉主体观众第一眼看到的就是它。形象制作的路线主要有三种。4.1 AI 绘画生成形象使用 AI 绘画工具生成一张数字人半身像这是最省钱的路线。一般做法是写一段提示词指定人物类型、服装、背景、画幅比例。给你参考一个提示词模板需要按实际工具调整具体是否可用取决于你使用的绘图工具美丽的主播形象30岁左右的女性职业套装微笑坐在直播间背景前半身构图 光线柔和高清细节浅景深直播带货风格注意几个要点画幅比例优先设置为 9:16 或 3:4适配直播画面。尽量避免复杂手势因为驱动模型对双手的还原能力有限。生成后检查手指、五官、面部轮廓有瑕疵就局部重绘。4.2 虚拟形象建模如果你需要更可控的形象可以使用虚拟形象制作软件这类工具一般提供捏脸、换装、动作绑定功能。相比 AI 绘画建模方案能提供多个角度的形象也方便后续做动作切换但学习成本稍高。4.3 使用真实人脸素材需要注意授权如果你打算使用某位真人主播的形象或者对真实人物照片做“拟人化”处理必须提前获得该人物的肖像授权。无论后续是直播、发布视频还是商用都要保留授权记录。不要直接拿他人的照片、视频、直播画面来生成数字人这会带来肖像权侵权风险。5. 第二步准备数字人声音声音是数字人口播的核心。声音来源有三种。真人配音质量最高、情绪最自然但要自己录制成本高、批量生产慢。TTS 语音合成输入文本就能生成语音适合批量生产口播内容。云服务通常有免费额度本地开源模型则完全免费但需要配置。音色克隆用一段短音频克隆出特定音色再用克隆音色合成任意内容。这里要特别注意克隆他人声音必须获得授权否则会有法律风险。选择建议如下表需求场景推荐路线快速批量生产口播视频云端 TTS选一个稳定音色写文案直接合成追求零成本、隐私优先本地开源 TTS 模型需要查看对应项目文档配置特定声音形象先做真人授权再考虑音色克隆在实际操作中不管用哪种方案都要建立一个音频素材目录统一命名方便后续批量合成视频。比如audio/ ├── 001_intro.mp3 ├── 002_product_a.mp3 ├── 003_promotion.mp3 └── 004_outro.mp36. 第三步生成数字人口播视频这是整个流程里最核心的一步。数字人口播视频的生成有两类做法一类是交给在线数字人工具导入形象图和音频它会自动生成“人物开口说话”的视频另一类是用本地驱动模型实时推理效果更私有但配置复杂。如果只是先做基础验证可以用 FFmpeg 先把静态图和音频合成一段视频。这段视频虽然不是真正的数字人驱动效果但可以验证画面、声音和推流链路是否正常。# 将形象图和音频合成为视频 ffmpeg -loop 1 -i avatar.png -i voice.mp3 \ -c:v libx264 -tune stillimage \ -c:a aac -b:a 192k \ -pix_fmt yuv420p \ -shortest \ output.mp4注意avatar.png是你的数字人形象图。voice.mp3是配音文件。视频编码格式必须是h264直播平台兼容性最好。分辨率建议从图片尺寸自动生成如果直播需要 1080x1920 竖屏提前把图片处理好。判断成功的标准生成的视频能正常播放画面和声音时长一致声音清晰。如果视频只有画面没有声音检查音频文件格式和编码如果画面拉伸变形检查图片原始比例。7. 第四步用 OBS 搭建虚拟直播间视频生成之后就要把它变成直播画面。OBS 是免费开源软件也是目前最常用的推流工具。7.1 OBS 基础设置打开 OBS 后按下图逻辑配置设置直播间分辨率和帧率一般选择 1920x1080 或 1080x192030 帧即可。添加媒体源把之前生成的数字人视频导入。使用虚拟摄像头输出OBS 自带的虚拟摄像头可以把整个画布输出成摄像头信号。在直播工具中选择虚拟摄像头作为视频来源。7.2 虚拟声卡配置直播时如果想让数字人视频里的声音传到直播间可以安装一个虚拟声卡然后在 OBS 的音频设置中把桌面音频输出到虚拟声卡。典型设置是项目设置视频来源OBS 虚拟摄像头麦克风来源虚拟声卡接收系统音频直播工具画面OBS 虚拟摄像头直播工具声音虚拟声卡这样做的目的是避免“拿麦克风对着音箱收音”的尴尬也避免回音和噪音。7.3 推流参数在直播平台创建直播间后一般会拿到“推流地址”和“推流密钥”。在 OBS 的设置里找到“直播”或“推流”填入这两项点击“开始直播”即可。关键点是推流密钥是敏感凭证不要泄露给别人否则别人可以往你的直播间推流。7.4 录播循环注意事项如果你准备用提前录好的视频循环播放有一个问题要处理视频播完后的衔接。建议把视频做成循环播放同时在中间加一个“过渡画面”或“直播即将开始”的提示避免突然黑屏。8. 第五步实时互动与自动回复数字人直播最大的短板是互动。观众发弹幕数字人不会即时反应需要有自动回复机制。自动回复有两层做法。第一层使用直播平台自带的关键词回复或自动欢迎功能。很多平台都提供“粉丝进房欢迎语”“关键词回复规则”这在不需要技术开发的情况下最稳妥。第二层使用本地脚本对接平台接口实现更复杂的回复逻辑。这里必须强调对接直播平台接口通常需要平台开发者资质而且需要遵守平台使用规范。不要在未授权的情况下做刷屏、自动发言等操作。下面是一个通用的“关键词自动回复服务”框架它监听本地 HTTP 请求然后返回对应话术。你需要按照实际平台接口和本地服务方式适配。# -*- coding: utf-8 -*- from http.server import HTTPServer, BaseHTTPRequestHandler import json import re KEYWORD_REPLIES { 价格: 价格在直播间左上角戳小黄车了解详情。, 发货: 付款后24小时内发货偏远地区会慢一点。, 优惠: 今天下单额外送一个赠品直播间专属。, 你好: 欢迎来到直播间有问题随时打在公屏上。 } DEFAULT_REPLY 感谢关注这个问题主播稍后回答你。 class LiveHandler(BaseHTTPRequestHandler): def do_POST(self): length int(self.headers.get(Content-Length, 0)) body self.rfile.read(length) try: data json.loads(body) text data.get(text, ) room_id data.get(room_id, ) except Exception: text room_id reply DEFAULT_REPLY for keyword, msg in KEYWORD_REPLIES.items(): if re.search(keyword, text): reply msg break result { room_id: room_id, reply: reply, matched: reply ! DEFAULT_REPLY } self.send_response(200) self.send_header(Content-Type, application/json; charsetutf-8) self.end_headers() self.wfile.write(json.dumps(result, ensure_asciiFalse).encode(utf-8)) def log_message(self, format, *args): pass if __name__ __main__: server HTTPServer((127.0.0.1, 8000), LiveHandler) print(自动回复服务已启动端口 8000) server.serve_forever()这个示例只是演示结构。实际使用时要添加鉴权、日志、频率限制并且只接入你拥有合法权限的直播账号和消息来源。9. 批量生产数字人短视频内容直播之外数字人口播短视频也是内容的延伸。批量生产的关键是流程化。9.1 批量生产流程准备文案表一列是视频标题一列是口播文案。批量合成音频把文案逐行交给 TTS 生成音频文件。批量生成数字人视频用形象图 音频生成视频。导出到统一目录按任务命名方便后续上传。9.2 一个简单的 FFmpeg 批量处理示例假设你已经有一个tasks.csv文件内容如下image,audio,output avatar.png,audio_001.mp3,video_001.mp4 avatar.png,audio_002.mp3,video_002.mp4 avatar.png,audio_003.mp3,video_003.mp4然后运行下面的 Python 脚本import subprocess import csv import os input_dir assets output_dir videos os.makedirs(output_dir, exist_okTrue) with open(tasks.csv, r, encodingutf-8) as f: reader csv.DictReader(f) tasks list(reader) for task in tasks: image_path os.path.join(input_dir, task[image]) audio_path os.path.join(input_dir, task[audio]) output_path os.path.join(output_dir, task[output]) cmd [ ffmpeg, -y, -loop, 1, -i, image_path, -i, audio_path, -c:v, libx264, -tune, stillimage, -c:a, aac, -b:a, 192k, -pix_fmt, yuv420p, -shortest, output_path ] print(正在生成:, output_path) try: subprocess.run(cmd, checkTrue) except subprocess.CalledProcessError as e: print(生成失败:, output_path, e) print(批量任务执行结束)注意真实数字人视频生成需要驱动模型不能只靠这一条命令。但如果你用的是在线数字人工具可以在工具端直接批量导入如果你在本地调试驱动模型可以参考这个批处理结构把“ffmpeg 命令”替换成“调用驱动模型推理”的代码。9.3 批量任务的资源规划批量生成时不要一次把所有任务都塞给 GPU。建议做这些控制每个任务之间留出至少 2 秒间隔。同时只跑一个推理进程。输出目录里按日期建子目录避免同名覆盖。给每个任务写日志标记成功或失败。10. 资源占用与性能观察数字人直播和批量生成对电脑性能的影响主要看你在哪个环节。直播推流时OBS 主要负责编码CPU 或显卡进行编码压缩数字人实时驱动时GPU 要进行图像推理显存占用会明显升高。批量生成时任务数量决定占用上限。观察资源占用的方法# 查看 GPU 显存使用情况 nvidia-smi# 查看 CPU 和内存占用 top # Linux / macOS在 Windows 上可以直接打开任务管理器查看 CPU、内存和 GPU 利用率。几个通用的观察结论在线 TTS 和在线数字人工具会消耗网络带宽对本地硬件压力小。本地数字人驱动模型推理时显存占用取决于模型尺寸和视频分辨率越大越吃显存。OBS 推流的分辨率、帧率、码率越高编码压力越大。同时运行“本地驱动模型 OBS 推流 自动回复脚本”时资源占用会被叠加建议先在低分辨率下测试。如果要降低占用可以从这几方面入手降低推流分辨率例如从 1080p 降到 720p。降低帧率从 30 帧降到 24 帧或 15 帧。使用硬件编码器比如 NVENC。批量生成时限制并发进程数量。本地驱动模型改用低分辨率版本的模型。11. 常见问题与排查方法问题现象可能原因排查方式解决方案OBS 虚拟摄像头在直播工具里不显示虚拟摄像头插件未启用在 OBS 菜单里检查“虚拟摄像头”状态重新启动虚拟摄像头或更新 OBS直播画面有视频没声音音频输出没有接入虚拟声卡检查 OBS 音频混音器和系统播放设备在 OBS 音频设置中把桌面音频指定到虚拟声卡数字人视频生成后口型对不上驱动模型输入音频格式不对或音画同步偏移检查音频采样率、视频时长是否一致统一音频格式添加音画同步偏差校正推流时频繁断开网络不稳定或码率设置过高查看 OBS 网络状态日志降低码率检查上行带宽批量生成任务卡住某个任务缺少资源或输入文件损坏查看日志定位卡住的任务编号单任务重跑增加超时退出机制本地 GPU 推理时显存不足模型过大或分辨率过高用 nvidia-smi 查看显存占用降低模型分辨率关闭其他 GPU 进程自动回复服务连接失败端口被占用或脚本没启动测试本地 8000 端口连通性关闭占用端口的进程或更换端口生成的视频画面拉伸变形图片比例和输出分辨率不一致检查图片宽高比预处理图片统一分辨率再合成12. 版权合规与使用边界做数字人直播技术和工具只是前半段后半段是合规。以下几点需要特别注意。数字人形象授权使用真人形象、明星脸、动漫角色、品牌 IP必须获得授权。不要用 AI 生成一个和真人高度相似的形象这仍然可能构成肖像权或名誉权问题。声音授权克隆和合成声音必须获得声音本人的授权。录制、保存、使用他人声音进行合成都要有明确的许可协议。直播平台规则不同平台对数字人直播有不同的要求有的需要报备有的要求标注“AI 内容”。开播前确认目标平台规则避免账号被限流或封禁。内容安全直播内容要符合公序良俗不能做虚假宣传、夸大功效、夸大价格优惠、误导消费者。数据与隐私保护做自动回复、弹幕监听、用户画像分析时不要采集、保存观众的敏感个人信息。不要做换脸类应用不要用数字人技术模拟真人做虚假发言尤其是新闻播报、政治人物、公众人物场景。13. 总结与下一步建议这一套数字人直播间的搭建流程核心是把“形象、声音、视频、推流、互动”五个环节拆开再用免费或低成本工具组装起来。第一步建议先跑通“形象图 音频 FFmpeg合成视频 OBS推流”的最小闭环。这个闭环验证成功后再逐步引入数字人驱动模型、自动回复服务和批量生成脚本。最容易踩的坑有三个一是形象和声音的授权问题没做提前确认二是推流和虚拟声卡配置不到位导致直播间只有画面没有声音三是批量任务一次性跑太多导致本地资源不够或任务失败后难以排查。下一步扩展方向如果手上有 NVIDIA 显卡可以尝试本地部署数字人驱动模型实现更自然的实时口型如果要做矩阵账号可以把批量生成流程接到一个队列系统里如果直播带货可以接商品话术自动轮播和订单问题自动回复。先搭最小可用方案再逐步优化效果。建议把这篇流程里的命令和相关配置保存成你的部署笔记真正动手的时候能少踩很多坑。