RVC 训练与推理高频问题实战解析Retrieval-based-Voice-Conversion-WebUI 官方 FAQ日文版中文详解【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI本篇指南基于仓库内官方 FAQ 的日文版本 docs/jp/faq_ja.md 编写将其记载的 18 类高频问题ffmpeg/utf8 报错、索引缺失、显存不足、模型共享、音色泄漏、命令行推理等逐条转化为可落地的排查与解决方案并结合 infer-web.py、configs/config.py 等源码给出底层的“为什么会这样”。读完你不仅能照着清单修好训练与推理链路中的常见错误还能理解logs与weights目录的区别、index rate的作用机理以及如何用一行命令脱离 WebUI 完成推理。这份 FAQ 是多语言同源文档之一仓库中的 docs/cn/faq.md、docs/en/faq_en.md、docs/kr/faq_ko.md 等为同一套问题其经验大多来自社区实际操作。全文以“问题现象 → 成因 → 处置方法 → 源码依据”的结构展开文中所有配置路径、脚本参数均以当前仓库实际内容为准。1. FAQ 覆盖范围与仓库目录速查在动手排障前先建立两个基本认知实验目录与发布目录是分开的。一次完整训练会在logs/实验名/下产生大量中间产物而真正能拿来推理的是weights/下约 60 MB 以上的小模型详见第 4 节。目录结构决定错误归属。数据准备、特征提取、训练、建索引由不同的脚本串联出错位置与它产出的文件夹一一对应。从当前仓库源码infer/modules/train/preprocess.py、infer/modules/train/extract/extract_f0_print.py、infer/modules/train/extract_feature_print.py可以看出logs/实验名/下典型的中间产物包括文件夹内容生产脚本0_gt_wavs预处理后的原始采样率干声gt wavspreprocess.py1_16k_wavs重采样到 16 kHz 的音频即 FAQ 常说的 “wavs16k” 目录preprocess.py2a_f0提取的基频pitch/f0extract_f0_print.py/extract_f0_rmvpe.py2b-f0nsf供 NSF 模块使用的带 f0 特征同上3_feature256v1/3_feature768v2内容向量特征extract_feature_print.pyfilelist.txt训练样本清单训练触发时由 WebUI 生成train.log训练日志train.pyG_xxxx.pth/D_xxxx.pth每一轮保存的完整检查点数百 MB 大文件train.pyadded_xxx.index特征索引文件供推理时检索“训练索引”按钮FAQ 正文共出现编号到Q18的问题原文中两个问题都写成## Q11一为 index rate一为 GPU 选择阅读时不要混淆。它们大致可分为四类数据集与预处理问题、训练产物缺失问题、模型共享与推理问题、运行环境问题。下面按这个逻辑分组讲解。2. 数据集准备与预处理报错Q1 / Q17 / Q14 / Q102.1 Q1ffmpeg error / utf8 error——八成不是 ffmpeg 的错现象处理数据集或训练时报ffmpeg error或utf8 error。FAQ 给出的诊断绝大多数情况下问题不在 ffmpeg 本身而在于音频文件的路径路径中含有空格、括号()等特殊字符时ffmpeg 读取音频可能触发ffmpeg error训练集音频放在中文路径下时写入filelist.txt阶段可能触发utf8 error。这与源码行为是吻合的WebUI 在点击训练时会把“干声 wav、特征 npy、f0、f0nsf”等按行拼进logs/实验名/filelist.txt例如 infer-web.py 中click_train()会以|分隔拼接路径行并写盘。路径一旦包含中文或特殊字符在 ffmpeg 子进程与文本编码链路上就很容易出问题。处置建议把训练集根目录移到纯英文、无空格、无()等符号的路径下例如E:\dataset\mi保持所有.wav文件名也尽量只用字母数字若已在中文目录下处理到一半重新开一个干净目录再做一次预处理。2.2 Q17张量尺寸报错[1, 17280]vs[0]——检查 16k 目录下的异常小文件现象FAQ 原文示例RuntimeError: The expanded size of the tensor (17280) must match the existing size (0) at non-singleton dimension 1. Target sizes: [1, 17280]. Tensor sizes: [0]成因logs/实验名/1_16k_wavsFAQ 所称 “wavs16k 文件夹”下混入了明显小于其他文件的音频文件长度接近 0特征切分后得到空张量触发尺寸不匹配。处置方法打开1_16k_wavs即wavs16k文件夹找出体积/时长明显异常的零碎文件并删除重新点击“训练模型”即可正常跑通注意由于“一键训练”流程此前被中断等模型训练完成后需要再手动点一次“训练索引”把缺失的索引补上与 Q2 呼应。2.3 Q14训练中“文件页/内存错误”——进程太多导致内存溢出现象训练过程中出现文件相关错误或内存错误。FAQ 成因判断启动的进程数过多导致内存溢出。处置方法适当调低 WebUI 中“音高提取与数据预处理使用的 CPU 进程数”手动把训练集音频切成较短的分段避免单文件过长。从源码看预处理脚本确实会按你填写的 CPU 进程数并行切片参考 infer-web.py 中preprocess_dataset()向infer/modules/train/preprocess.py传入n_p与preprocess_per多进程同时工作会显著放大内存峰值故这条建议与实现完全对应。2.4 Q10训练集到底该录多长FAQ 给出的经验区间推荐 1050 分钟若音质好、底噪低、音色有个人辨识度数据越多越好若训练集是“精心准备 音色独特”的高质量数据510 分钟也可以FAQ 提到项目作者自己常这么玩有人用12 分钟数据训练成功但该经验“不可复现”参考价值有限——它要求音色极有辨识度如高频通透的人声、少女声且录音质量好低于 1 分钟的数据训练成功的案例未见FAQ 明确不推荐这种尝试。该结论与项目定位一致仓库标题即写明 “voice data ≤ 10 mins” 即可训练出可用模型但它不等于数据越短越好第 5 节会结合total_epoch进一步解释。3. 训练完成却没有产物索引缺失与音色不显示Q2 / Q33.1 Q2一键训练结束为什么没有生成 index 索引文件首先判断训练是否真的成功。FAQ 给出一个关键提示当控制台出现Training is done. The program is closed.说明模型训练已经成功紧随其后的报错是“假报错”不用理会。这句话确实是训练脚本结束前的正常日志——见 infer/modules/train/train.py。若日志确认训练成功但目录下没有出现added开头的索引文件形如logs/实验名/added_IVF677_Flat_nprobe_7.indexFAQ 的判断是训练集过大导致“批量 add 索引”的步骤卡住。FAQ 同时说明官方已通过分批 add的方式缓解了该步骤对内存的高要求因此此时再点一次“训练索引”按钮通常就能生成。从仓库结构可以印证索引的生成路径infer-web.py 的train_index()会读取3_feature256/3_feature768下的特征拼接成大矩阵当特征点数超过2e520 万时会先做 MiniBatchKMeans 聚类到 1 万个中心再继续infer-web.py这正是为了控制大数据量下的内存压力。仓库还提供独立的索引构建示例脚本 tools/infer/train-index.py其写法可参考faiss.index_factory(256, IVF512,Flat)→index.train()→index.add()→ 写出trained_*.index与added_*.index。3.2 Q3训练完刷新后音色列表里看不到我的音色FAQ 处置建议点击“音色刷新”重新读取一次weights/目录若仍看不到检查训练本身是否有报错将控制台与 WebUI 的截图、以及logs/实验名/下的日志如train.log、preprocess.log发给开发者排查。需要说明的是WebUI 的“音色”列表读取的是weights/目录下已提取的小模型而不是logs/下的检查点因此看不到音色时请先核对是否已执行“模型提取”见下一节而不仅仅是训练完成。4. 模型共享与“小模型提取”Q4 / Q124.1 logs 与 weights两种 pth 决不能混用FAQ 用大段篇幅澄清了一个最常见误区rvc_root/logs/实验名/下的 pth数百 MB保存的是完整实验状态含生成器G、判别器D等用途是复现与继续训练不是用来共享/推理的模型weights/下 60 MB 以上的 pth经过“模型提取”裁剪后的小模型才是可以共享、用于推理的文件。FAQ 同时给出未来打包规范官方计划把weights/实验名.pth与logs/实验名/added_xxx.index一起打进weights/实验名.zip这样分享时能跳过填写 index 路径的步骤——此时只分享 zip 即可pth 不必单独分享除非对方要基于你的权重继续训练。4.2 把 logs 里的大 pth 硬塞进 weights 会怎样FAQ 明确指出直接把logs下数百 MB 的 pth 复制到weights/强行推理会报“缺少f0、tgt_sr等各种 key”的错误。这是因为完整检查点缺少推理所需的元信息键而推理代码需要从模型文件读取 f0 有无、目标采样率、版本号等字段WebUI 的“模型信息查看/修改”功能也只在weights/下的小模型上可用见 infer-web.py。正确做法在ckpt 标签页的最底部执行“模型提取提取小型模型”输入路径填写logs/实验名/下以G开头的检查点文件路径如logs/mi-test_f0_48k/G_23333.pth选择目标采样率32k/40k/48k、模型是否带音高指导1/0、模型版本v1/v2——如果本机logs下存在对应的train.log相关字段会自动带出infer-web.py 中ckpt_path2.change即触发自动识别点击“提取”完成小模型裁剪刷新音色后weights/下会出现 60 MB 以上的 pth即可用于推理。这段 UI 对应 infer-web.py按钮的api_nameckpt_extract其底层实现是 infer/lib/train/process_ckpt.py 的extract_small_model()。4.3 Q12训练中途保存的 pth 想直接推理同一答案训练中按save_every_epoch间隔保存的G_*.pth属于完整检查点不能直接推理。请到 ckpt 标签页底部做一次“模型提取”生成小模型后再放入weights/使用。FAQ 强调该功能也适用于“训练到一半不想继续、想先测试中间模型效果”的场景。5. 训练策略与参数调优Q9 / Q13 / Q15 / Q185.1 Q9total_epoch总轮数该设多少FAQ 给出的两条经验法则训练集音质差、噪声多2030轮足够。轮数过高时低音质训练集反而会拖累/覆盖底模的音质底模无法把低音质数据“拔高”太多训练集音质高、噪声少、时长充足可以放心调高200轮也没有问题。FAQ 的补充理由很实际既然你能准备高音质长数据显卡条件通常也不差多花一点训练时间不必心疼。一句话轮数上限取决于训练集质量而不是显卡算力。高质量数据用高轮数会让模型更充分地学到“这个人本身的音色”从而降低推理时对源音频音色的依赖与第 6 节 index rate 联动。5.2 Q13训练如何中断与续训FAQ 说明当前阶段的限制只能直接关闭 WebUI 控制台黑色窗口再双击go-web.bat重启程序重启后网页上的参数需要重新填写一遍。继续训练使用与上次相同的网页参数再次点击“训练模型”训练会从上一次保存的检查点继续而不是从零开始。仓库根目录的 go-web.bat 正是 Windows 下的一键启动脚本Linux 对应 run.sh。5.3 Q15训练中途想加数据怎么办FAQ 给出了标准的“续数据”三步流程在“全数据含新数据”上创建一个新的实验名把上一个实验里最新的G与D文件复制到新实验名下如果想从某个中间轮次续训也可以复制对应的中间检查点用新实验名启动“一键训练”即会从上次的最新进度继续训练。这与训练脚本的断点续训机制一致WebUI 把“训练模型”按钮组织为对infer/modules/train/train.py的子进程调用命令拼装见 infer-web.py只要检查点仍在重跑即续训。5.4 Q18训练中途不能改采样率现象FAQ 原文示例RuntimeError: The size of tensor a (24) must match the size of tensor b (16) at non-singleton dimension 2成因与处置训练中途不能更改采样率。若确需更换采样率必须更换实验名、从头训练。FAQ 同时给出“加速小技巧”把之前已提取好的音高与特征中间产物即0_gt_wavs、1_16k_wavs、2a_f0、2b-f0nsf、3_feature256/768等目录——FAQ 简写为 “0/1/2/2b 文件夹”复制到新实验目录即可跳过最耗时的预处理与特征提取步骤直接开始训练。从 infer-web.py 的click_train()看训练依赖的正是这些目录与filelist.txt的对应关系。6. 推理调优index rate与“音色泄漏”Q11 之 index rate 篇原文此处编号为## Q11主题是index rate 是干什么的、怎么调属于 FAQ 里最有原理含量的一节。6.1 什么是“音色泄漏”音色漏れ当底模或推理源音频的音质高于训练集时推理结果虽然“更好听/更清晰”但音色会偏向底模或源音频而不是你训练的那个音色——这就是 FAQ 所说的音色泄漏。6.2 index rate 的作用机理与调法index rate专门用来减少/解决音色泄漏设为1理论上推理源音色的泄漏不存在但音质会贴近训练集。若训练集音质低于推理源index rate 越高反而可能使整体听感变差设为0完全不使用“检索混合”来保护训练集音色中间值如 0.50.75则是在“贴合训练集音色”与“借用源音频音质”之间折中。什么情况下 index rate 不重要当训练集质量高、时长足、total_epoch也设得高时模型本身已经很少去参考推理源/底模的音色音色泄漏几乎不会发生。此时 index rate 意义不大FAQ 甚至说可以不必创建或共享索引文件。6.3 仓库中的对应实现索引混合发生在推理阶段相关参数即索引混合比例WebUI 推理面板里的 “Index Rate” 滑块tools/infer_cli.py 中--index_rate的默认值为0.66索引文件即第 3 节生成的logs/实验名/added_xxx.index如added_IVF677_Flat_nprobe_7.indexWebUI 推理时在 “Index Path” 填写。如果决定不用索引Q4/Q11 的说法意味着你甚至可以把 “仅推理” 的分享包简化为一个weights小模型。7. 运行环境与设备选择Q5 / Q6 / Q8 / Q16 / Q11 之 GPU 篇7.1 Q5Connection ErrorFAQ 只给了一个判断多半是你把控制台黑色窗口关了。WebUI 是本地前后端进程控制台进程退出后页面自然失去连接重新启动脚本即可。7.2 Q6WebUI 报Expecting value: line 1 column 1 (char 0)这是典型的JSON 解析失败FAQ 指出根因是本地网络代理/全局代理。处置关闭本机客户端的系统代理与全局代理服务器端的代理也要关——例如在 autodl 等云 GPU 平台上设置了http_proxy/https_proxy做学术加速时使用前需用unset http_proxy https_proxyLinux或在环境变量里移除后再启动。7.3 Q8Cuda error / Cuda out of memoryFAQ 判断除了极少数 cuda 配置问题或设备不支持外绝大多数是显存不足OOM训练 OOM调小batch size。若 batch size 已经小到 1 仍然不够只能换更大显存的显卡推理 OOM调小推理切片参数x_pad、x_query、x_center、x_max硬件建议FAQ 直言显存 4 GB 以下例如 1060 3G、各类 2 GB 显卡建议放弃训练而 4 GB 显存的显卡“还有救”。需要说明一点版本差异FAQ 写成“调config.py末尾的x_pad等常量”这是早期版本的做法。在当前仓库中这四个推理切片参数已改由 configs/config.py 的Config.device_config()根据设备与显存自动计算半精度is_halfTrue约 6 G 显存配置x_pad3, x_query10, x_center60, x_max65单精度 fp32约 5 G 显存配置x_pad1, x_query6, x_center38, x_max41显存 ≤ 4 GBx_pad1, x_query5, x_center30, x_max32同时 configs/config.py 会对 1060/1070/1080/P40/P10 等老卡强制切换到 fp32并改写fp16_runfalse的训练配置。因此日常使用尽量依赖自动配置若仍偶发 OOM可参照 FAQ 思路手动把这些值进一步调小例如把x_max从 65 降到更小值以缩短单次推理切片长度。7.4 Q16llvmlite.dll加载错误现象Windows 平台OSError: Could not load shared object file: llvmlite.dll FileNotFoundError: Could not find module lib\site-packages\llvmlite\binding\llvmlite.dll ...FAQ 给出的解法安装Microsoft Visual C Redistributablevc_redist.x64.exe即 FAQ 中https://aka.ms/vs/17/release/vc_redist.x64.exe指向的组件后重启 WebUI。该错误只出现在 Windows 平台属运行库缺失问题与模型本身无关。7.5 Q11 之 GPU 篇推理时如何选择显卡原文第二个## Q11主题是 GPU 选择修改 configs/config.py 中device cuda:0的数字即选择第几号卡如cuda:1卡号与物理显卡的对应关系可查看“训练”标签页底部的显卡信息栏。补充说明当前仓库的Config.device_config()会自动完成更多兜底——检测不到 CUDA 显卡时依次尝试 XPUIntel 扩展、MPSmacOS或回退 CPUconfigs/config.py且推理 CLI 也支持用--device直接覆盖见第 8 节因此手动改配置主要适用于“机器上有多个 GPU、想固定用某一张”的场景。8. 不用 WebUI命令行训练与推理Q7FAQ 单独讲了一个实用主题如何在不开 WebUI 页面的情况下用命令行训练和推理。8.1 FAQ 记载的推理脚本与参数映射FAQ 原文引用的是历史上随项目分发的myinfer.py一个按位置传参的简单推理脚本并给出完整示例与 9 个参数的含义。示例命令形如python myinfer.py 0 input\1111.wav logs\mi-test\added_IVF677_Flat_nprobe_7.index harvest test.wav weights/mi-test.pth 0.6 cuda:0 True参数与 FAQ 给出的取用方式一一对应位置参数FAQ 说明含义1sys.argv[1]f0up_key变调半音2sys.argv[2]input_path输入音频路径3sys.argv[3]index_path索引文件路径4sys.argv[4]f0method基频提取方式harvest或pm5sys.argv[5]opt_path输出音频路径6sys.argv[6]model_path模型weights 小模型路径7sys.argv[7]index_ratefloat索引混合比例8sys.argv[8]device计算设备如cuda:09sys.argv[9]is_halfbool是否使用半精度说明FAQ 中的myinfer.py是随发布包分发的历史脚本其外部托管地址请勿当作仓库事实引用本仓库内提供的是功能更全的等价命令行推理入口见下。8.2 当前仓库的 CLI 等价入口仓库根目录下提供了现成的命令行推理脚本 tools/infer_cli.py采用命名参数覆盖 FAQ 中 9 个参数且新增了更多控制项。常用参数tools/infer_cli.pypython tools/infer_cli.py \ --model_name mi-test \ --input_path 1111.wav \ --index_path logs/mi-test/added_IVF677_Flat_nprobe_7.index \ --f0method harvest \ --opt_path test.wav \ --f0up_key 0 \ --index_rate 0.66 \ --device cuda:0 \ --is_half True参数对照CLI 参数对应 FAQ 位置参数默认值--f0up_keysys.argv[1]0--input_pathsys.argv[2]必填--index_pathsys.argv[3]选填--f0methodsys.argv[4]harvest可选pm等--opt_pathsys.argv[5]必填--model_name对应sys.argv[6]必填存放于assets/weights_root--index_ratesys.argv[7]0.66--devicesys.argv[8]读Config--is_halfsys.argv[9]读Config--filter_radius/--resample_sr/--rms_mix_rate/--protect附加项3/0/1/0.33该脚本内部流程与 WebUI 推理完全一致构造Config→ 创建VC→vc.get_vc(model_name)加载weights下的模型 → 调用vc_single(...)完成变调、基频提取、索引混合与合成tools/infer_cli.py。8.3 命令行训练怎么做FAQ 的答复很朴素先运行一次 WebUI在消息窗口里会打印出“数据集处理 训练”所用的命令行把它们抄下来即可脱离页面复用。这正是因为 WebUI 的“一键训练”本身就是子进程拼命令执行的例如预处理调用infer/modules/train/preprocess.py参数含采样率、CPU 进程数n_p、日志目录、是否并行、preprocess_perinfer-web.py音高提取按所选方法调用 infer/modules/train/extract/extract_f0_print.py 或 infer/modules/train/extract/extract_f0_rmvpe.py后者还支持多卡并行特征提取调用 infer/modules/train/extract_feature_print.pyv1 输出 256 维、v2 输出 768 维特征训练调用infer/modules/train/train.pyWebUI 拼出的参数形如infer-web.pypython infer/modules/train/train.py -e 实验名 -sr 采样率 -f0 0|1 -bs batch_size -g gpu -te total_epoch -se save_epoch [-pg 底模G] [-pd 底模D] -l 是否保存latest -c 是否缓存到GPU -sw 是否每轮存小模型 -v v1|v2其中-pg/-pd对应的预训练底模存放于 assets/pretrainedv1与 assets/pretrained_v2v2文件名与采样率、f0 有无相关。如果你在 Linux 上且不希望每次手动开页面推荐直接用仓库自带的 run.sh 或直接以命令行方式调用上述脚本。9. 排障清单速查现象首要检查点常见处置ffmpeg error/utf8 errorQ1数据路径改为纯英文、无空格、无()的路径训练完无added_*.indexQ2是否出现 “Training is done.” 日志确认训练成功后重新点“训练索引”训练完列表无音色Q3weights/是否有小模型刷新音色 / 检查日志并反馈开发者推理报缺f0/tgt_srkeyQ4是否误用logs大模型用 ckpt 页底部“模型提取”生成小模型Connection ErrorQ5控制台进程重启go-web.bat/run.shExpecting value ... (char 0)Q6代理关闭客户端与服务端代理必要时unset http_proxy https_proxyCUDA OOMQ8显存训练降batch size推理调小切片参数或降级 fp32total_epoch取值Q9训练集音质低质 2030高质量长数据可至 200llvmlite.dll错误Q16Windows 运行库安装 VC Redistributable 后重启张量尺寸错误 17280Q171_16k_wavs删除异常小文件补训索引张量尺寸不一致Q18采样率是否中途改动换新实验名可复用已提取的中间目录加速最后重申 FAQ 的两条最核心心智模型其一logs下的检查点是“训练状态”weights下的小模型才是“产品”共享与推理请走“模型提取”其二训练数据质量决定一切上限——total_epoch、index rate都是围绕“如何在不牺牲音色的前提下借用高质量源音频”做权衡的工具理解它们之后大多数“为什么结果不像我”的问题都能自行定位。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考