人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载本篇技术指南围绕 PaddleSpeech 文本前端text frontend中的 paddlespeech/t2s/frontend/generate_lexicon.py 模块展开深入讲解其声母×韵母×儿化×声调四维组合生成中文音节词典的算法原理、拼音正字法orthographical规则以及如何通过配套命令行脚本产出 Montreal-Forced-AlignerMFA可直接使用的.lexicon与.symbols文件并串联起完整的 MFA 训练与强制对齐流程。读完本文你将掌握中文拼音到音素pinyin-to-phoneme映射的工程实现细节并能在自己的语料上复现词典生成、OOV 检测与音素级对齐的完整链路。一、模块定位为什么中文 TTS 需要音节级词典在 PaddleSpeech 的 TTSText-to-Speech链路中文本需要先经过前端frontend转换为音素phoneme序列再输入声学模型。对于中文业界通行做法是以音节syllable为基本单位做 G2PGrapheme-to-Phoneme——即先通过 pypinyin、g2pM 等工具把汉字转成拼音音节再把音节映射到声母/韵母级别的音素序列。正如 generate_lexicon.py 模块头注释所述The lexicon is used for Montreal Force Aligner. Note that syllables are used as word in this lexicon. Since syllables rather than words are used in transcriptions produced byreorganize_baker.py. We make this choice to better leverage other software for chinese text to pinyin tools like pypinyin. This is the convention for G2P in Chinese.这段话说明了三个关键设计决策词典服务于 MFA该词典是为 Montreal-Forced-Aligner 的音素级强制对齐准备的MFA 依赖词典把词此处即音节映射为音素序列以音节而非词语为条目因为reorganize_baker.pyBZNSYP 等中文语料的整理脚本产生的标注本身就是音节级带声调的拼音序列所以词典条目也按音节组织与 G2P 工具生态对齐音节作为中间表示可以无缝衔接 pypinyin 等汉字转拼音工具这是中文 G2P 的通用约定。在 Sphinx 文档体系中本文对应的 API 参考页 docs/source/api/paddlespeech.t2s.frontend.generate_lexicon.rst 通过automodule指令自动提取该模块的文档字符串docstring与成员签名而模块自身同时在 paddlespeech/t2s/frontend/init.py 中以from .generate_lexicon import *导出是中文前端的重要基础组件。二、基础音系常量声母、韵母与特殊音素模块顶部定义了中文拼音的全部音系要素这是后续所有音节组合的原料21 个声母INITIALSgenerate_lexicon.py 第 25-28 行INITIALS [ b, p, m, f, d, t, n, l, g, k, h, zh, ch, sh, r, z, c, s, j, q, x ]注意zh、ch、sh是作为复合声母整体参与组合的而不是拆成zh等。38 个韵母FINALSgenerate_lexicon.py 第 30-35 行FINALS [ a, ai, ao, an, ang, e, er, ei, en, eng, o, ou, ong, ii, iii, i, ia, iao, ian, iang, ie, io, iou, iong, in, ing, u, ua, uai, uan, uang, uei, uo, uen, ueng, v, ve, van, vn ]这里有三个值得注意的编码约定v代表 ü拼音中的ü在音素表示中统一写作vv/ve/van/vn对应ü/üe/üan/ün到音节层再按规则还原成uii与iii是i的两种变体ii表示舌尖前元音只与z/c/s相拼iii表示舌尖后元音只与zh/ch/sh/r相拼。普通i则是齐齿呼元音。三者在音素层区分、在音节层统一回归为ier作为韵母参与组合用于处理儿化音中的基础音节er。2 个特殊音素SPECIALSgenerate_lexicon.py 第 37 行SPECIALS [sil, sp]sil静音与sp短停顿是 MFA 对齐中的特殊事件标记在生成音素表时会被无条件加入。三、核心算法rule()拼音正字法规则引擎rule(C, V, R, T)函数generate_lexicon.py 第 40-144 行接收声母C、韵母V、儿化标记R、声调T四个输入输出一个合法的拼音音节字符串若该组合不存在如不可拼的音节则返回None以便上层过滤。它本质上把汉语拼音正词法编码成了一组约束规则逐条看3.1 声韵配合的合法性约束约束规则内容源码注释为不可拼的音节舌尖前元音ii只能和z、c、s相拼舌尖后元音iii只能和zh、ch、sh、r相拼齐齿/撮口呼i/v开头的韵母不能和f、g、k、h、zh、ch、sh、r、z、c、s相拼撮口呼v、ve只能和j、q、x、n、l相拼van、vn等其他撮口韵母只能和j、q、x相拼舌面音j、q、x只能和齐齿呼或撮口呼韵母相拼唇音b、p、m、f不能和u除u本身、v开头韵母以及ong相拼合口呼ua、uai、uang不能和d、t、n、l、r、z、c、s相拼特殊组合shong不可拼o不能和d、t、n、g、k、h、zh、ch、sh、r、z、c、s相拼特例韵母ueng只作为weng的 ad-hoc 形式存在有其他声母时一律用ong非儿化的er只能零声母单独存在这些约束的来源是汉语音系学的四呼理论开口呼、齐齿呼、合口呼、撮口呼与声韵配合表代码用简洁的集合运算把整套规则表达了出来。3.2 零声母音节与书写规约当C 零声母时需要按拼音书写规则补出介音字母generate_lexicon.py 第 110-123 行i、in、ing→ 声母写作y如yi、yin、yingu→ 声母写作w如wu其他i开头非ii/iii→ 声母写作y并去掉韵母首字母i如ia→ya其他u开头 → 声母写作w并去掉首字母u如ua→wav开头 → 声母写作yu并去掉首字母v如van→yuan。当有声母时还需处理两类书写转换generate_lexicon.py 第 124-133 行去两点j、q、x后的v一律改写为u如jv→ju这正是ü 见 j/q/x 去两点的拼写规则缩写iou→iu、uei→ui、uen→un还原为拼音的省略写法。3.3 儿化与声调的拼接过滤组合出C V之后还有两道收尾逻辑儿化防重若结果已以r结尾如韵母er则不能再叠加儿化标记rii/iii回归通过re.sub(ri, i, result)把ii、iii统一折叠为i使音节层写法与日常拼音一致而音素层仍保留区分。最终返回result R T其中R为儿化标记空或rT为声调标记空或1-5其中5表示轻声。四、词典生成generate_lexicon()与音素表generate_symbols()4.1 四维笛卡尔积生成generate_lexicon(with_toneFalse, with_erhuaFalse)generate_lexicon.py 第 147-158 行通过四重循环枚举所有组合for C in [] INITIALS: # 零声母 21 个声母 for V in FINALS: # 38 个韵母 for R in [] if not with_erhua else [, r]: for T in [] if not with_tone else [1, 2, 3, 4, 5]: result rule(C, V, R, T) if result: syllables[result] f{C} {V}{R}{T}其语义与参数含义为with_toneFalse默认不区分声调音节不带1-5声调后缀with_toneTrue为每个音节生成带声调变体5对应轻声with_erhuaFalse默认不生成儿化音节with_erhuaTrue为每个可儿化韵母额外生成r结尾的儿化变体。返回的是一个OrderedDict键为拼音音节如ba1值为对应的音素序列如b a1。rule()返回None的组合不存在的音节会被自动过滤因此最终词典只包含普通话中真实存在的音节。4.2 音素表生成配套的generate_symbols(lexicon)见 examples/other/mfa/local/generate_lexicon.py 第 166-175 行遍历词典中出现的所有音素并收集去重无条件加入特殊音素sil、sp遍历每个音节的音素序列逐个加入集合最终返回排序后的音素列表供后续构建音素词表vocab使用。由此得到的.symbols文件就是 MFA 训练与解码所需的音素集合也是 zh_frontend.py 等前端模块中Vocab的候选符号来源Vocab的实现位于 paddlespeech/t2s/frontend/vocab.py负责符号到 id 的双向映射。五、命令行用法输出.lexicon与.symbols除了作为库函数被引用模块还提供了可直接运行的 CLI 版本 examples/other/mfa/local/generate_lexicon.py其参数定义见该文件第 178-189 行python local/generate_lexicon.py output [--with-tone] [--with-r] [--rhy-with-duration]参数类型说明output位置参数必填输出文件前缀最终生成output.lexicon与output.symbols--with-tone开关是否考虑声调生成1-5声调变体--with-r开关是否考虑儿化生成r结尾的儿化音节--rhy-with-duration开关是否为韵律标签写入带时长的特殊条目见下文韵律标签小节执行后写入两个文件generate_lexicon.py 第 194-202 行.lexicon词典文件每行一个条目格式为音节 音素序列例如a a ai ai ... ba1 b a1 ba2 b a2当启用--rhy-with-duration时会额外在文件头部写入四行韵律标签条目sp1 sp1、sp2 sp2、sp3 sp3、sp4 sp4对应不同时长的停顿音素.symbols音素表文件每行一个音素符号供 MFA 建立音素模型使用。输出规模参考不启用声调/儿化时词典条目即普通话全部声母×韵母可拼组合约 400 个量级启用--with-tone后每个基础音节最多扩展出 5 个声调变体含轻声实际规模以rule()过滤后的合法组合数为准。一个实用建议做 MFA 对齐时通常同时开启--with-tone --with-r因为语料标注中既含声调又含儿化音节词典不全会导致大量 OOV。六、在 PaddleSpeech 中文前端中的实际应用generate_lexicon不止服务于 MFA也直接参与 TTS 前端的拼音转音素映射。在 zh_frontend.py 中当 G2P 模型选择g2pM或g2pW时会构造一个拼音→音素查找表zh_frontend.py 第 140-152 行if self.g2p_model g2pM: self.g2pM_model G2pM() self.pinyin2phone generate_lexicon(with_toneTrue, with_erhuaFalse) elif self.g2p_model g2pW: self._init_pypinyin() self.corrector Polyphonic() self.g2pM_model G2pM() self.g2pW_model G2PWOnnxConverter(stylepinyin, enable_non_tradional_chineseTrue) self.pinyin2phone generate_lexicon(with_toneTrue, with_erhuaFalse)这里使用的参数组合是with_toneTrue, with_erhuaFalse——即保留声调信息前端后续还会做声调变调 tone sandhi 等处理儿化则交由其他模块处理。从源码结构看pinyin2phone的键值结构即带声调音节 → 声母韵母音素序列例如ba3 → b a3。pypinyin模式g2p_modelpypinyin则通过_init_pypinyin()加载pypinyin的词典与多音字词表实现同样的映射zh_frontend.py 第 156-163 行。由此可以清晰看到本模块在两条业务线中的角色离线对齐场景为 MFA 生成完整词典与音素表在线 TTS 前端场景为 g2pM/g2pW 提供音节→音素的标准映射表作为 G2P 链路的落点。七、完整实战从词典生成到 MFA 强制对齐examples/other/mfa/run.sh 给出了端到端的可运行流程其链路为生成词典 → 重组语料 → OOV 检测 → 下载 MFA → 训练并强制对齐。步骤 1生成词典LEXICON_NAMEsimple python local/generate_lexicon.py $exp/$LEXICON_NAME --with-r --with-tone产出exp/simple.lexicon与exp/simple.symbols。步骤 2重组语料python local/reorganize_baker.py --root-dir~/datasets/BZNSYP --output-dir$exp/baker_corpus --resample-audio把 BZNSYP标贝中文女声音库原始数据整理为 MFA 可接受的目录结构音频统一重采样到 16 kHz每个音频文件对应一个同名.lab文本标注。步骤 3OOV 检测python local/detect_oov.py $exp/baker_corpus $exp/$LEXICON_NAME.lexicondetect_oov.py 会扫描语料中所有.lab标注逐个音节与词典比对若发现标注中的音节不在词典中则打印告警detect_oov.py 第 30-34 行。run.sh 中对此的提示是出现意外 OOV 时应当考虑重新生成补充词典。步骤 4下载并训练 MFA./$MFA_DOWNLOAD_DIR/montreal-forced-aligner/bin/mfa_train_and_align \ $exp/baker_corpus $exp/$LEXICON_NAME.lexicon $exp/baker_alignment \ -o $exp/baker_model --clean --verbose -j 10 --temp_directory $exp/.mfa_train_and_alignmfa_train_and_align会先基于词典在语料上训练声学模型GMM/HMM再对每条音频做音素级强制对齐输出目录为exp/baker_alignment模型保存在exp/baker_model。-j 10指定并行度--clean清理临时状态。韵律标签Rhythm tags如果你希望在对齐结果中获取带时长的韵律标签examples/other/mfa/README.md 说明了相关约束If you want to get rhythm tags with duration through MFA tool, you may add flag--rhy-with-durationin the first two commands inrun.sh. Note that only CSMSC dataset is supported so far, and we replace#withspin rhythm tags for MFA.即在 run.sh 中前两个命令生成词典、重组语料上追加--rhy-with-duration标志即可让词典中包含sp1-sp4四个不同时长的停顿音素从而让 MFA 学到不同韵律停顿的时长目前该能力仅支持 CSMSC 数据集且韵律标签中的#统一替换为sp系列。此外仓库还提供了粤语Cantonese的 MFA 流程 run_canton.sh 与对应的粤语词典生成脚本 generate_canton_lexicon_wavlabs.py表明这套词典对齐方法论可以扩展到其他方言/语言。八、总结generate_lexicon是 PaddleSpeech 中文语音处理中一个小而精的基础模块算法上它用一套精炼的规则函数完整编码了汉语拼音的声韵配合表与书写规约四呼限制、ü→v编码、i/ii/iii三分、儿化与声调扩展并借助四维笛卡尔积自动枚举出全部合法音节工程上它同时提供库接口被 zh_frontend.py 的 g2pM/g2pW 模式复用和 CLI 入口输出 MFA 可直接消费的.lexicon/.symbols文件生态上它与 examples/other/mfa 下的语料重组、OOV 检测、MFA 训练脚本共同构成了一套可复现的中文音素级对齐流水线其产物带音素时长的对齐结果是后续 TTS 声学模型训练如 FastSpeech2、Speedyspeech 等的重要输入。对于需要自行构建中文 TTS 数据流水线的开发者理解该模块的生成规则与参数语义是避免词典缺失、OOV 泛滥和对齐失败的第一步。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech CTC 强制对齐与 Praat TextGrid 生成text_grid 模块原理与实践PaddleSpeech CTC 强制对齐与 Praat TextGrid 生成text_grid 模块原理与实践 本篇技术指南以 PaddleSpeech人工智能语音音频THCHS-30 中文语音数据集实战指南数据布局、PaddleSpeech 预处理与 MFA 强制对齐THCHS 30 中文语音数据集实战指南数据布局、PaddleSpeech 预处理与 MFA 强制对齐 THCHS 30THCHS30 2015是由清华大人工智能语音音频解决VoiceCraft语音合成中的MFA对齐难题从原理到实战解决VoiceCraft语音合成中的MFA对齐难题从原理到实战 在语音合成Text to Speech, TTS应用中文本与音频的精准对齐是保证合成语音人工智能大模型语音音频上一篇推荐4端口高功率USB集线器下一篇Shimmy性能优化完全指南如何提升70B大模型推理效率创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考