如何支持13种语言的实时转写Voxtral-Mini-4B-Realtime-2602-NPU 多语言能力探秘【免费下载链接】Voxtral-Mini-4B-Realtime-2602-NPU项目地址: https://ai.gitcode.com/z_studio/Voxtral-Mini-4B-Realtime-2602-NPU实时语音转写正在重塑字幕、会议与语音助手的交互体验而 Voxtral-Mini-4B-Realtime-2602-NPU 正是这样一个面向13 种语言实时转写的开源部署项目它将 Mistral AI 的 Voxtral Mini 4B Realtime 2602 实时语音转写模型通过 torch_npu 与 transformers 原生部署到昇腾 NPUAscend 910B4上以低于 500ms 的端到端延迟完整跑通「音频 → 文本」全流程。本文带你探秘它的多语言能力、流式架构与 NPU 部署方法看完就能上手体验。什么是 Voxtral Mini 4B Realtime 2602Voxtral Mini 4B Realtime 2602 是 Mistral AI 开源的首批原生流式实时语音转写模型之一总参数量约 4B文本 LLM ≈ 3.4B 音频编码器 ≈ 970M。它在接近离线系统的转写精度下做到了不到 500ms 的端到端延迟非常适合实时字幕、语音助手、会议转写等场景并采用 Apache-2.0 协议开源。属性值架构VoxtralRealtimeForConditionalGeneration总参数量约 4B文本 LLM ≈ 3.4B 音频编码器 ≈ 970M输入 / 输出16kHz 音频mel 特征→ 文本转写端到端延迟 500ms支持语言13 种权重格式bf16 safetensors约 8.8 GB许可证Apache-2.013种语言全覆盖实时转写支持哪些语言Voxtral Mini 4B Realtime 2602 的多语言语音转写覆盖了全球主要语种 英语en 法语fr 西班牙语es 德语de 俄语ru 中文zh 日语ja 韩语ko 意大利语it 葡萄牙语pt 荷兰语nl 阿拉伯语ar 印地语hi无论是欧洲主流语言还是中文、日语、韩语、阿拉伯语、印地语等亚洲语种都可以用同一个模型完成实时转写无需为单一语言单独部署模型。这正是它在多语言语音识别场景中的核心价值——一套模型13 种语言开箱即用。实时转写“快”在哪流式架构解析普通语音转写模型往往需要听完一整段音频才能输出结果而 Voxtral 能做到“边说边转”秘诀在于流式架构设计因果音频编码器 滑窗注意力 LLM两者均采用滑动窗口注意力理论上支持近乎无限的流式输入音频可以持续喂入文本持续吐出细粒度的 token 映射单条转写文本 token 大约对应 80ms 音频粒度足够细保证转写的及时性延迟可调通过tekken.json中的transcription_delay_ms80–1200ms 及 2400ms你可以在更低延迟与更高精度之间自由权衡适配不同业务需求。这也是它区别于传统离线语音转写模型、真正适合实时场景的关键所在。如何在昇腾 NPU 上部署实时转写模型本项目已在昇腾 NPU 上完成了全链路验证模型加载 推理均通过。部署前先确认你的环境满足核心版本要求组件版本torch / torch_npu2.9.0 / 2.9.0.post1transformers≥ 5.2.0本仓库验证 5.15.0mistral-common≥ 1.11.5[audio] 扩展CANN8.5.1NPUAscend 910B4单卡 64GB HBM一键部署步骤git clone https://gitcode.com/z_studio/Voxtral-Mini-4B-Realtime-2602-NPU cd Voxtral-Mini-4B-Realtime-2602-NPU python3 -m venv --system-site-packages venv ./venv/bin/pip install -r requirements.txt装好后用npu-smi info校验 NPU 是否可见并按实际映射设置设备号如export ASCEND_RT_VISIBLE_DEVICES0。下图是昇腾 NPU 设备监控界面可以看到推理进程python3正在占用 NPU 资源 依赖清单详见 requirements.txt完整环境说明与适配记录见 README.md。一行命令启动多语言语音转写部署完成后运行推理脚本 inference.py 即可开始转写只需指定音频文件./venv/bin/python inference.py --audio sample_en.wav --max-new-tokens 128常用参数一览参数默认值说明--audio必填输入音频wav/mp3/ogg/flac 等自动重采样到 16kHz--model-dir本地权重目录模型权重路径--devicenpu:0推理设备--max-new-tokens256生成的最大 token 数--dtypebfloat16推理精度bfloat16 / float32 / float16实测从音频到文本的完整转写流程以爱迪生留声机经典录音Mary Had a Little Lamb约 15.9s为例推理脚本会依次执行 4 个步骤初始化 NPU 设备 → 加载 processor 与模型权重 → 加载并预处理音频 → 开始转写最终输出[4/4] 开始转写max_new_tokens200... 转写结果 First words I spoke in the original phonograph. A little piece of practical poetry. Mary had a little lamb, it sleeps with quite a flow, and everywhere that Mary went, the lamb was sure to go. 生成 239 tokens耗时 12.49s平均 19.1 tok/s✅ 该用例验证了模型权重在昇腾 NPU 上成功加载、语音转写输出准确完整将--max-new-tokens调小到 64 时生成速度还能提升到约 24.7 tok/s适合对响应速度要求更高的场景。13种语言实时转写的典型应用场景实时字幕直播、网课、视频会议即时生成多语言字幕语音助手边听边答交互更自然流畅会议转写多语种会议自动生成纪要支持中英日韩等多语言混合场景多语言客服 / 口译辅助一套模型服务多种语言显著降低部署与运维成本。部署注意事项transformers 版本必须 ≥ 5.2.04.x 不包含voxtral_realtime架构venv 需继承系统包torch / torch_npu 与 CANN 严格耦合务必用--system-site-packages创建虚拟环境避免版本冲突NPU 设备号容器内逻辑卡可能不是 0以npu-smi info与ASCEND_RT_VISIBLE_DEVICES的实际映射为准流式接口如需 WebSocket 实时流式/v1/realtime体验可关注项目 README.md 中 vLLM-Ascend 路径的适配进度目前默认使用 transformers torch_npu 方案已验证完整可用。Voxtral-Mini-4B-Realtime-2602-NPU 让 13 种语言的实时转写真正跑在了国产昇腾硬件上从部署到推理全程透明可控。如果你正在寻找低延迟、多语言的语音转写方案这个项目值得立刻上手试一试。【免费下载链接】Voxtral-Mini-4B-Realtime-2602-NPU项目地址: https://ai.gitcode.com/z_studio/Voxtral-Mini-4B-Realtime-2602-NPU创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考