LTX-2 / LTX-2.5首个 DiT 架构音视频联合基础模型完全解析原文来源GitHub - Lightricks/LTX-2最新版本LTX-2.5当前推荐发布方以色列公司 Lightricks核心观点LTX-2 的宣传标语是第一个 DiT 架构音视频基础模型——它试图做的事情不是给视频加音轨而是在同一扩散过程、同一潜在空间中联合生成视频与音频。这是个真正的范式差异同类竞争者Runway Gen-4、HunyuanVideo、Kling、Pika要么不产生音频要么音频是后处理附加的同步精度天然劣于联合生成。从技术阶段来看这不是渐进优化而是一次模态扩展型范式突破把音视频生成从两个分开的模型串联变成一个双流 Transformer 并行推理。参照系应该是 2023 年 VideoLDM 首次把视频帧打包进扩散流程的那一步——性质类似但跨越的模态边界更高。关键技术机制不对称双流 TransformerLTX-2.5 的 Transformer 总参数 22B内部划分为视频流~14B 参数音频流~5B 参数最关键、最巧妙的设计不是两个流而是不对称本身——视频比音频更贵但二者通过以下机制深度耦合耦合机制作用双向音视频跨注意力层Bidirectional Audio-Video Cross-Attention视频帧特征和音频帧特征互相可见实现帧级同步跨模态 AdaLN自适应层归一化视频流和音频流共享同一个时间步条件信号确保扩散步数一致模态感知 CFGmodality-CFG在分类器自由引导阶段对视频和音频分别施加不同的引导强度独立调控画面服从度与声音服从度这个 modality-CFG 是真正的创新点传统 CFG 只有一个引导系数无法单独增强声音细节而不影响视频风格。LTX-2 用两个独立引导权重解决了这个问题。文本编码器Gemma 4 12BLTX 专属微调版LTX-2.5 使用的文本编码器是经过 Lightricks 专项微调的 Gemma 4 12B标识符gemma4-12b-ltx-v1并非 Google 公开发布的原版 Gemma 4——原版加载会直接报错。这个细节提示文本理解能力是模型专项优化过的而不是直接嫁接通用 LLM。扩散 VAE 解码器NADiffusionDecoder视频 VAE 提供两种选择ltx-2.5-video-vae-bf16.safetensors使用邻域注意力Neighborhood Attention的扩散解码器质量更高但更耗 VRAMltx-2.5-video-vae-conv-bf16.safetensors传统卷积解码器更轻量无额外依赖这个设计让用户可以在质量和资源消耗之间按场景切换工程上比较实用。模型组件一览LTX-2.5 组件清单下载约 66 GiB ├── Transformer (22B) │ ├── ltx-2.5-22b-dev-transformer-bf16.safetensors # 完整版两阶段流水线用 │ └── ltx-2.5-22b-distilled-transformer-bf16.safetensors # 蒸馏版8步推理 ├── 文本编码器 │ └── gemma4-12b-with-proj-ltx-2.5-bf16.safetensors ├── Video VAE二选一 │ ├── ltx-2.5-video-vae-bf16.safetensors # 扩散解码高质量 │ └── ltx-2.5-video-vae-conv-bf16.safetensors # 卷积解码轻量 ├── Audio VAE │ └── ltx-2.5-audio-vae-bf16.safetensors ├── 空间上采样器2× │ └── ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors └── 可选组件 ├── ltx-2.5-latent-temporal-upscaler-x2-bf16-1.0.safetensors # 时序上采样 ├── ltx-2.5-22b-distilled-lora-450-bf16.safetensors # 蒸馏 LoRA ├── ltx-2.5-duration-head-bf16.safetensors # 时长预测头 └── ltx-2.5-22b-ic-lora-pixel-spatial-upscaler-x2-1.0.safetensors快速推理示例最简命令# 克隆仓库 git clone https://github.com/Lightricks/LTX-2.git cd LTX-2 # 安装依赖自动处理 nattenLinux/CUDA 最快Windows/macOS 自动降级 uv sync --extra natten # 生成蒸馏管线最快 uv run python -m ltx_pipelines.distilled \ --transformer-path models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors \ --text-encoder-path models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors \ --video-vae-path models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors \ --audio-vae-path models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors \ --spatial-upsampler-path models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors \ --num-frames 121 \ --seed 42 \ --output-path output.mp4 \ --prompt ... # 显存紧张时加上 # --quantization fp8-cast --offload cpu可用 Pipeline 速查Pipeline适用场景备注DistilledPipeline最快推理8步日常首选DFRPipeline高细节渲染含空间/时序上采样TI2VidTwoStagesPipeline生产级文/图转视频两阶段2× 上采样ICLoraPipeline视频转视频/图转视频蒸馏模型A2VidPipelineTwoStage音频驱动视频给音频配画面RetakePipeline局部重生成指定时间区域DubItPipeline换语言配音保持说话人身份和口型HDRICLoraPipelineHDR/EXR 输出专业影视流程对比放进历史脉络看2022 VideoLDM — 视频帧进潜在扩散无音频 2023 Stable Video Diffusion — SVD纯视频大众化 2024 HunyuanVideo/Wan — 高质量视频仍无原生音频 Runway Gen-3/4 — 专有无原生音频 Kling — 最长 30 秒无原生音频 2025 LTX-Video (Lightricks) — 前代纯视频 DiT 2025/2026 LTX-2 / LTX-2.5 — 首个音视频联合 DiT ✓比之前好在哪消除了音视频对齐的后期缝合问题推理效率显著优于纯视频同参数级模型蒸馏版 8 步出图开源可本地部署可 LoRA 微调。牺牲了什么22B 参数 66 GiB 下载体积最低 12GB VRAM 运行舒适使用建议 24GB相比 Runway Gen-4、Google Veo 3在细节质量面部微表情、手部、文字渲染、复杂物理上仍有差距。交叉验证信源 1arxiv 论文 2601.03233Lightricks 官方技术报告论文确认了不对称双流架构视频流 14B / 音频流 5B、modality-CFG 创新机制以及开源系统中 SOTA 音视频质量、与专有模型相当的性能声明。这些与 GitHub 文档一致。需要注意这是自报性能声明缺乏独立第三方盲测基准说服力有限。信源 2Apatero.com独立第三方测评2025 年 12 月该文章不同作者非 Lightricks 官方对 LTX-2 做了横向比较结论基本认同原文的核心优势并给出更具体的数字支持原文观点60 秒连续生成、原生同步音频是相对 Runway Gen-3最长 10 秒、HunyuanVideo最长 15 秒的真实优势补充了局限同一 prompt 多次生成结果差异大随机性强、40GB VRAM 才能跑满全部能力远高于官方文档最低门槛的描述、无法输入已有音轨必须全部重新生成音频这个限制官方文档没有突出强调反驳/纠正Apatero 评测认为 Runway Gen-3 在短片10 秒以下的视觉细节质量可能仍优于LTX-2官方文档对此未作说明信源 3genra.ai中文独立评测2026 年 1 月该文明确指出 Sora 2、Runway Gen-4.5 在面部细节和精细纹理上仍优于 LTX-2且把 LTX-2 定位为实验、批量生产、隐私保护场景的补充工具不是云端专有服务的全面替代。这与官方宣传的生产就绪措辞有明显落差。被过度夸大的部分边界与局限生产就绪production-ready在短片精修场景下Runway Gen-4、Veo 3 的视觉精度仍有优势这个说法更适用于批量生产、可接受一定不一致性的工作流不适用于需要完美面部/手部/文字的广告级内容。66 GiB 下载门槛这是只下载自己需要的组件之后的最小推荐集。如果要跑全量 Pipeline存储和 VRAM 需求更高官方宣传稍显保守。无法输入已有音轨官方文档突出了 DubItPipeline 和 A2VidPipeline但一个常见需求——我有一段现成的音乐/对白想配上视频——目前不被原生支持音频必须模型生成。LTX-2.3 与 LTX-2.5 不兼容文档末尾才轻描淡写地提了一行权重不可互换LoRA 只能用于训练时对应的模型这对已经在 2.3 上微调过 LoRA 的用户是重大迁移成本。个人启发对开发者/研究者modality-CFG 的思路值得学习——在多模态生成里不同模态对引导强度的敏感度本来就不同用统一的 CFG 权重是粗糙的独立引导权重是正确的工程方向。这个思路可以直接迁移到自己的多模态项目中。对内容创作者如果你的需求是带口播/环境音的短视频批量生产LTX-2.5 DistilledPipeline 的 8 步推理是目前开源里最务实的选择如果你需要精修人物面部或精准文字排版当前版本还不是主力工具。对决策者产品/商业LTX-2.5 支持 LoRA 微调 本地部署这意味着可以训练品牌专属风格模型而不把数据交给云服务商在 IP 保护和隐私合规层面有真实价值。做内容中台的团队现在是一个低成本建立私有模型积累的窗口期。推演LTX-2.5 最大的竞争壁垒不是视频质量会被追平而是音视频联合生成的数据飞轮——谁先积累了大量用户的音视频对齐反馈数据谁的下一代模型同步质量就越好。Lightricks 选择开源API 双轨制是一个有意识地用开源社区换取音视频对齐反馈数据的战略。延伸思考音视频联合训练数据从哪来模型能生成环境音、foley 音效、对白的前提是有足够规模的带字幕/音频标注的视频训练数据。Lightricks 能否维持这一数据优势还是竞争者如 Tencent HunyuanVideo 后续版本会迅速补上音频模态无法输入已有音轨是架构限制还是功能缺失音视频联合扩散的核心是两路信号在同一潜在空间共同演化反推的音频条件控制理论上可以实现类似 ControlNet 对视频的作用但目前 LTX-2.5 还没有这个接口——这个空白将是下一版本最有价值的功能方向。开源 LoRA 生态会不会成为护城河LTX-2.5 支持 IC-LoRA图像条件 LoRA这是一个强大的定制化机制。如果社区在上面积累了大量风格 LoRA类似 SD 1.5 时代的 LoRA 集市迁移成本会锁住相当一部分用户这比模型本身的技术优势更持久。 参考来源GitHub - Lightricks/LTX-2: Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model. · GitHub