高质量视频的需求在各行各业持续增长从沉浸式流媒体体验到远程协作、生成式 AI 媒体工具再到大规模内容分发视频技术正成为这一切的底层支撑。在这些应用场景背后视频处理管线需要变得更快、更高效并能应对日益复杂的格式与工作负载。NVIDIA Video Codec SDK 借助专用硬件视频引擎为开发者提供 GPU 加速的视频编解码能力助力应对上述挑战。NVIDIA Video Codec SDK 13.1 现已正式发布。官方鼓励开发者在视频处理管线中探索最新功能充分利用经过重新设计的示例应用并通过 NVIDIA 开发者论坛分享反馈意见。本次更新的主要功能包括编码功能AV1 分层参考模式支持最多 31 个 B 帧UHQ 调优信息与迭代编码的联合使用。解码功能H.264 和 HEVC 的逐宏块解码统计MV-HEVC 解码中的视图信息获取定位到指定帧。转码功能应用程序分配的 CUarray 作为 NVENC 输入和 NVDEC 输出采用模块化、基于队列架构的全新转码器示例。其他功能官方基于 Docker 的开发环境。AV1 分层参考模式与 B 帧将 B 帧用作参考帧可提升编码质量而分层参考模式通过将 B 帧组织成树状参考结构进一步强化这一效果叶节点为非参考 B 帧根节点为中间 B 帧。这种结构将 NVENC 支持的最大 B 帧数量从 7 提升至 31使编码器能更充分地利用时间冗余整体提升编码质量。该模式不会带来性能损耗但显存占用会有所增加。SDK 13.1 为 AV1 新增了分层参考模式支持 1、3、7、15 和 31 个 B 帧H.264 和 HEVC 将在后续驱动版本中跟进支持。该模式在 7 个及以上 B 帧时效果最为显著且对性能影响极小。配置详情请参阅 NVENC 编程指南。在恒定质量CQ模式下编码 15 个 B 帧相比 NVENC 的高质量HQ调优预设 p7可显著节省码率在可变码率VBR模式下同样如此。UHQ 调优信息与迭代编码联合使用迭代编码于 Video Codec SDK 12.1 引入可冻结编码器的自动状态推进允许用户以不同参数对同一帧进行重新编码NVENC 会追踪每次迭代的状态并可随时停止并提交其中某一结果。UHQ 调优信息于 Video Codec SDK 12.2 引入结合前瞻级别与时域滤波在延迟容忍型编码场景中实现最优的质量与性能平衡。时域滤波通过运动估计在相邻帧中查找匹配块并将其应用于当前帧的滤波处理从而降低自然视频的噪声平均可为自然内容带来 4%–5% 的编码增益。前瞻级别功能通过分析未来帧并借助编码树单元CTU等统计信息实现高效的码率控制比特分配。目前支持四个具有不同性能与质量权衡的前瞻级别。13.1 版本将 UHQ 调优信息与迭代编码相结合使前瞻级别与时域滤波现可与逐次迭代重编码协同工作。逐宏块解码统计NVDECODE API 现可为 H.264 和 H.265HEVC内容中每个已解码帧检索详细的逐宏块解码统计信息。对于每个 16×16 的块解码器会输出亮度量化参数QP、编码单元类型帧内、帧间、跳过或 PCM以及最多两个运动向量前向和后向这些数据均作为硬件解码的自然副产品提取不产生额外的 CPU 开销。这些统计信息解锁了以往依赖 CPU 端码流解析的 GPU 加速视频分析工作流。运动向量可用于场景切换检测、目标跟踪和镜头边界分析QP 值可提供逐块的编码质量视图用于自适应码率优化和质量监控宏块类型可揭示编码结构适用于内容分类和压缩研究。使用流程简洁明了应用程序通过 cuvidGetDecoderCaps() 查询解码器能力在创建解码器时启用统计收集并通过 cuvidMapVideoFrame() 为每个解码帧检索 GPU 侧统计缓冲区。用户可将统计数据复制到主机内存或直接使用 CUDA 内核在 GPU 上进行实时管线处理。SDK 附带了现成可用的示例 AppDec -dumpstats完整演示了上述流程。帧精准定位AI 工作流——从目标检测、内容审核、视频摘要的推理管线到大规模数据集的多样性帧采样训练数据准备——往往需要访问特定帧而非顺序解码。视频编辑和非线性后期制作也有同样的需求。Video Codec SDK 现通过 NvVideoDecoder 类提供全面的帧定位与随机帧访问 API使帧精准访问像数组索引一样简单同时只获取所需帧。该功能采用 GOP 感知定位架构处理请求。对于第 N 帧SDK 会找到目标帧之前最近的 IDR 帧将解封装器定位至该处并通过 CUVID_PKT_DISCONTINUITY 刷新解码器状态。从该 IDR 帧起仅处理到达第 N 帧所需的帧解析器会标记并跳过非参考帧参考帧正常解码但通过基于 PTS 的过滤绕过映射和后处理格式转换、缩放、裁剪等只有第 N 帧才运行完整的解码、映射和后处理管线。NvVideoDecoder 类封装了底层 SeekUtils 引擎并提供了简洁的基于运算符的接口。主要功能包括解码器缓存适用于播放列表NvVideoDecoder 按编解码器、位深和色度格式缓存解码器实例并通过 LRU 淘汰策略复用避免频繁创建的开销。不可寻址流基本流、网络流和管道流可自动检测前向定位高效执行后向定位则通过自动重置解码器实现。灵活的帧指定方式AppDecVideoDecoder 示例支持单独索引如 0,10,20、带步长的范围如 0:100:10、基于时间的访问如 -t 1.5,3.0以及用于批量处理的播放列表文件。开放 GOP 支持对于包含非 IDR I 帧的流定位到最近的 IDR 帧而非最近的关键帧确保所有参考帧可用。MV-HEVC 3D 视频支持增强Video Codec SDK 现提供更完善的 3D 视频支持解码器可输出视图 ID 和图层元数据支持高分辨率下的多 GPU 编码以及改进了与第三方软件的兼容性。MV-HEVC 解码更新方面视图信息上报功能使解码器可输出特定图层和参考信息如 nuh_layer_id便于应用程序按视图标识和路由帧以实现立体处理更广泛的码流支持使解码器能够处理第三方编码器生成的 MV-HEVC 3D 码流确保左右视图均能正确播放。MV-HEVC 编码更新方面简化了 FFmpeg 的元数据处理使通过 FFmpeg 编码时 HEVC 3D 显示元数据能够正确出现在码流中分帧编码SFE功能允许多个编码器协同处理单帧为超出单个编码器处理能力的高分辨率 3D 和 XR 视频提速。全新转码示例套件全新转码示例套件注重灵活性、性能与可定制性提供四个应用程序AppTransPerf对 NVDEC 和 NVENC 的最大吞吐量进行基准测试。AppTrans带可选位深转换的 1:1 转码。AppTransOneToN带缩放的 1:N 转码。AppTransZeroCopy新增1:1 零拷贝纯转码应用针对最低可能延迟进行优化。模块化、基于队列的架构此前的实现速度较快但结构较为单一用户需要在修改管线前理解整个管线。13.1 版本围绕严格模块化、基于队列的架构对示例进行了重新设计保证并发性、简化定制化并最大化硬件利用率。重新设计后每个管线阶段分配一个专用 CPU 线程构成一个生产者-消费者系统各线程通过明确指定大小的输入输出队列进行通信。核心 AppTrans 管线被拆分为四个独立执行上下文解码线程NVDEC负责解封装和解码计算线程CUDA负责处理编码线程NVENC负责编码输出线程负责收集输出并封装。每个线程独立负责一个步骤形成解耦设计可原生处理同步问题。帧按顺序通过队列传递确保数据流的安全性。该架构的主要优势包括模块化只需复制和调整所需的管线步骤解耦组件使错误和异常隔离在各自线程内。性能各管线步骤之间的完全并发得到保证分离 CPU 提交线程确保 GPU 始终不会处于空闲状态一旦饱和硬件引擎NVDEC、CUDA、NVENC可在不同帧上并行运行各阶段。可定制性解耦的队列提供完全控制权。只需编码移除解码线程直接向计算和编码队列输入。需要超低延迟而非高吞吐量减小队列大小以最小化缓冲等待。有自定义 AI 滤镜修改计算线程以独立调度 CUDA 内核而不阻塞解码器或编码器的提交循环。AppTransZeroCopy 零拷贝转码在传统转码管线如 AppTrans中解码帧在到达编码器之前需要经过多次内部格式转换和复制这是标准 NvDecoder 和 NvEncoder API 的固有特性。AppTransZeroCopy 通过让 NVDEC 和 NVENC 直接在两者均原生支持的格式下共享同一 GPU 内存来消除这一复制链。该机制由四部分组成共享缓冲池分配启动时应用程序使用 cuArray3DCreate 并带 CUDA_ARRAY3D_VIDEO_ENCODE_DECODE 标志分配一个 CUDA 数组CUarray池告知 CUDA 驱动这些表面将在两个视频编解码引擎之间共享。每个 CUarray 以 NVDEC 和 NVENC 均可原生访问的格式保存一帧亮度加色度平面绕过传统管线的中间转换。双重注册同一 CUarray 同时注册到两个编解码器。在解码器端通过 SetExternalOutputArrays() 作为外部输出表面提供告知 NVDEC 将解码帧直接写入其中在编码器端通过 NVENC 的 nvEncRegisterResource API 以 NV_ENC_INPUT_RESOURCE_TYPE_CUDAARRAY 资源类型注册为输入资源使编码器无需输入转换即可直接读取。流水线执行解码、编码和输出三个线程通过并发队列连接并通过基于令牌的流量控制管理 CUarray 在解码器和编码器之间的所有权。流有序同步NVDEC 和 NVENC 共享同一 CUDA 流在无需显式 CPU-GPU 同步的情况下保证解码写入和编码读取之间的正确顺序。零拷贝方案的主要优势包括降低流多处理器SM利用率传统管线使用多个 CUDA 复制和转换内核在各阶段之间传输帧。零拷贝消除了这些中间内核为 CUDA 预处理、推理或渲染释放了 SM 资源。减少 GPU 显存占用传统管线在每个阶段保留独立缓冲区零拷贝将其合并为一个共享池显著降低每会话的显存消耗。并发会话吞吐量提升更低的 SM 利用率加上更小的显存占用提升了可扩展性使 GPU 在达到 SM 饱和或显存耗尽前能够维持更多并发转码会话。基于 Docker 的官方开发环境传统的 Video Codec SDK 搭建流程需要安装 CUDA 工具包、Vulkan SDK、系统库和 FFmpeg然后在不同宿主发行版和驱动版本下构建 SDK 示例操作繁琐。Video Codec SDK 13.1 引入了官方基于 Docker 的开发环境将一致、预配置的软件栈打包进单一容器。镜像从开放的 Dockerfile 构建可在本地或云端复现环境并通过构建参数进行自定义。该镜像分两个阶段构建构建阶段编译 SDK 示例并安装 Vulkan SDK 和 FFmpeg运行阶段仅保留运行和开发所需的内容。软件栈固定使用 CUDA 12.3.2、Vulkan SDK 1.4.304.1 和 Ubuntu 22.04 LTS。使用 SDK_ZIP 构建参数指向 Video_Codec_SDK_13.1.x.zip可选的 FFMPEG_URL 参数可提供自定义 FFmpeg 压缩包例如带 NVENC 的 LGPL 构建替代默认的 BtbN LGPL 构建。容器内预构建的示例位于 /video-codec-sdk/Samples/build/ 目录包括 AppDec 和 AppEncCuda可直接结合测试向量运行。FFmpegLGPL安装在 /opt/ffmpeg用于生成 YUV、编码 MJPEG 和 MPEG以及检查编码流。测试向量脚本可生成多种格式的原始 YUV、JPEG、MPEG-1/2/4以及在 GPU 可用时通过 AppEncCuda 生成 H.264 和 HEVC从而完整验证处理管线。容器以非 root 用户运行并为编排系统提供了 HEALTHCHECK。运行要求支持视频编解码的 NVIDIA GPU已启用 GPU 支持的 DockerNVIDIA Container ToolkitSDK 安装包文件将 SDK 压缩包如 Video_Codec_SDK_13.1.x.zip放置于 Docker 构建上下文中并执行构建cd ubuntu22.04docker build -t nvidia/video-codec-sdk:13.1-ubuntu22.04 \--build-arg SDK_ZIPVideo_Codec_SDK_13.1.x.zip \.带 GPU 访问权限启动容器可在启动时生成测试向量或打开 Shell 直接运行示例标准启动docker run --gpus all -it nvidia/video-codec-sdk:13.1-ubuntu22.04启动时生成完整测试向量套件约 10–15 分钟docker run --gpus all -it nvidia/video-codec-sdk:13.1-ubuntu22.04 --generate-vectors full仅生成 720p H.264 向量docker run --gpus all -it nvidia/video-codec-sdk:13.1-ubuntu22.04 --generate-vectors h264 --resolution 1280x720生成模式支持 full、h264、hevc、vp8、vp9 和 av1。容器内sdk-samples、test-decode 和 test-encode 别名可快速跳转到示例目录并使用生成的向量运行快速测试。Docker 开发环境的主要优势可复现性相同的 CUDA、Vulkan、FFmpeg 和 SDK 版本在任何环境下均可运行消除在我机器上可以运行的环境漂移问题。快速上手克隆仓库、添加 SDK 压缩包、运行 docker build 和 docker run --gpus all 即可无需在宿主端安装 SDK 或 Vulkan。CI 与云端友好在任何支持 NVIDIA Container Toolkit 和 GPU 的环境中单一镜像即可驱动流水线和云端工作负载。Dockerfile 和辅助脚本位于 video-codec-sdk-docker 仓库。详细构建选项、环境变量和故障排除方法请参阅仓库 README。开发者可下载 SDK在视频处理管线中体验全新的编码、解码和转码功能并分享使用反馈。重新设计的示例应用便于将新功能融入现有工作流或从零构建自定义管线。QAQ1NVIDIA Video Codec SDK 13.1 的零拷贝转码是怎么工作的有什么优势A零拷贝转码通过让 NVDEC 和 NVENC 直接共享同一块 GPU 内存CUarray来消除传统管线中的多次格式转换和数据复制。具体机制包括共享缓冲池分配、双重注册到编解码器、流水线线程执行以及流有序同步。其主要优势是降低 SM 利用率、减少显存占用并在并发转码会话场景下提升整体吞吐量。Q2AV1 分层参考模式支持最多多少个 B 帧对性能有影响吗ASDK 13.1 中的 AV1 分层参考模式支持 1、3、7、15 和 31 个 B 帧将 NVENC 最大 B 帧数从 7 帧提升至 31 帧。该模式在 7 个及以上 B 帧时效果最为显著对性能影响极小但会增加显存占用。H.264 和 HEVC 的分层参考模式将在后续驱动版本中支持。Q3SDK 13.1 的 Docker 开发环境包含哪些组件怎么快速上手A官方 Docker 环境固定使用 CUDA 12.3.2、Vulkan SDK 1.4.304.1 和 Ubuntu 22.04 LTS内置预编译的 SDK 示例和 FFmpegLGPL。上手方式非常简单将 SDK 压缩包放入 Docker 构建目录执行 docker build 指定 SDK_ZIP 参数再用 docker run --gpus all 启动即可无需在宿主机上单独安装 CUDA 工具包、Vulkan SDK 等依赖。