1. 项目概述图像缩放RSZ在ISP中的核心地位在嵌入式视觉和图像处理领域图像信号处理器ISP是连接图像传感器与应用处理器的桥梁负责将原始的、充满噪声的传感器数据转化为清晰、可用的图像。在这个处理流水线中图像缩放Resizer简称RSZ模块扮演着一个看似基础、实则至关重要的角色。它绝不仅仅是简单地放大或缩小图片而是整个视觉系统能否灵活适应不同应用场景的关键。想象一下一个1080p的摄像头需要同时输出一个4K分辨率的画面用于高清录像一个720p的画面用于实时预览以及一个VGA分辨率的画面用于人脸检测算法。如果没有一个高效、高质量的图像缩放模块系统就需要部署多个传感器或进行昂贵且高延迟的帧缓存与软件处理。而一个硬件集成的RSZ模块就像ISP流水线上的一个智能分拣与重塑工位能够实时、并行地将一路输入图像加工成多路不同尺寸、满足不同下游需求的输出图像。这正是德州仪器TIISS ISP架构中RSZ模块设计的初衷——在保证图像质量的前提下提供极高的处理灵活性和能效。这个模块的技术价值体现在多个层面首先它实现了数字变焦Digital Zoom功能允许用户在固定焦距的镜头上通过裁剪和放大获取更近的视角。其次它使得单一图像源能够适配多种分辨率的显示设备或编码标准极大地提升了系统的兼容性。再者通过生成低分辨率的预览流它可以为后续的计算机视觉算法如目标检测、跟踪降低计算负荷实现系统级的功耗优化。因此深入理解RSZ模块的原理、配置细节以及工程实践中的“坑”对于设计高性能、低功耗的嵌入式视觉系统至关重要。2. RSZ模块核心架构与工作模式解析TI ISS ISP中的RSZ模块是一个高度集成且功能丰富的硬件加速器。要驾驭它首先得从整体上把握其架构和几种核心的工作模式这决定了你如何根据应用需求来配置它。2.1 双引擎独立架构与数据流RSZ模块最显著的特征是包含了两个完全独立的缩放引擎RSZ-A和RSZ-B。这两个引擎共享同一路输入数据但可以独立配置并行输出两路尺寸、格式可能完全不同的图像。这种设计非常实用例如引擎A输出全分辨率图像用于编码存储引擎B输出四分之一分辨率的图像用于运动检测算法。模块通过两个视频端口VP接收数据VP1通常连接前端的IPIPE图像管道模块VP2连接IPIPEIF图像管道接口模块。这两个端口是互斥的同一时刻只能有一个处于活动状态。数据进入RSZ后首先会经过一个**输入裁剪Crop**单元。这是一个容易被忽视但极其重要的环节。裁剪允许你只选取传感器有效像素区域的一部分进行后续缩放处理这不仅能去除光学黑区Optical Black还能实现电子防抖EIS所需的运动边界补偿或者直接实现数字变焦的“裁剪放大”第一步。裁剪的参数起始水平/垂直位置、裁剪后宽高必须仔细设置特别是对于YUV4:2:2格式水平起始位置和宽度必须是偶数以保证色度采样点的对齐。裁剪后的数据进入输入数据缓冲区。这个缓冲区设计为三行结构的循环缓冲区其核心作用是解耦输入来自传感器时钟恒定但有空闲期和输出缩放引擎产生速率可能因缩放比而变化之间的数据速率不匹配问题防止数据溢出Overflow或下溢Underflow。2.2 关键工作模式正常模式、下采样模式与旁路RSZ模块提供了几种关键的工作模式以适应不同的缩放需求和能效目标正常模式Normal Mode这是最通用的模式支持从1/16倍缩小到20倍放大的宽范围缩放。其核心是插值算法支持两种选择4抽头三次卷积插值和3抽头线性滤波2抽头线性插值。三次卷积能提供更平滑、边缘更清晰的放大效果但计算量稍大线性插值速度更快但在放大倍数较高时可能出现锯齿和马赛克。模式的选择通过RZi_H_TYP和RZi_V_TYP寄存器i为A或B独立配置水平和垂直方向、亮度和色度的插值类型。下采样模式Downscale Mode专门为高质量的大比例缩小设计支持高达1/4096倍缩小。它与正常模式的关键区别在于在插值器之前加入了一个平均器Averager。当图像被大幅缩小时高频细节会折叠回低频产生混叠失真Aliasing表现为明显的摩尔纹或抖动。平均器的作用就是对一组输入像素进行预平均相当于一个抗混叠滤波器能显著提升大幅缩小后的图像质量。平均的窗口大小水平/垂直方向可独立设置决定了缩小的比例其范围为2的幂次1/2到1/256。旁路模式Bypass与直通模式Pass-through这两个模式常用于低功耗场景或特殊数据路径。旁路模式缩放引擎被完全绕过输入数据直接进入输出接口。但输入缓冲区仍然被使用这可以在后端内存带宽不足时提供额外的缓冲能力。直通模式缩放引擎被关闭以节能但数据路径仍经过模块内部不经过处理。当输入是RAW Bayer数据RSZ无法缩放RAW数据或不需要缩放但需要数据路由时使用此模式。 注意模式选择与时钟约束当两个引擎都用于下采样时输入像素时钟最高可达200MHz。但是只要有一个引擎执行上采样操作输入时钟就必须受到限制。公式为clk_pix ≤ 200 MHz / (垂直放大系数 × 水平放大系数)。例如如果一个引擎进行4倍放大那么输入时钟不能超过12.5MHz。这意味着“实时”数字变焦对传感器实时数据进行放大受限于此公式高倍变焦通常需要先将全分辨率帧存入内存再以较低时钟读回进行处理。2.3 数据格式支持与转换RSZ模块对数据格式的支持是其灵活性的另一体现输入格式主要支持YUV4:2:2交织格式和RAW16Bayer格式。对于YUV4:2:0模块本身不原生支持需要软件通过两次处理Two-Pass来实现第一次处理亮度Y分量第二次处理色度Cb/Cr分量。输出格式支持YUV4:2:2、YUV4:2:0、RGB565和ARGB32。输出格式的选择通过RZx_420和RZx_RGB_EN等寄存器控制。颜色空间转换YUV到RGB在缩放完成后进行转换公式是固定的通常遵循BT.601或BT.709标准具体取决于ISP前级配置。 实操心得YUV4:2:0两次处理的时序安排处理YUV4:2:0时两次处理必须紧密衔接。通常的策略是先处理整帧的Y分量并写入内存的Y平面再处理整帧的UV分量并写入内存的UV平面。需要确保两次处理的裁剪区域、缩放比例、相位参数完全一致否则会导致亮色错位。在配置寄存器时第一次Pass设置RZx_420.YEN1, RZx_420.CEN0第二次Pass则设置RZx_420.YEN0, RZx_420.CEN1。3. 缩放算法原理与关键参数配置详解理解了架构和模式我们深入到RSZ模块的核心——缩放算法及其参数配置。这是影响输出图像质量的直接因素。3.1 插值算法的数学原理与实现无论是正常模式还是下采样模式其核心缩放动作都依赖于插值算法。RSZ模块采用基于位置的加权插值法。基本模型假设输入像素序列为i0, i1, i2, i3, ...它们均匀分布间距为1。目标是在输出序列中生成新的像素o0, o1, o2, ...其位置由缩放比和初始相位决定。 缩放比R 256 / NN为16到4096之间的整数。R 1表示放大R 1表示缩小。 初始相位p是一个0到255之间的值决定了输出网格相对于输入网格的偏移。 第n个输出像素的位置以输入像素间距为单位为xn (n * N p) / 256。插值计算对于位置xn找到其左右最近的四个输入像素索引m-1, m, m1, m2其中m floor(xn)。计算距离d xn - m。则输出像素值on由这四个输入像素的加权和决定on h(1d) * i_{m-1} h(d) * i_m h(-1d) * i_{m1} h(-2d) * i_{m2}这里的h(x)就是插值核函数。RSZ支持两种双三次卷积核通常形式为h(x) (a2)|x|^3 - (a3)|x|^2 1, for |x| 1; h(x) a|x|^3 - 5a|x|^2 8a|x| - 4a, for 1|x|2; 其他情况为0。TI的硬件实现中参数a是固定的通常为-0.5或-0.75能产生非常平滑的结果保留更多高频细节。线性插值核在RSZ中线性模式实际上是“3抽头滤波2抽头线性插值”的两级过程。首先对输入数据进行一个可配置增益的低通滤波LPFLPF_g(d) d g * (d_{i-1} - 2*d_i d_{i1}) / 128其中g通过RZi_H_LPF/V_LPF寄存器设置。滤波后的数据再进行标准的2抽头线性插值。这种模式计算更简单但在放大时平滑效果较强可能损失一些锐利度。3.2 关键寄存器配置与计算实例配置RSZ的核心是正确计算并设置一系列寄存器。以下是一个典型的下采样配置流程示例假设输入图像为1920x1080的YUV4:2:2我们需要用RSZ-A引擎输出一个960x540的YUV4:2:2图像即1/2缩小并使用下采样模式以获得更好质量。设置输入裁剪如果不需要裁剪则设置为全图RSZ_SRC_HPS 0(水平起始位置)RSZ_SRC_VPS 0(垂直起始位置)RSZ_SRC_HSZ 1919(水平尺寸 宽度 - 1必须为奇数不对于YUV4:2:2HSZ1必须是偶数1920是偶数所以1919是合法的奇数)RSZ_SRC_VSZ 1079(垂直尺寸 高度 - 1)启用引擎并选择模式RSZ_SRC_EN.EN 1(启动RSZ)RZA_EN 1,RZA_CLK_EN 1(启用RSZ-A引擎和时钟)RZA_MODE设置为下采样模式。配置平均器下采样模式目标缩小2倍。平均器缩小比例为1/2^(k1)其中k是寄存器值。水平/垂直均缩小2倍即1/2^(k1) 1/2k11k0。设置RZA_DWN_AV.H 0(水平平均)设置RZA_DWN_AV.V 0(垂直平均)配置插值器缩放比经过平均器后图像已变为960x540。但我们希望插值器保持1:1输出即不再缩放。缩放比R 256 / N 1N 256。设置水平缩放因子RZA_H_DIF 256(N值)设置垂直缩放因子RZA_V_DIF 256配置相位初始相位p通常设为0表示输出网格与输入网格对齐。对于YUV4:2:2亮度和色度相位需对齐。设置RZA_H_PHS 0,RZA_V_PHS_Y 0,RZA_V_PHS_C 0。重要如果启用了水平平均器且输入是共点cosited的YUV4:2:2即Y和C样本水平位置相同平均操作会改变Y和C的相对相位。此时需要通过RZA_H_PHS_ADJ进行微调补偿具体值需要根据传感器特性和ISP前端配置计算或实验确定。配置输出尺寸与格式设置输出图像尺寸RZA_O_HZ 959(960-1),RZA_O_VZ 539(540-1)。设置输出格式输入是YUV4:2:2输出也是YUV4:2:2且不启用RGB转换。因此RZA_420.YEN0,RZA_420.CEN0,RZA_RGB_EN0。 注意事项寄存器设置的时序与依赖关系许多寄存器之间存在依赖或约束条件。例如必须在引擎禁用RZx_EN0时配置大部分参数配置完成后再启用引擎。RSZ_SRC_FMT1.IN420和RZx_420寄存器需要配合来正确处理YUV4:2:0的两遍处理。配置时务必参考数据手册中的寄存器描述和约束方程如(RZA_DWN_AV.H 1) * (RZA_DWN_AV.V 1) 1920等。4. 内存管理与数据流控制实战RSZ模块与系统内存通过BL模块的交互是其高效工作的另一个关键。这涉及到输出缓冲区的管理、带宽控制以及防溢出机制。4.1 循环缓冲区Circular Buffer配置RSZ的输出数据通过MTC接口写入由BL模块管理的内存中。对于每个输出图像对于YUV4:2:0亮度和色度是两个独立的缓冲区都需要配置一个循环缓冲区。这种设计允许在写入新的一帧数据时覆盖旧的已处理帧数据无需CPU介入重新配置地址非常适合连续的视频流处理。配置一个循环缓冲区需要以下五个参数它们共同定义了内存中的一块区域基线地址BAD缓冲区的绝对起始地址。起始地址SAD当前帧数据开始写入的地址。通常如果你想从缓冲区开头开始写则设置SAD BAD。起始指针PTR_S一个逻辑值表示从基线地址开始的第几条线开始写入。计算公式为PTR_S (SAD - BAD) / OFT。通常从0开始。结束指针PTR_E定义了缓冲区的容量即最多可以容纳多少条线。PTR_E必须大于或等于一帧图像的行数。行偏移OFT缓冲区中两行数据起始地址之间的字节距离。OFT可以大于图像一行的实际字节数这常用于内存对齐如32字节对齐或为DMA等操作预留空间。配置示例假设为RSZ-A的Y分量亮度配置一个缓冲区输出图像为960x540的YUV4:2:2每像素2字节Y和C交替。每行字节数 960 pixels * 2 bytes/pixel 1920 bytes。为了32字节对齐我们设置OFT 1920(假设1920已是32的倍数否则需向上取整)。缓冲区需要容纳至少540行。我们分配600行以提供一些余量PTR_E 600。缓冲区在内存中的起始地址为0xC0000000BAD_H/L 0xC0000000。我们希望新帧从缓冲区开头写入SAD BAD 0xC0000000,PTR_S 0。因此配置RZA_SDR_Y_BAD 0xC0000000,RZA_SDR_Y_SAD 0xC0000000,RZA_SDR_Y_PTR_S 0,RZA_SDR_Y_PTR_E 600,RZA_SDR_Y_OFT 1920。4.2 带宽控制与防溢出机制在实时视频流中内存带宽是宝贵资源。RSZ模块允许你通过RSZ_DMA_RZA和RSZ_DMA_RZB寄存器来平滑其发出的内存写请求的带宽。这个寄存器设置了两个连续DMA请求之间的最小时钟周期间隔。适当增加这个值可以降低瞬时带宽峰值避免与其他模块如编码器、显示器争抢带宽导致系统卡顿但设置过大会降低RSZ本身的吞吐率可能导致输入缓冲区溢出。输入数据缓冲区的防溢出是另一个关键点。RSZ内部有一个三行循环输入缓冲区。当缩放引擎处理速度跟不上输入数据速率时例如进行高倍上采样缓冲区可能会满。模块提供了rsz_stall_input信号当缓冲区数据量超过RSZ_IN_FIFO_CTRL.THRLD_HIGH设定的阈值时该信号会拉高通知前级模块如IPIPE暂停发送数据。直到数据量低于THRLD_LOW阈值该信号才会释放。 实操心得阈值设置与系统稳定性THRLD_HIGH和THRLD_LOW的设置需要权衡。设置得太接近缓冲区容量可能来不及响应就已经溢出设置得太保守又会频繁触发Stall影响流水线效率。一个经验法则是THRLD_HIGH设为缓冲区容量的70%-80%THRLD_LOW设为30%-40%。同时必须确保后端内存带宽、处理速度的性能能够满足RSZ在最坏情况下的输出速率否则Stall信号会一直传递到传感器端导致帧率下降甚至丢帧。在调试时可以监控RSZ_FIFO_OVF溢出中断它是指示系统带宽是否平衡的重要标志。5. 高级功能与性能优化技巧除了基本的缩放功能RSZ模块还提供了一些高级特性用好了能显著提升图像质量或实现特殊效果。5.1 图像翻转Flip与边界像素处理RSZ支持硬件级的水平翻转Horizontal Reversal和垂直翻转Vertical Flip通过RSZ_SEQ.HRVX和RSZ_SEQ.VRVX寄存器控制。这个功能在需要镜像显示或纠正传感器安装方向时非常有用且几乎不增加额外延迟和功耗。边界像素处理是缩放算法中的一个经典问题。在图像边缘可能没有足够的像素例如左上角像素左边和上边没有像素来进行4抽头插值。RSZ模块的处理策略是像素复制Pixel Duplication即用边界像素值填充虚拟的“外部”像素。例如对于左边缘的像素其左边不存在的像素值就用它自己的值来替代。这种处理简单快速但在某些极端缩放情况下可能在边缘产生轻微的不自然感。在要求极高的场合可能需要在前级或后级通过软件进行更复杂的边界填充如镜像、扩展。5.2 数据饱和Saturation/Cliping在缩放和颜色转换后像素值可能超出目标格式的有效范围如YUV的Y分量范围是16-235Cb/Cr是16-240。RSZ模块内置了数据饱和器可以通过RSZ_YUV_Y_MIN/MAX和RSZ_YUV_C_MIN/MAX寄存器设置裁剪范围。务必根据输出格式正确设置这些值。例如输出RGB时通常设为0-255输出标准YUV用于视频编码时则需设为16-235和16-240。不正确的饱和设置会导致颜色失真或对比度异常。5.3 性能优化与功耗管理双引擎负载均衡如果两个引擎都启用尽量让它们的计算负载接近。例如一个引擎做2倍放大另一个做4倍放大比一个做1倍旁通另一个做8倍放大更均衡有助于整体调度和降低峰值功耗。智能使用旁路/直通模式当不需要缩放功能时果断使用旁路或直通模式并关闭相应引擎的时钟RZx_CLK_EN0可以显著降低动态功耗。裁剪优先始终在流水线最前端RSZ的裁剪单元进行有效的图像裁剪。减少需要处理的有效像素数能直接降低后续所有模块包括RSZ自身、后级的编码器、显示器的计算量和内存带宽这是最有效的优化手段之一。相位微调以消除抖动在视频缩放场景中如果输入和输出分辨率不是整数倍关系由于相位累加误差输出图像可能会发生肉眼难以察觉但算法敏感的、周期性的微小抖动。通过细微调整RZx_H_PHS和RZx_V_PHS的值例如每次增减1有时可以找到一个“稳定点”消除这种周期性抖动这对于机器视觉应用尤为重要。6. 常见问题排查与调试实录在实际开发和调试中会遇到各种各样的问题。以下是一些典型问题的排查思路和解决方法。6.1 图像输出异常花屏、错位、颜色错误现象可能原因排查步骤与解决方法输出图像全黑或全白数据饱和器设置错误将所有值裁剪到最小值或最大值。检查RSZ_YUV_Y/C_MIN/MAX寄存器值是否合理。暂时将其设为0和255看图像是否恢复。图像错位或撕裂循环缓冲区参数配置错误导致行地址计算混乱。1. 核对BAD,SAD,OFT,PTR_S,PTR_E的计算公式和赋值。2. 确保OFT大于等于实际每行字节数且内存地址对齐正确通常是32字节边界。3. 检查输出图像尺寸寄存器RZx_O_HZ/VZ是否设置正确尺寸-1。颜色异常偏色1. YUV到RGB转换参数错误或未启用。2. 处理YUV4:2:0时亮度和色度两遍处理的参数不一致。3. 输入数据格式寄存器RSZ_SRC_FMT1设置错误。1. 确认输入是YUV还是RGB并相应设置RZx_RGB_EN。2. 对于YUV4:2:0确保两遍处理的裁剪、缩放比、相位完全一致。3. 用已知正确的简单图像如彩色渐变图测试隔离前端ISP模块的影响。图像边缘有鬼影或重影边界像素处理异常或插值相位初始值p设置不合理。1. 检查是否在缩放比很小大幅缩小时出现尝试启用下采样模式Averager。2. 微调RZx_H_PHS和RZx_V_PHS的值在0-255范围内尝试几个值。3. 对于自定义的插值核如果支持检查核函数系数。6.2 数据流中断与溢出FIFO Overflow现象可能原因排查步骤与解决方法随机丢帧或图像不完整输入缓冲区溢出 (RSZ_FIFO_OVF触发)。1. 检查RSZ_IN_FIFO_CTRL.THRLD_HIGH/LOW设置是否过于激进。2.根本原因通常是后端瓶颈检查RSZ输出带宽是否超限见4.2节公式。3. 检查BL模块到DDR的内存带宽是否被其他高优先级任务占满。4. 降低输入帧率或分辨率看问题是否消失。rsz_stall_input信号频繁拉高输入数据速率持续高于RSZ处理能力。1. 确认缩放比例是否导致输出像素速率超过200MPix/s计算输出速率 输入时钟 * 水平缩放比 * 垂直缩放比。2. 如果有一个引擎在做上采样输入时钟是否超过了限制clk_pix ≤ 200 MHz / (V_upscale * H_upscale)3. 尝试增加RSZ_DMA_RZx的值平滑写入请求虽然可能降低吞吐但能缓解瞬时拥堵。输出图像部分行重复或丢失垂直缩放引擎的输出行数计算逻辑与输入缓冲区管理不同步。1. 检查垂直缩放因子RZx_V_DIF的计算和设置是否正确。确保(256 / N)的精度足够。2. 在调试时可以逐行打印或比较输入行计数和输出行计数看是否匹配预期公式输出行数 ≈ 输入行数 * (256 / RZx_V_DIF)。6.3 调试方法与工具建议寄存器检查清单在启动RSZ前创建一个软件检查函数遍历所有关键寄存器打印其值并与预期值对比。特别是约束条件相关的寄存器如尺寸奇偶性、相位差限制等。使用测试图案不要一开始就用真实场景。使用静态的、已知颜色的测试图案如彩条、棋盘格、渐变图作为输入可以快速定位是几何问题缩放、错位还是颜色问题转换、饱和。分步验证第一步配置为直通模式Bypass/Pass-through验证数据路径是否畅通图像能否无损通过。第二步进行1:1缩放缩放比设为256验证裁剪和基础数据流。第三步进行整数倍缩放如2倍缩小/放大此时没有相位累加误差最容易验证算法正确性。第四步进行非整数倍缩放微调相位观察图像质量。性能剖析利用系统的时间戳或性能计数器测量从传感器帧开始到RSZ输出帧结束的延迟。分析在不同缩放比例、不同工作模式下的功耗和带宽数据为系统优化提供依据。我个人在实际调试中最深刻的体会是RSZ模块虽然功能强大但其稳定性极度依赖于整个ISP流水线乃至整个SoC系统的协同。一个配置完美的RSZ如果后级的内存控制器带宽不足或者前级的传感器驱动发送了非预期的时序都会导致难以排查的问题。因此必须将其放在整个系统数据流的背景下进行调试时刻关注上下游模块的状态和约束。另一个小技巧是对于复杂的多路输出场景可以先用一个引擎工作正常然后再启用第二个引擎这样可以有效隔离问题。