Syntiant 往自己的边缘 AI 软件栈里加入了雷达如果你对这家公司不太熟可能觉得这只是一次普通的产品更新。但放在整个边缘计算的大背景里这件事值得拿出来认真聊一聊——它意味着边缘视觉应用正在从“单摄像头”走向“多传感器融合”而且是在功耗和算力都极度受限的芯片上完成的。我一直在做嵌入式 AI 相关的开发和落地之前接触过 Syntiant 的 NDP 系列神经决策处理器也踩过不少雷达和视觉融合的坑。这篇文章不打算做新闻复述而是从行业实践的角度拆一下Syntiant 为什么要在边缘 AI 软件里加深雷达雷达和视觉融合在技术上到底怎么落地以及如果你也想在低功耗设备上做类似的事应该怎么下手。1. 先弄清楚这件事Syntiant 往边缘 AI 里加雷达图什么1.1 Syntiant 是谁它说的“边缘 AI 软件解决方案”到底指什么Syntiant 是一家做超低功耗神经形态芯片的公司核心产品是 NDPNeural Decision Processor系列比如 NDP101、NDP120 这些。这类芯片的特点很突出功耗极低适合做常开always-on的传感器处理比如语音唤醒词检测、关键词识别、简单的传感器分类。但芯片只是个底座真正把它用起来的是围绕芯片的软件工具链和模型库。Syntiant 所说的“边缘 AI 软件解决方案”通常包括模型转换工具、神经网络编译器、运行时推理库以及针对特定场景预先训练好的模型集合。过去这一整套软件栈主要面向音频应用比如在设备端做唤醒词、声学事件检测。现在往里面加雷达等于把感知模态从“听”扩展到了“看”和“探测”。这件事的行业信号很明显边缘 AI 不能只做单一模态了多模态感知才是 IoT 设备、机器人、智能座舱这些场景真正需要的。1.2 “加雷达”是增量功能还是架构升级从 Syntiant 的软件架构演进来看这次加雷达不是简单地多支持一种传感器而是把整个传感器接入层和融合层做了扩展。雷达数据不像摄像头那样是规则的 RGB 像素矩阵它输出的是一组稀疏的点云或目标列表处理方式完全不同。我个人的判断是这是一次架构层面的调整不是打补丁。原因有三第一雷达数据必须做专门的前处理比如距离维 FFT、多普勒维 FFT、CFAR 检测这些和图像处理完全不沾边第二雷达和视觉的融合需要时间同步、空间对齐这需要软件框架在更底层支持多传感器接入第三决策层需要考虑多模态置信度融合而不是单纯选一个传感器的结果。所以这次更新透露出的技术路线是Syntiant 想做的不是“更好的摄像头识别”而是“在极低功耗下完成多传感器融合感知”。这套逻辑一旦跑通NDP 芯片的应用面会从语音设备扩展到存在检测、跌倒识别、人员计数、非法入侵检测、机器人避障等一大片场景。2. 为什么视觉应用需要雷达单一摄像头撑不住边缘场景2.1 摄像头在边缘场景的三座大山摄像头在视觉应用里当然是最直观的传感器但在真实的边缘环境里它有几个绕不开的硬伤。第一个是光照。白天光线充足的时候人脸识别、人体检测的效果都很好但一到晚上或者室内光线复杂的场景画面质量急剧下降。哪怕有红外补光也会遇到曝光不均、过曝、眩光的问题。对于 24 小时常开的安防设备夜间的视觉效果往往决定产品能不能用。第二个是隐私。在家庭、办公室、酒店卫生间这类场所用户对摄像头的接受度很低。哪怕只是在做存在检测只要“看见”就让人不舒服。很多产品方案为了规避隐私问题只能做本地闭环的图像处理不上云、不存储但这大大增加了芯片端的算力压力。第三个也是最容易被忽略的是对“运动”的描述很弱。摄像头拍到的是一帧帧图像它能告诉你一个物体“现在在哪里”但要精确知道“它以多快的速度朝哪个方向移动”就需要做帧间差分、光流法或者目标跟踪非常耗算力而且在遮挡情况下很容易跟丢。2.2 雷达补上的是哪块拼图毫米波雷达mmWave Radar恰恰在这些方面是摄像头的好搭档。先说光照。雷达主动发射电磁波完全不依赖环境光白天黑夜、强光弱光、雾天烟尘都能稳定工作。这个特性是物理层面决定的不需要任何算法补救。再说隐私。雷达点云不包含纹理信息它记录的是目标的距离、速度、角度和反射强度无法还原人脸或清晰的轮廓。对用户而言雷达就是“看不见的传感器”天然规避了隐私焦虑。这也是为什么很多智能马桶、智能浴室存在检测产品开始用雷达替代摄像头。然后是运动感知。FMCW 雷达本身就能直接测多普勒频移也就是说它天生就知道目标的径向速度。摄像头估算速度要做一长串计算雷达直接读参数就行。而且在无遮挡的情况下雷达可以穿透衣物、薄板、塑料外壳检测到人体微动比如呼吸——这是摄像头做不到的。2.3 融合不是堆硬件是产出更稳的感知结果把雷达和摄像头放一起不只是多了一个传感器而是让两个传感器的输出可以互相校验、互相弥补。我举一个很常见的场景室内跌倒检测。摄像机在逆光、遮挡或者人睡在沙发后面时很难判断一个人是不是真的跌倒了。而雷达点云的角度分辨率和距离分辨率都不够高但非常擅长检测“突然发生的快速运动”和“之后长时间的静止”。如果两个模态融合摄像头确认“有人”雷达确认“发生了跌倒动作且之后没有恢复”置信度就完全不一样了。单一模态很容易漏报融合之后误报率和漏报率都能压下来。这正是 Syntiant 在边缘 AI 软件里推进雷达支持的底层逻辑。他们不是把雷达当成一个新的传感器而是把“雷达视觉”当成一套完整的感知方案来支持。3. 边缘 AI 上雷达的核心原理FMCW 毫米波雷达是怎么工作的3.1 FMCW 雷达从发射到产出的完整数据链路想理解雷达怎么跟 AI 融合先得知道雷达输出什么。目前边缘设备上用的主流方案是 FMCW调频连续波雷达。网上很多人搜“TI Radar 原理”其实就是在搜 TI 毫米波雷达芯片的 FMCW 原理这是行业内学雷达入门的标配。FMCW 雷达的发射信号是频率随时间线性变化的连续波通常称为 chirp。发射信号遇到目标反射回来接收端会把发射信号和回波信号做混频得到一个中频信号。这个中频信号的频率正比于目标的距离所以对中频信号做一次 FFT就能算出距离。一个 chirp 经过距离 FFT 后每一个距离单元上的相位变化反映了目标在该方向上的径向速度。对多个 chirp 再做一次 FFT也就是多普勒 FFT就能得到速度。如果再有多根接收天线天线之间的相位差就能用来估计到达角Angle of Arrival对应目标的水平角度。经过这一整套流程雷达输出的就是一张稀疏点云每个点带距离、速度、角度、反射强度四个属性。这就和摄像头的像素矩阵完全不同了后面的 AI 处理思路也要跟着换。3.2 雷达点云与视觉特征的本质差异雷达点云和图像特征之间的差异直接决定了融合策略和技术选型。图像是稠密的、规则的、描述纹理的。张图片里每一个像素都有颜色空间布局唯一便于用 CNN 提取丰富的语义特征。雷达点云是稀疏的、不规则的、描述运动的。点云数量跟场景的反射面数量有关墙、地面、桌椅都会产生反射点目标可能在点云里只是几个孤立的点。正因为这个差异雷达无法做语义识别它看不清是人还是椅子但它擅长几何感知和运动感知。所以在融合设计里合理的分工是摄像头负责“是什么”雷达负责“在哪、多快、动了没有”。另外要注意的是雷达的反射点不完全来自真实目标地板、天花板、墙角、金属物体都可能产生大量杂波。做雷达点云处理时第一步永远是预处理和过滤直接拿原始点云喂给模型效果会很差。3.3 低功耗平台上处理雷达数据的算力预算很多人忽略一个问题处理雷达数据本身也是要算力的。FMCW 雷达开发套件在电脑上处理点云没什么压力但在 NDP 这种面向 always-on 场景的芯片上算力预算必须精打细算。我实测过一些方案一颗低功耗的 MCU 主频 100MHz 左右跑 64 点 FFT 的距离维处理还勉强但要实时做多帧 CFAR 检测加点云聚类就非常吃力了。所以行业里更合理的分工是利用雷达芯片自带的 DSP 做 FFT 和 CFAR输出已经压缩过的点云数据主控芯片不管是 MCU、DSP 还是 NPU只负责对点云做目标聚类、跟踪以及与视觉特征做融合推理。Syntiant 加雷达的软件方案大概率也走这条路雷达硬件负责底层信号处理NDP 的神经元网络负责点云分类和融合决策。这样的分工下雷达处理新增的算力开销可以控制在很小的范围内整体系统才可能在毫瓦级功耗下跑起来。4. 雷达视觉融合的落地架构从数据到决策分层处理4.1 融合的三个层级数据级、特征级、决策级雷达和视觉融合不是一个“放一起就行”的事从技术链路看一般分三个层级。数据级融合把雷达点云和图像像素直接对齐生成多通道的“雷达增强图像”比如在图像的每个像素位置叠加速度和距离信息。这种融合信息损失最小但数据量最大对算力要求最高边缘设备基本扛不住。特征级融合摄像头跑目标检测模型输出目标框和语义标签雷达跑点云聚类和跟踪输出目标的运动参数。然后把这些特征拼接在一起输入一个融合网络做综合判断。这个层级的计算量相对可控也是目前工业界的主流做法。决策级融合两个传感器各自独立跑完推理给出判断结果最后由融合规则比如投票、加权、或逻辑决定最终输出。这种最省算力但信息利用效率最低适合做比较简单的存在检测、入侵检测。Syntiant 的 NDP 芯片算力有限软件栈支持大数据量图像和点云的自由拼接不现实。从架构合理性来看特征级或决策级融合是更可能采用的方案摄像头出的视觉模型在 NDP 上跑雷达点云经过轻量化预处理后参加融合最终输出检测结果。4.2 时间同步与空间对齐两个最容易被忽视的环节雷达和视觉融合最坑的两个环节是时间同步和空间对齐。很多原型项目在这儿翻车检测不出来输入参数没问题后来查来查去还是时间和空间没对好。时间同步上摄像头一般 25fps 或 30fps 工作雷达的帧率可以配置但两者通常不会有天然的帧对齐。如果雷达检测到目标在 t 时刻的点拿到的摄像头图像是 t100ms 的目标已经移动了一段距离。对高速运动的目标比如车辆、跑步的人哪怕是几十毫秒的时间误差都会造成位置匹配错位。一般需要通过硬件触发或软件时间戳对齐来解决至少要把同步误差压在 50ms 以内。空间对齐上雷达坐标系和摄像头坐标系是两个完全不同的坐标系需要标定。摄像头的图像坐标系是像素平面雷达的坐标系是三维空间内的球面或直角坐标。要让雷达点云映射到图像的像素位置需要知道雷达相对摄像头的安装位置、朝向并结合摄像头的内参做投影。这一步骤如果用不好融合模型的效果一定打折扣。我的经验是先静态标定摆放位置固定后一次性求出旋转矩阵和平移向量动态使用时尽量不要调整传感器相对位姿一旦动了就要重新标定。4.3 边缘 AI 软件栈里的角色分配在 Syntiant 这种超低功耗平台上软件栈的设计必须把“谁干什么”分得非常清楚。雷达前端FMCW 雷达的 ADC 采样、距离 FFT、多普勒 FFT、角度估计甚至 CFAR 检测尽量在雷达芯片内部或专属 DSP 上完成把点云输出给主控。视觉前端摄像头图像接入 NPU运行目标检测、语义分割或人体关键点模型输出目标框和类别。融合推理在 NDP 或低功耗 CPU 上跑一个轻量级融合模型输入是视觉目标框和雷达点云的统计特征输出最终的应用层判决。应用决策根据融合结果触发后续动作比如提醒、告警、上报、控制。如果没有清楚的软件分层写代码的时候就会发现各种传感器数据挤在一起互相干扰推理时延一上来整个系统就废。5. 实操视角从零搭一个雷达视觉的边缘感知原型5.1 第一步选型不是随便拿一块雷达板就能用如果你也想在边缘设备上复现“雷达视觉”方案选型是第一步。雷达芯片可以从 TI 的毫米波系列入手这是开发者社区资料最全的网上能查到大量参考设计各种“TI Radar 原理”的帖子是入门参考资料。Vayyar、Acconeer 的超宽带雷达也是常见选择特点是单芯片集成了处理能力接口友好适合快速原型。摄像头部分如果对功耗敏感优先选低分辨率全局快门摄像头比如 OV5640、OV9281 这些常用于嵌入式视觉的模组。分辨率不用太高640x480 或 320x240 足够边缘场景使用还能降低 NPU 推理负载。主控芯片的选型要考虑有没有 NPU、支持哪些模型格式、内存是否够用。Syntiant NDP 系列当然是选项之一但在国内不好拿开发板可以先从带 NPU 的 MCU 平台比如瑞萨、NXP、ST 的部分型号或功耗稍高一点的边缘 SoC 上验证算法再迁移过去。5.2 第二步数据采集和预处理雷达点云采集的第一条铁律原始点云必须过滤否则后续一切白做。我常用的预处理流程是先去掉近距离静态杂波。把静止背景点云建立模型每一帧把与背景距离接近的点直接丢弃。然后做强度过滤反射强度极低的多半是噪声直接砍掉。最后做密度过滤孤立点大概率不是真目标周边没有相邻点的直接删除。摄像头这边需要做的预处理相对简单调整曝光、白平衡输入网络前做 resize 和归一化。需要注意的是摄像头帧率和雷达帧率尽量匹配如果不匹配就在融合输入里加一个时间戳字段由后续程序做时序对齐。数据采集时一定要覆盖不同的环境条件白天、黑夜、强光、逆光、室内、室外、人员多、人员少、静止、运动。数据多样性不足融合模型很容易过拟合到某个特定环境里。5.3 第三步融合模型怎么搭怎么部署融合模型的设计要视输出目标而定。如果做存在检测一个足够简单的方案雷达负责检测“有没有运动目标”摄像头负责检测“有没有人”两者做加权决策。这种情况下不需要真正的神经网络融合一个规则引擎就够。如果做人员跟踪或跌倒检测特征级融合更合适。摄像头用目标检测模型输出人体框雷达用聚类算法生成目标点云簇然后把这些信息映射到同一个空间坐标系中。接下来用目标匹配算法比如匈牙利匹配把雷达目标和视觉目标关联起来再输入到分类器判断状态。如果做更细粒度的动作识别则可以考虑端到端融合模型把视觉特征图和雷达点云特征图在通道维度拼接再用卷积或注意力机制做融合分类。这种方式效果最好但训练数据要成对采集模型体积和算力需求也更高。部署阶段边缘设备的模型格式转换通常是个麻烦事。如果主控是 NDP模型可能需要量化到 8bit 甚至 1bit 再用编译器转换。Syntiant 的软件工具链支持把训练好的模型比如 PyTorch、TensorFlow转成 NDP 上可运行的格式但转换过程需要检查算子支持情况遇到不支持的算子就得改写模型结构。5.4 第四步调优从“能跑”到“能商用”原型能跑通到商用还有很长一段路。我最常做的调优动作第一调节雷达的检测阈值CFAR 的虚警率和漏警率往往互相制约需要通过实验找到平衡点而不是用默认参数第二调节融合权重决策级融合中摄像头和雷达的置信度权重不能一成不变最好根据场景动态调整比如光照变差时降低图像权重、提高雷达权重第三做长时间稳定性测试连续跑一两个星期观察内存泄漏、模型漂移、点云漂移的问题。以我现在常用的方案为例我先在 TI 毫米波雷达开发板上采集不同场景的数据做离线数据集然后在 PC 上训练融合模型再用 Syntiant 的模型工具链量化转换最后部署到低功耗主控上。整个过程跑下来大概两到三周能出第一个可演示原型再花两三周做稳定性和场景覆盖调优。6. 哪些场景能最先受益存在检测、跌倒识别、隐私敏感区域监控6.1 智能家居与楼宇自动化是最大增量市场Syntiant 加雷达最直接的受益场景就是智能家居。过去一个房间做存在检测用 PIR 人体红外传感器只能感知大动作人静坐十分钟PIR 就判定“无人”灯自动关了空调自动设定了回音很烦。视觉方案不被用户接受隐私问题被反复质疑。雷达视觉融合可以解决这个问题雷达捕捉微动和呼吸摄像头特判语义是人还是宠物两者结合既能实现“人坐着不动也保持有人”又能区分人、猫、狗而且隐私敏感度远低于纯摄像头方案。楼宇自动化里的会议室占用检测、卫生间占用检测、走廊人员计数都是这一类逻辑。融合方案带来的误报率下降直接关系到设备的用户体验和口碑省下的是客服成本。6.2 舱内感知从驾驶监控到乘客感知汽车座舱是另一个典型场景。舱内摄像头做驾驶员疲劳检测已经成为法规要求的一部分但它叠加了一个问题晚上开长途摄像头视野受限而且驾驶员戴墨镜、戴口罩时关键点检测效果下降。雷达的加入帮助很大。舱内雷达可以探测驾驶员的头部姿态、躯干微动甚至呼吸频率这些信息在光线很差的情况下依然稳定。摄像头负责高语义量的面部特征雷达负责低语义但高鲁棒性的运动状态和生理信号两者融合后疲劳检测的可靠性明显提升。类似逻辑也适用于儿童存在检测CPD很多国家法规要求汽车熄火上锁后必须检测后座是否有儿童被遗忘。摄像头在低光照时很难工作雷达可以通过微动和呼吸检测儿童的存在这是目前量产车里已经在落地的技术。6.3 零售与公共空间人员统计和轨迹跟踪零售场景里摄像头做顾客轨迹跟踪已经用了很多年但同样有光照、遮挡、隐私这些问题。雷达视觉融合能做的是用摄像头区分“这是一个顾客”和“这是一个购物车”用雷达跟踪顾客的运动速度和排队等待时间。在公共空间比如地铁站、枢纽空间、商场雷达可以在不记录脸部信息的情况下做人群密度估计和异常行为检测比如突然奔跑、长时间静止。这种方案在隐私合规方面有天然优势因为雷达点云无法重建人脸和身份信息。对做产品的人来讲这些场景的共同特点是需求稳定、频率高、付费意愿明确比“纯技术展示”更容易落地成生意。7. 踩过的坑和排查技巧雷达点云噪声、目标跟踪丢失、功耗失衡7.1 雷达点云的噪声问题什么时候最容易翻车做雷达应用点云噪声是绕不开的第一个坑。我踩过最深的一次在一间开着吊扇的房间里做存在检测雷达点云里全是风扇叶片的高速反射点聚类算法一度把风扇当成人持续输出“有人”信号。排查思路先区分是静态杂波还是动态杂波。风扇属于动态杂波速度维的信息很有特征直接通过速度阈值过滤即可但如果是金属墙面、玻璃窗带来的静态杂波需要建背景模型来滤除。还有一种情况是温度漂移导致雷达的基线噪声上移点云突然数量暴增这时需要考虑在固件里定期做噪声校准。7.2 多目标跟踪丢失是融合系统最扎手的难题单个目标的时候雷达和视觉匹配都很容易。两个人在镜头前交叉走过跟踪 ID 往往就会互换或丢失。核心原因是雷达点云稀疏两个人的点云簇如果距离近聚类就会把两个人并成一个目标此时视觉目标框也发生重叠匹配算法经常错配。解决的办法有几类一是提高雷达角度分辨率用更多天线但这会增加成本二是改跟踪算法从简单的匈牙利匹配升级到卡尔曼滤波加置信度评分抑制 ID 跳变三是在融合层引入“目标形状”特征比如目标框宽高比、点云尺寸作为关联时的辅助判断。三个手段综合用效果最好。7.3 功耗失衡别让系统在“常开”这件事上翻车超低功耗平台最核心的指标是整机功耗而不只是芯片功耗。我见过一个原型系统芯片标称 1mW 以下的待机功耗但外挂的雷达模组加上摄像头偶尔全速工作平均功耗直接飙到瓦级整个系统根本没法用电池供电。排查技巧建立功耗台账。把所有传感器的数据流跑起来分开测待机功耗、感知功耗、推理功耗、通信功耗找到真正的耗电大头。对于 always-on 应用通常要做到动态降频没有目标时雷达可以低频扫描比如 1fps摄像头完全关闭检测到目标后系统“唤醒”摄像头和主控 NPU进入全速工作状态。这样的事件驱动架构经常能把平均功耗压低一个数量级。常见问题速查表现象可能原因排查方向雷达点云大量杂波动态遮拦物、温度漂移增加速度过滤、定期噪声校准摄像头检测漏检低光、逆光、遮挡降低图像置信度权重提高雷达权重目标ID跳变点云聚类合并、目标框重叠升级跟踪器引入目标形状特征系统功耗过高所有模块一直全速工作事件驱动架构按需唤醒融合后误报率不降反升时间/空间没有对齐检查时间戳和坐标标定最后再分享一个小经验如果你现在刚开始接触雷达和视觉融合我建议不要一上来就追求复杂的端到端模型。先用“雷达做存在检测摄像头做人形确认”这种最简单的决策级融合把它跑通积累一套自己的数据采集、时间对齐和标定流程再逐步向特征级融合进阶。这套流程稳定之后你会发现多模态融合并没有想象中那么玄真正难的永远是数据的质量和对齐的细节。Syntiant 这一次把雷达引入边缘 AI 软件栈本质上也是在整个行业里推了一把让更多人意识到边缘感知不是某一种传感器的独角戏而是多种传感器协作的系统工程。