
28 统一推理接口:让RT-DETR在TensorRT/ONNX/OpenVINO间无缝切换老张上周找到我,说他在客户现场遇到了一个棘手的问题。客户要求模型必须同时支持NVIDIA显卡和Intel CPU两种环境——显卡上跑TensorRT,CPU上跑OpenVINO。但问题是,他给客户交付的推理代码,在TensorRT上识别准确率95%,换到OpenVINO就掉到了88%。更崩溃的是,预处理和后处理的代码在两个引擎里是分开写的,一个改了另一个忘了同步,结果客户现场跑出来的结果对不上。“我总不能给每个引擎都维护一套推理代码吧?”老张一脸无奈。我拍拍他肩膀:“你这不是技术问题,是架构问题。今天我就带你用策略模式,给RT-DETR造一个统一推理接口,让TensorRT、ONNX Runtime、OpenVINO这些引擎像换电池一样随便换,而且保证结果一致。”痛点拆解:为什么你的多引擎推理代码总出问题?大多数人在写多引擎推理时,会犯以下三个错误:错误1:预处理逻辑散落在各处# 常见错误:每个引擎单独写预处理deftensorrt_infer