OpenVINO模型部署的五种加速策略

OpenVINO2025已经支持多种方式的模型加速部署方式，这里以OpenVINO2025 + NNCF为例，基于C++代码YOLO11 推理，对比五种方法运行速度，硬件都是基于：

CPU 酷睿i7 + Iris(R) X图形卡

推理速度对比如下

图片

测试比较截图如下：

图片

INT8量化以后

图片

异步流水线

图片

异步回调流水线

图片

异步队列模式

图片

开启 Iris(R) 集显 异步队列模式

图片

OpenVINO2025