使用openvino加速resnet50在VOC2007上的推斷結果

平臺是win10，cpu是Intel® Core™ i5-8300H CPU @ 2.30GHz(一共4核，在這裏分配了最多3核做推斷)，工具是openvino的DL Workbench。 下圖的點從左至右的batch_size依次爲1、16、32、48和64。 這是cpu核數爲1時的推斷結果圖。 可以看出，隨着batch_size的增加，延遲和fps均增加，直到在某個值後，fps不再增加，僅延遲

>>阅读原文<<