在上一篇「OpenVINO 2022大改版讓Edge AI玩出新花樣」[1]中，在最後一小節「5. Preprocessing API」已幫大家簡單提到一些重點。本篇文章將更進一步介紹其應用程式介面(Application Programming Interface, API)基本原理和使用方式，並簡單比較和傳統使用OpenCV進行影像處理方式的差異及如何提升運作效率，讓大家後續使用OpenVINO運行影像類邊緣智能應用時能更有效率。接下來分別從如何「安裝工作環境」、「影像前處理」、「推論後處理」及「新舊版本比較」等幾大面向為大家作更完整說明。
 |
| source : Intel OpenVINO Document |
最近剛好在實驗在Win10環境下，若不使用C/C++，不安裝Intel OpenVINO 2022.1 Windows標準版安裝程式(w_openvino_toolkit_p_2022.1.0.643_offline.exe)[1]是否可以只安裝Python開發環境？先說結論，可以，但有坑要填。以下就讓我慢慢道來。
一般採用深度學習(Deep Learning, DL)方式的人工智慧(Artificial intelligence, AI)應用，在開發時須經過資料收集標註、模型選用訓練及最後部署到指定硬體進行推論工作。在訓練模型參數過程需經過數千到數萬次的推論才能使得參數最後收歛到足夠高的推論精度，而這項工作是須要耗費大量算力，所以通常會選用算力較高的硬體裝置（如GPU, TPU, FPGA）來完成。當完成訓練後，推論只需執行一次便可得到結果，明顯可看出算力需求的差異。若推論時仍採用訓練時的裝置，雖可得到極佳的推論效能及無痛移轉部署，但所需的硬體成本也會連帶提升數十到數百倍，更不要說硬體裝置龐大的體積及功耗，所以很難適用到大部份的邊緣智能(Edge AI)應用。通常邊緣智能應用有獨立性（不連網）、低延時、高隱私、低成本、低功耗及大量部署的特性，換句話說，其硬體效能可能就像腳踏車、機車，遠遠不如訓練模型用有如高鐵甚至飛機般高效能的硬體。因此如何將訓練好的模型經過適當的優化、減量及部署到不同的可推論硬體裝置就變成另一項重要課題。