很高與昨天(2019/10/24)和許多朋友一起參加「【OpenVINO™技術論壇】Edge AI應用落地與開發實務」活動，聽到許多技術及實例分享，感覺收獲良多。其中Intel英特爾物聯網事業群平台研發經理王宗業經理分享的「Intel OpenVINO Toolkit 技術特色與實例」更是點出OpenVINO最新版本功能及未來發展方向，讓使用者能更簡單使用且擁有更多彈性，讓人眼睛一亮，因此藉這個機會把重點摘要一下方便大家學習。
Intel目前對OpenVINO的發展相當重視，所以幾乎一季就更新一次，且自2018 R5版本就有大幅更新，新的線上文件則更變得容易查找，最新版本已到了2019 R3版本，如果還在使用2018版本的建議可以更新一下。以下就簡單摘要主要更新項目。
1. 原支援CPU第六代到第九代，目前已可支援第十代。
2. 作業系統除原Windows, Linux外，目前更推進到macOS 10.4版，Linux也從16.04更新到18.04。
3. CPU除可支援原有的SSE/AVX2/AVX512指令集外，更新增支援第十代VNNI指令集，而原只能支援FP32格式計算而擴增到FP16格式，若再搭配其校正工具，還可以支援整數(INT8)格式運算，大大提昇運算速度。
4. 另外在Linux上新增Docker及APT方式安裝，大大簡化安裝程序。
5. 執行(佈署)平台上除原有CPU, GPU, FPGA, VPU外更新增HDDL(多VPU)、GNA及異質元件非同步計算功能，可充份利用所有可計算資源，提升計算能力。
6. 增加許多語音應用的模型，如vision networks with support of LSTM, Bert, GNMT, TDNN LSTM, ESPNet等。
7. 開始支援部份BIN格式模式，如人臉、行人、車輛偵測等。
8. 2018 R5版後推論引擎(IE) CPU部份由OpenMP改為TBB平行加速函式庫計算。
9. 自2019 R2後加強多裝置(MULTI)同時計算功能，如CPU+GPU,多VPU,HDDL+GPU等。
10. 提供benchmark_app範例程式，使其更容易了解硬體運作效能方便使用者調整參數。
11. 新增Workbench工具，方便使用者以圖形化介面了解模型運作狀況。
12. 除自身提供的範例程式(\samples)外，另外提供很多第三方應用範例(\demos)及各種常用預訓練好的模型(Pre-trained Model / Model Zoo)方便使用者開發應用實例。
另外目前OpenVINO只能提供推論功能而無法處理訓練問題，這個部份明年度會推出相關配套(Machine Learning Suite)，就只能再多等等了。
更多不同版本差異可以參考Intel OpenVINO官網線上文件
http://docs.openvinotoolkit.org/latest/
更多開放預訓練模型可參考OpenCV官網Github下OpenVINO OpenModel Zoo
https://github.com/opencv/open_model_zoo
沒有留言:
張貼留言