【課程簡報】20230331—宜蘭資工─Edge AI瘦身大作戰─如何完成深度學習模型優化及加速推論

很高興今天(2023/03/31)受到宜蘭大學資工系黃朝曦老師邀約，和同學們分享「Edge AI瘦身大作戰─如何完成深度學習模型優化及加速推論」這個主題，此次內容包括下列重點。

1. 深度學習模型的演進
2. 主要計算量分析
3. 模型加速計算方式
4. 模型減量及壓縮技術
5. 常見模型優化工具簡介
6. TinyML微型AI應用開發

（點擊圖片放大）

如何在Intel DevCloud中執行OpenVINO Notebooks範例

Intel OpenVINO在2021.4版後開始提供很多現成完整Jupyter Notebook格式(*.ipynb)的範例程式，在官方說明文件稱之為「Tutorials」[1]，同時在Github上開源[2]，可於多種平台上運行，包括Windows, Ubuntu, macOS ...，對於初學者學習OpenVINO有很大的幫助。

不過目前這些範例並不方便在Google Colab環境下運行，若想在雲端體驗則要靠Intel DevCloud (類似Google Colab環境) 來運行，這個環境已預安裝好OpenVINO（版本可自由切換）很方便進行Python程式開發及執行。不過預設啟動後，只會看到內建的一些範例[3]，並不會看到OpenVINO Notebooks的範例。接下來就簡單說明要如何在DevCloud下運行OpenVINO Notebooks。

如Fig. 1所示，進入DevCloud後，先切換到終端機環境。執行下列指令，下載Notebooks範例到DevCloud提供的雲端硬碟區，這裡和Google Colab提供的服務方式不同，登出後仍會保留，下次進來就可直接使用不需再重新下載。

git clone --depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git

完成下載後，會在左邊檔案清單中看到新增了一個「openvino_notebooks」的路徑，點進去後會看到「notebooks」的路徑，再進去後就可看到數十個檔案夾，就是Tutorials的範例。隨便點一個進去，如「001-hello-world」，再雙擊「001-hello-world.ipynb」就會載入範例原始碼。按下選單上快捷鍵「雙鍵頭」就能全部運行了。

這裡通常會建議選用OpenVINO 2022.3版執行，但若要測試較舊的版本，官方是建議不要低於2021.4 LTS，以免範例無法順利運行。

Fig. 1 Intel DevCloud下載及執行OpenVINO Notebooks範例流程圖。(OmniXRI整理製作, 2023/03/28) 

更多範例的操作說明可參閱官方說明文件[1]。

 參考文獻

[1] Intel OpenVINO Document - Tutorials https://docs.openvino.ai/latest/tutorials.html

[2] Intel OpenVINO Toolkit Github - openvino_notebooks https://github.com/openvinotoolkit/openvino_notebooks

[3] Intel DevCloud - Sample Applications https://www.intel.com/content/www/us/en/developer/tools/devcloud/edge/build/sample-apps.html 

【課程簡報】20220327_Raspberry Pi社聚#36_如何使用TinyML來玩電腦視覺

很高興今天(2023/3/27)受邀擔任「Raspberry Pi 社群聚會#36 - 當Raspberry Pi Pico遇上tinyML」的講者，分享「如何使用TinyML來玩電腦視覺」這個主題。這個主題不久前(2023/3/10)剛在「Digitimes D Forum 嵌入式系統開發應用論壇」上發表過， 所以今天就以上次簡報做為基底，以不同簡報方式和大家分享，希望大家能有所收獲。以下就是本次簡報內容。

 

【vMaker Edge AI專欄 #03 】 AI晶片發展歷史及最新趨勢

想要玩邊緣智慧(Edge Artificial Intelligence, Edge AI)前我們首先要先認識什麼是類神經網路(Neural Network, NN)、深度學習(Deep Learning, DL)及為什麼需要使用AI晶片，而AI晶片又有那些常見分類及未來可能發展方向。接下來就逐一為大家介紹不同類型的AI晶片用途及優缺點。

【課程簡報】20230310—DForum_嵌入式系統開發應用論壇_MCU如何結合NPU實現TinyML微型化電腦視覺

很高興今天(2023/03/10)受DIGITIMES D Forum 「嵌入式系統開發應用」邀約擔任講者，分享「MCU如何結合NPU實現TinyML微型化電腦視覺」這個主題。相關簡報內容如下所示。