許哲豪(Jack Hsu), 2024/3/16
Fig. 1 電影看板畫師─顏振發。[影像來源]
相信光看主題就會引來一番論戰，這裡只是個人有感而發，大家可以一起平心靜氣的聊聊。
最近新聞媒體一直在鼓吹「生成式AI」能快速產出各種文字、圖像甚至影片，從此藝術創作者可能就會面臨大量失業潮。這不禁讓我想起十多年前個人曾在電腦補習班教「Illustrator」數位繪圖，有次來了一位近三十的女生，上課時僅教授一些工具使用方式，沒一會兒就能比其它年輕的同學更能掌握，並快速畫出職業水準的內容。趁著課間休息時一問才知，她是傳統手繪插畫家，想換工作，但都被要求要數位創作，所以不得已才來惡補一下工作技能。幸運的是，不久後就如願轉職到期望的公司，但這不是因她很會用繪位繪圖工具，而是她創作的能力得以透過適當的工具展現出來並被認可。
Intel OpenVINO[1] 從2018年5月發行至今已更新20多個版次，目前最新版次為 2023.3 LTS。期間有很多重大革新，這也讓很多不錯的功能可能消失或以其它方式出現。如2021.4版後開始提供Jupyter Notebook (Python) 格式範例讓大家更容易學習。2023.0版後開始提供 Google Colab 格式的範例，讓大家免本地安裝可直接在雲端體驗 OpenVINO。不過也有像 Open Model Zoo (OMZ)[2] 之類方便學習、測試各種預訓練模型的項目及相關工具被移出。主要是因為自2023.1版後開始支援直接讀取更多框架模型及神經網路壓縮架構(Neural Network Compression Framework, NNCF)取代原有模型優化器(Model Optimizer, MO)。
目前 OpenVINO Notebooks[3] 範例編號101~128提供了各種常見框架轉成OpenVINO專屬 IR（XML+BIN） 格式的範例，如TensorFlow, PyTorch, PaddlePaddel 等，甚至 Hugging Face 格式。當然這裡也包含了OMZ的轉換範例（104-model-tools）。不過這個範例比較適合單獨運行、預先轉檔工作，當想像以往 OMZ Demos 下的應用範例，要整合轉檔加執行時，就會遇到一些小麻煩。
雖然這些OMZ的範例已被淡出，但如果大家想直接在 Google Colab 上直接運行時，這篇文章應該可以給大家一些幫助。以下就以OMZ 影像分類(Classification) Public Pre-Trained Models[4]為例，說明如何以 Colab 完成直接運行。
本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。
2012年深度學習開啟了新的人工智慧浪潮，CNN, RNN, GAN, SNN等技術讓人充份感受到AI的實用性，開始大量引入日常生活中。2022年底OpenAI以ChatGPT帶動了大型語言模型(LLM)及生成式AI（GenAI, AIGC）的重大革新，讓全世界都瘋狂投入。2024年2月台大電機李宏毅老師開設了「生成式AI導論」，一口氣線上加線下來了二千多位同學，不分科系共同參與，其熱門程度不輸明星演唱會。
台大電機李宏毅老師「生成式AI導論」上課影像。[影像來源]
不過在「邊緣智慧裝置」可能就不太受重視了，就像馬路上超跑總是吸引大家的目光，瘋狂追捧，而自行車和機車雖然實用，卻只有少數廠商願意投入，因為有限的硬體算力、運行功耗、產品單價及太過專業跨域的知識、開發工具，加上未來就業市場的影響，自然教育單位就很少老師及學生願意投入。
三年前個人受恩師推薦，有幸在台科大資工系產碩專班連續三年開設「人工智慧與邊緣運算實務」。隨著學程的結束，本來以為應該不會再幫大家上課，但最近受到一百多位網友的「+1」號召，於是起心動念，決定免費開設YOUTUBE直播課程，幫大家建立基礎知識，希望能藉此推廣相關技術，滿足台灣在這個領域不足的地方。
作者：Jack OmniXRI, 2024/02/15
一年一度的消費性電子展(CES 2024)[1]已於2024/1/12正式落幕，今年吸引了超過4300家的廠商參展，一掃先前因疫情帶來的冷清。此次台灣也不落人後，有超過180家共襄盛舉，包括國科會帶領由96組團隊所組成的台灣國家代表隊，充份展現出台灣的科技實力與新創團隊的活力，正好符合今年CES的主軸：人工智慧、數位健康、永續發展、汽車科技、遊戲與電子競技、擴增/虛擬實境、智慧城市、智慧家居等領域最新技術。
為了讓大家更了解在邊緣智慧(Edge AI)和微型機器學習(TinyML / MCU AI)的最新趨勢，以下就簡單盤點了一下此次四十多項較具代表性的產品讓大家認識一下。
有在玩單晶片(MCU)的朋友們應該都知道Arm Cortex-M系列吧！近年來AI當道，自然也有很多人想用MCU來玩微型AI應用，於是「TinyML」開始成為大家關注的重點。目前有太多廠商使用Arm Cortex-M IP開發成各式各樣的MCU，所以硬體介面不統一變成開發者的一大麻煩，只要一換廠牌、封裝方式甚至升降階（如M3降成M0,或升成M7）都需重新撰寫韌體(firmware)。
Arm為了讓開發者抽離硬體相依性於是推出硬體抽象層(Hardware Abstraction Layer, HAL)的概念，提供通用微控制器軟體介面標準(Common Microcontroller Software Interface Standard, 簡稱CMSIS)。其中DSP和NN模組又成了MCU AI最重要的核心函式庫，方便如 Google TensorFlow Lite (TFL), TensorFlow Lite for Microcontroller (TFLM) 等上階AI開發框架進行呼叫及執行。
Arm CMSIS在2016年底推出5.0.0版[1]後已有許久未大改版，去(2023)年12月18日推出最新版的CMSIS 6.0.0版[2]，將原有一大包的架構分拆成個別模組，除更輕量化外，同時更方便未來獨立呼叫及更新。此次將DSP[3], NN[4], Driver 等模組獨立出來，廢除RTOS改用RTOS2，更有利AI應用的開發及升級，其它更多變動可參考官方說明。[5]
2012年 Alex Krizhevsky 以卷積神經網路(CNN)贏下 ImageNet 比賽後，從此開啟AI新世代浪朝。2022年底Open AI推出ChatGPT 3.5後開啟大型語言模型(LLM)和生成式AI(GenAI / AIGC)新一波的革命。許多人想要學習這些技術卻不知從何下手，許多補習班應運而生，且收費不低，讓人覺得好像不學一下就會被時代淘汰。好在現在自媒體興盛，也有許多老師也願意供獻所學，於是專門以AI為主題的影音頻道創作者開始多了起來。為了讓大家學習上更容易入門，接下來就簡單幫大家盤點一下機器學習、人工智慧、深度學習、自然語言、強化學習、智慧生成等領域有哪些精彩的創作者及教學內容。此次收錄內容較偏理論教學，而那些較偏AI實作的內容就留待下次再行整理。
(以下依Youtube觀看次數排名)
作者：Jack OmniXRI, 2024/01/15
講到AI相信大家第一時間多半是聯想到大型語言模型(LLM)和生成式AI(genAI, AIGC)應用，可以對話聊天、查詢資料、生成文章圖像和音樂，而這些應用多半需要用到極大的雲端算力才能完成。對於微型AI應用，如語音喚醒（語音命令）、異常偵測（振動、異音、環境感測器）、運動偵測（手勢、跌倒）、影像分類、影像物件偵測、影像姿態偵測（全身、手指）等，通常可利用單晶片(MCU)或微處理器(MPU)配合較小的AI模型就有機會辦到邊緣（離網）就完成推論工作。
在「MCU攜手NPU讓tinyML邁向新里程碑」[1]一文中提到，AI推論主要都是在進行巨量的矩陣乘加運算(MAC)，就是「a×b+c」。而加速計算方式可使用「提高工作時脈速度」、「平行/向量指令集加速」、「多核心加速」、「NPU神經網路加速器」等硬體加速作法。而一般單晶片在單核CPU的情況下，最容易達成的作法就是前兩項，而本文將從「平行/向量指令集加速」的角度來為大家說明如何在沒有神經網路加速器NPU時也能順利玩微型AI應用。
