OmniXRI's Edge AI & TinyML 小學堂 【第0講】課程簡介

 

本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。

 留言

1.課程源起

2012年深度學習開啟了新的人工智慧浪潮，CNN, RNN, GAN, SNN等技術讓人充份感受到AI的實用性，開始大量引入日常生活中。2022年底OpenAI以ChatGPT帶動了大型語言模型(LLM)及生成式AI（GenAI, AIGC）的重大革新，讓全世界都瘋狂投入。2024年2月台大電機李宏毅老師開設了「生成式AI導論」，一口氣線上加線下來了二千多位同學，不分科系共同參與，其熱門程度不輸明星演唱會。

台大電機李宏毅老師「生成式AI導論」上課影像。[影像來源]

不過在「邊緣智慧裝置」可能就不太受重視了，就像馬路上超跑總是吸引大家的目光，瘋狂追捧，而自行車和機車雖然實用，卻只有少數廠商願意投入，因為有限的硬體算力、運行功耗、產品單價及太過專業跨域的知識、開發工具，加上未來就業市場的影響，自然教育單位就很少老師及學生願意投入。

三年前個人受恩師推薦，有幸在台科大資工系產碩專班連續三年開設「人工智慧與邊緣運算實務」。隨著學程的結束，本來以為應該不會再幫大家上課，但最近受到一百多位網友的「+1」號召，於是起心動念，決定免費開設YOUTUBE直播課程，幫大家建立基礎知識，希望能藉此推廣相關技術，滿足台灣在這個領域不足的地方。

【vMaker Edge AI專欄 #14】 從CES 2024 看Edge AI及TinyML最新發展趨勢

作者：Jack OmniXRI, 2024/02/15

一年一度的消費性電子展(CES 2024)[1]已於2024/1/12正式落幕，今年吸引了超過4300家的廠商參展，一掃先前因疫情帶來的冷清。此次台灣也不落人後，有超過180家共襄盛舉，包括國科會帶領由96組團隊所組成的台灣國家代表隊，充份展現出台灣的科技實力與新創團隊的活力，正好符合今年CES的主軸：人工智慧、數位健康、永續發展、汽車科技、遊戲與電子競技、擴增/虛擬實境、智慧城市、智慧家居等領域最新技術。

為了讓大家更了解在邊緣智慧(Edge AI)和微型機器學習(TinyML / MCU AI)的最新趨勢，以下就簡單盤點了一下此次四十多項較具代表性的產品讓大家認識一下。

TinyML 核心函式庫 Arm CMSIS 6 DSP & NN 更新比較

 留言

有在玩單晶片(MCU)的朋友們應該都知道Arm Cortex-M系列吧！近年來AI當道，自然也有很多人想用MCU來玩微型AI應用，於是「TinyML」開始成為大家關注的重點。目前有太多廠商使用Arm Cortex-M IP開發成各式各樣的MCU，所以硬體介面不統一變成開發者的一大麻煩，只要一換廠牌、封裝方式甚至升降階（如M3降成M0,或升成M7）都需重新撰寫韌體(firmware)。

Arm為了讓開發者抽離硬體相依性於是推出硬體抽象層(Hardware Abstraction Layer, HAL)的概念，提供通用微控制器軟體介面標準(Common Microcontroller Software Interface Standard, 簡稱CMSIS)。其中DSP和NN模組又成了MCU AI最重要的核心函式庫，方便如 Google TensorFlow Lite (TFL), TensorFlow Lite for Microcontroller (TFLM) 等上階AI開發框架進行呼叫及執行。

Arm CMSIS在2016年底推出5.0.0版[1]後已有許久未大改版，去(2023)年12月18日推出最新版的CMSIS 6.0.0版[2]，將原有一大包的架構分拆成個別模組，除更輕量化外，同時更方便未來獨立呼叫及更新。此次將DSP[3], NN[4], Driver 等模組獨立出來，廢除RTOS改用RTOS2，更有利AI應用的開發及升級，其它更多變動可參考官方說明。[5]

2024 中文 AI Youtuber 大盤點

 作者：Jack OmniXRI 2024/02/01

 留言

2012年 Alex Krizhevsky 以卷積神經網路(CNN)贏下 ImageNet 比賽後，從此開啟AI新世代浪朝。2022年底Open AI推出ChatGPT 3.5後開啟大型語言模型(LLM)和生成式AI(GenAI / AIGC)新一波的革命。許多人想要學習這些技術卻不知從何下手，許多補習班應運而生，且收費不低，讓人覺得好像不學一下就會被時代淘汰。好在現在自媒體興盛，也有許多老師也願意供獻所學，於是專門以AI為主題的影音頻道創作者開始多了起來。為了讓大家學習上更容易入門，接下來就簡單幫大家盤點一下機器學習、人工智慧、深度學習、自然語言、強化學習、智慧生成等領域有哪些精彩的創作者及教學內容。此次收錄內容較偏理論教學，而那些較偏AI實作的內容就留待下次再行整理。
(以下依Youtube觀看次數排名)

【vMaker Edge AI專欄 #13】 誰說單晶片沒有神經網路加速器NPU就不能玩微型AI應用？

作者：Jack OmniXRI, 2024/01/15

 留言

講到AI相信大家第一時間多半是聯想到大型語言模型(LLM)和生成式AI(genAI, AIGC)應用，可以對話聊天、查詢資料、生成文章圖像和音樂，而這些應用多半需要用到極大的雲端算力才能完成。對於微型AI應用，如語音喚醒（語音命令）、異常偵測（振動、異音、環境感測器）、運動偵測（手勢、跌倒）、影像分類、影像物件偵測、影像姿態偵測（全身、手指）等，通常可利用單晶片(MCU)或微處理器(MPU)配合較小的AI模型就有機會辦到邊緣（離網）就完成推論工作。

在「MCU攜手NPU讓tinyML邁向新里程碑」[1]一文中提到，AI推論主要都是在進行巨量的矩陣乘加運算(MAC)，就是「a×b+c」。而加速計算方式可使用「提高工作時脈速度」、「平行/向量指令集加速」、「多核心加速」、「NPU神經網路加速器」等硬體加速作法。而一般單晶片在單核CPU的情況下，最容易達成的作法就是前兩項，而本文將從「平行/向量指令集加速」的角度來為大家說明如何在沒有神經網路加速器NPU時也能順利玩微型AI應用。

從「16bit的感動」看AI如何影響創作者的未來發展

在多年前曾有次造訪家鄉木柵鐵觀音茶園時，和老人家聊起現在機器製茶已經很普及了，為什麼還要辛苦手工製茶呢？老人家反問一句「你多久沒拿筆寫字了呢？電腦打字和手寫有什麼不同呢？」，霎時間竟無言以對，老人家接著緩緩道出「是溫度」，那種想傳達給品茶人的心意，是機器無法取代的，就像你用手寫出給最親近的人的小卡片，即使字跡再醜，也無可取代。

1839年法國畫家路易·達蓋爾發明了世界上第一台可攜式木箱照相機，許多人都擔心從此後不再有畫家，結果創造了更多攝影師及新型態的影像創作。1960年代第1台撞針式印表機問世，許多人擔心，印刷業就此會因此衰退，但反而讓更多文字工作者的作品能更快速的發表，進而興起另一波創作高潮。1980年代3D印表機發明，2010年代開始盛行，又有很多人擔心製造業或手工立體雕塑產業會走向寒冬，結果幫助更多自造者（創客）完成了創意發想。2022年大型語言模型(LLM)及智慧生成(AIGC)技術大爆發，那些失業論、取代論又重新襲捲而來，但事實並沒有發生，而是讓創作者隨著工具的演進，開始了新一波的創作。

最近剛好看到一部日本動畫「16bit的感動 ANOTHER LAYER」，其中在第十一集中有個橋段說到AI如何改變創作方式及創作者所要堅持的理念，深深觸動內心，於是順手寫下這篇文章，希望自己也能不忘初心。

這部動畫主要故事在描述一位熱愛製作美少女遊戲的女主角，陰錯陽差在2023年和1992年間來回穿越的故事，場景中有大量只有五、六年級生才能懂的設備（如日式電腦PC98、陰極射線管顯示器CRT、磁碟片Floppy、數據機Modem等）、寫作程式（組合語言等）及製作遊戲（像素繪圖等）技巧等經典橋段，不禁讓人回想起年輕時從純文字模式到繪圖模式程式開發過程的熱情。整個劇情內容這裡就不多作劇透，也不是本文要分享的重點，大家可以自行上網找到觀看連結。

【vMaker Edge AI專欄 2023合輯】

感謝這一年來大家對vMaker Edge AI專欄的支持，這裡幫大家快速回顧今年發表過的十二篇文章，作為2023年的期末總結，如果還沒看過的朋友也可順便了解一下，看過的朋友也可回味一下。

 

2023年的文章清單：

1. 【vMaker Edge AI專欄 #01】 從CES 2023 看Edge AI及TinyML最新發展趨勢
2. 【vMaker Edge AI專欄 #02】 要玩AI前，先來認識數字系統
3. 【vMaker Edge AI專欄 #03】 AI晶片發展歷史及最新趨勢
4. 【vMaker Edge AI專欄 #04】 從Embedded World 2023看Edge AI及TinyML最新發展趨勢
5. 【vMaker Edge AI專欄 #05】 Google MediaPipe快速上手 ─ 浮空手勢也能用來當作簡報播放器
6. 【vMaker Edge AI專欄 #06】 Intel OpenVINO 2023.0初體驗─如何快速在Google Colab運行人臉偵測
7. 【vMaker Edge AI專欄 #07】 TinyML (MCU AI) 運行效能誰說了算？
8. 【vMaker Edge AI專欄 #08】 親愛的我把AI模型縮小了- 模型減量與壓縮技術簡介
9. 【vMaker Edge AI專欄 #09】 從臺灣智慧農業週2023 看邊緣智慧最新趨勢
10. 【vMaker Edge AI專欄 #10】 訓練AI模型資料不足怎麼辦？聊聊資料集擴增手法 
11. 【vMaker Edge AI專欄 #11】 Edge AI如何協助淨零碳排
12. 【vMaker Edge AI專欄 #12】 AI Maker世代即將展開-大家跟上了嗎？
    

【vMaker Edge AI專欄 #12】 AI Maker世代即將展開-大家跟上了嗎？

作者：Jack OmniXRI, 2023/12/15

 留言

在現今專業分工的時代，很多事情不用透過自己動手作就能享受時代進步所帶來的便利。大家不用自己買布作衣服，不用買食材自己下廚，家裡燈不亮了，房子想重新裝潢一下，不用自己買電線、木材，都有專業人士可以幫忙。但是自己作手作，完成一項可以改變自己生活的事，從來就不是特定專業人士才享有的能力，只是隨著時代的演進，那些父母時代才有的動手作能力及樂趣已逐漸被人們淡忘。

【課程簡報】20231222_慈濟醫資_智慧物聯網(AIoT)與智慧醫療應用

很高興今天（2023/12/22）受慈濟大學醫學資訊學系李盛安老師邀約，來擔任「智慧醫療工作坊」講師，此次課程為「智慧物聯網(AIoT)與智慧醫療應用」，共六個小時。主要內容如下所示。本次內容以「旗標生醫感測健康大應用」實習教具進行教學，為方便操作課程內容範例，這裡預先建立網頁版快速指令表，方便大家複製貼上，不易打錯字。

https://hackmd.io/@OmniXRI-Jack/tcu_workshop_aiot

簡報大綱：
1. 智慧物聯網與生醫感測器簡介
2. 認識微控制器ESP32與開發環境建置
3. 膚電反應(GSR)量測實驗
4. 血氧濃度(SpO2)量測實驗
5. 脈博心率(PPG)量測實驗
6. 心電訊號(ECG)量測實驗

（點擊圖片放大）

【課程簡報】20231216_DevFest Taipei_如何結合Google Colab及Intel OpenVINO來玩轉AIGC

上週六(2023/12/09)很高興第一次以Intel創新大使身份到Google開發者社群(Google Developer Groups, GDG) DevFest 台中場上分享關於Intel OpenVINO在AIGC上的發展與應用，本週六(2023/12/16)台北場也是分享相同內容，完整簡報可參考

https://omnixri.blogspot.com/2023/12/20231209devfest-taichunggoogle.html

為了讓使用者能更快速上手OpenVINO AIGC部份，這裡結合了Google Colab來展示相關功能，希望藉此次分享能讓更多使用者了解，在桌機、筆電、單板微電腦（含小型工業電腦）上只要搭配OpenVINO就足夠進行AIGC推論。以下就是此次分享的大綱。

•     Intel OpenVINO 簡介
•     OpenVINO 助力 AI PC
•     Colab 如何運行 OpenVINO
•     OpenVINO AIGC 範例展示
•  文字生成
•  影像生成
•  音樂生成

（點擊圖片放大）