【課程簡報】20240628_OpenVINO x AIPC : 技術新亮點剖析

很高興今天受邀擔任「OpenVINO x 產業AI轉型關鍵技術論壇」講者並以「OpenVINO x AIPC：技術新亮點剖析」和大家分享一下 Intel AIPC 及 OpenVINO 的最新發展。此次簡報大綱如下。

1. 從Computex看Intel技術藍圖
2. AIPC 為何需要 NPU
3. OpenVINO 2024最新亮點
4. OpenVINO 生成式AI實例展示

（點擊圖片放大）

台灣學術圈 TinyML 發展現況

作者：許哲豪 2024/6/25

今年 Computex 2024 生成式 AI 火爆全場，各家 CEO 都紛紛來站台宣揚 AIGC & AIPC & NPU 世代來臨，全台產官學研的資源也幾乎壓寶於此，主要集中在行動智慧(手機、平板、筆電)的應用，對於嵌入式及穿戴式智慧(單板微電腦、單晶片)就僅有少數廠商參與，對比十多年前智慧物聯網(AIoT)興起時，滿場子都是智慧應用裝置，就顯得有些被邊緣化了。

建構 TinyML 生態系

身為超級邊緣人一份子，不免想幫大家更了解這個生態系，進而能投入更多資源來助威。邊緣智慧領域跨度頗大，大家可以參考「【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案」[1]，而一個完整的生態系必需包含下列條件。

• 買的到、買的下手的硬體及開發套件 （供應商級）
• 原廠充份的開發說明文件及範例程式 （工程師級）
• 適量的應用例、教材及影片 （教育單位級）
• 理想的交流空間、社群互動 （一般開發者級）
• 更深入的理論開發及實踐 （學術研究級）
• 政府機構及民間團體的協力推動 （政策推動級）

從以往的智慧物聯網(AIoT)經驗來看，嵌入式、穿戴式、微型感測式的智慧應用看似很有市場、技術門檻不高、應用領域很廣，但實際上大多數想把雲端 AIoT 轉向裝置端 AI 都會遇到相當多困難，就像開發汽車（GPU AI）或腳踏車（MCU AI）的工程師突然跑去開發機車（MPU/MCU + NPU）一樣地不知所措，中間技術的鴻溝需要更多的邊緣智慧(Edge AI)及微型機器學習(TinyML)教學課程及第三方軟硬體及系統供應商來協助解決。

若將裝置端 AI 技術領域拆解，從各大專院校所開設的課程大致可分為下列領域。

• 數位邏輯及積體電路設計（CPLD / FPGA / NPU）
• 計算機結構（CISC / RISC）
• 程式語言（ASM / C/C++ / Python）、演算法及人機界面(GUI / HMI)
• 嵌入式系統開發（微處理器MPU / 單晶片MCU / 神經網路處理單元 NPU）
• 編譯器（Compiler）及即時作業系統（RTOS / ROS / MBED）
• 資料探碪（大數據）及機器學習（Machine Learning）
• 人工智慧（GPU AI）及邊緣智慧（Edge AI）（深度學習 / 自然語言 / 電腦視覺 / 多模態、生成式應用）
• 算法、模型優化

【vMaker Edge AI專欄 #18】從Computex 2024看邊緣智慧明日之星NPU

 作者：Jack OmniXRI, 2024/06/15

 留言

今（2024）年台北國際電腦展(Computex)[1]大概是1984年開展至今最精彩的一年的吧！Nvidia, AMD, Qualcomm, Arm, Intel, Mediatek, SuperMicro, NXP CEO 竟同時出現在台北 Computex，還創造了新一波的夜市追星熱潮。回顧過去幾年，受到上海 CES Asia、Covid-19 疫情、地緣政治影響，參展及參觀人數皆大幅下滑，不禁讓人為這個世界前三大的國際電腦展的未來捏把冷汗。2022年底ChatGPT橫空出世，帶動新一波人工智慧應用熱潮，大量的大語言模型(LLM)及生成式智慧(AIGC, genAI)被提出，同時也帶動AI伺服器的軍備競賽，使得台灣供應鏈及週邊廠商順勢而起，成為全球矚目的焦點。2023年底英特爾(Intel)喊出 AIPC 時代到來，「不需上網」也能完成AI應用的推論運算，於是把神經網路加速處理單元(Neural Network Processing Unit, NPU)加入最新一代 CPU - Meteor Lake (Core Ultra)中。接著又有微軟(Microsoft)提出 AI Copilot+PC 定義，未來要有 40 TOPS（每秒40兆次計算） 以上算力才能稱為 AIPC，從此拉開各家 NPU 之戰，也帶動台灣工業電腦、桌機、筆電、平板、手機及週邊廠商的新一波商機。而此次 NPU 也不意外地成了 Computex 2024 的目光焦點。

在上一期專欄「#17 開發者如何選擇 Edge AI 開發方案」[2]中已簡單將可不需連網且獨立推論AI模型的邊緣智慧(Edge AI)裝置簡單分為五個等級，而對應此次 Computex 重點廠商，如下所示。

• Edge Server, AI伺服器等級，如 Intel Xeon 6(CPU), Nvidia GB200(GPU), SuperMicro 等。
• NB AI (AIPC)，CPU內建或外加 GPU/NPU 之桌機、筆電、工業電腦等級，如 Intel Meteor/Lunar Lake, AMD Ryzon AI, Nvidia RTX 40系列等。
• Mobile AI，平板、手機等行動通訊裝置等級，如 Qualcomm Snapdragon X Elite, Arm Cortex-X, Mediatek 9300+ 等。
• SBC AI，單板微電腦及搭配NPU應用等級，如 NXP i.MX 93/95, Keno 300/KL830, DeepX DX-M1 等。
• Wearable AI，單晶片等級，如 NXP MCX-N54/94 等。

為了讓大家更了解什麼是 NPU，為何要用 NPU 及此次 Computex 2024 竟究各家端出了什麼大菜，以下就簡單整理一下提供大家參考。各家在 Computex 上的專題演講完整影片可參考文末【參考文獻】連結[4]~[12]。

OmniXRI's Edge AI & TinyML 小學堂 Youtube 直播課程總結

作者：許哲豪(Jack Hsu), 2024/06/19

 留言

今(2024)年二月台大資工李宏毅老師開設了「生成式AI導論」，一口氣線上加線下來了二千多位同學，不分科系共同參與，其熱門程度不輸明星演唱會。但「邊緣智慧(Edge AI)和微型機器學習(TinyML)」這個領域卻很少學校老師開課，於是順口在自己的「Edge AI Taiwan」FB社團上隨口一問「有沒有人想學啊？」，立下 Flag，超過百人按讚就來比照學校開課。於是在百位網友「+1」的鼓勵（推坑）下，規畫了「OmniXRI's Edge AI & TinyML 小學堂」連續16週的課程，從2024/3/5開始，每週二晚上 20:00 ~ 21:30 在Youtube開直播，昨晚（2024/6/18）順利結束。不知那些有按讚的朋友有沒來上課啊？

為了此次YOUTUBE直播課程，還自學了如何使用 OBS 導播軟體及 YOUTUBE 直播設定。由於自宅靠近大馬路旁，噪音較多，常常到了九點多，背景還會聽到垃圾車的聲音，造成大家困擾實在抱歉。後來在網友建議下，添置高檔網路攝影機及無線降噪麥克風，才解決了直播品質不佳問題。

在這16週遇到很多狀況，尤其到了後半段實作案例，為了採用最新案例且保證能動，很多課程講義都是連夜通宵完成，直播時硬著頭皮上，所以內容有些零亂，有時還有小出錯，還請大家多多見諒。

經過16週的統計，新增訂閱600多人，通常當天上線人數大約20~40人不等，事後回看點閱率除了第0講因為有課程介紹造成大家會多點一些，有2000多次外，其它的大概至少還有200以上，截至今早，16次直播合計近9000次瀏覽。這和李宏毅老師【生成式AI導論 2024】第0講的17萬人及最後第18講的1萬人來比，還有很多努力空間，希望對於「OmniXRI's Edge AI & TinyML 小學堂」這門課有興趣的朋友能多多轉發、分享給需要的朋友。也歡迎看完影片後有問題的朋友留言互動。

最後藉星爺的兩張劇照來感謝大家這16週的支持，相關直播影片及課程講義在非營利及註明出處下，歡迎大家多多利用。

完整課程影片清單：
https://www.youtube.com/watch?v=VseW-M7kx1E&list=PLo_tFZGoEZumF9_vB1SGPh6NxxrEujQck

完成課程簡報及相關範例：
https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024

更多技術文章，歡迎關注 OmniXRI 部落格