【vMaker Edge AI專欄】 2024 合輯

 作者：Jack OmniXRI, 2024/12/18

感謝大家一年來的支持，為方便大家查找，這裡幫大家把 2024 年發表過的 12 期清單整理如下，如果還沒看過的朋友也可順便了解一下，看過的朋友也可回味一下，希望大家都能有所收獲。

1. 【vMaker Edge AI專欄 #13】 誰說單晶片沒有神經網路加速器NPU就不能玩微型AI應用？
2. 【vMaker Edge AI專欄 #14】 從CES 2024 看Edge AI及TinyML最新發展趨勢
3. 【vMaker Edge AI專欄 #15】 從MWC 2024看AI手機未來發展
4. 【vMaker Edge AI專欄 #16】AIPC開箱實測 ─ Yolov8斜物件偵測
5. 【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案
6. 【vMaker Edge AI專欄 #18】從Computex 2024看邊緣智慧明日之星NPU
7. 【vMaker Edge AI專欄 #19】 當微處理器(MCU)遇上神經網路處理器(NPU)能擦出什麼新火花？
8. 【vMaker Edge AI專欄 #20】 單晶片也能輕鬆玩AI影像辨識？難道土耳其大叔來了？
9. 【vMaker Edge AI專欄 #21】 從2024自動化展看智慧機器人發展趨勢
10. 【vMaker Edge AI專欄 #22】使用Intel OpenVINO搭配YOLOv11輕鬆駕馭姿態偵測
11. 【vMaker Edge AI專欄 #23】 邊緣端小語言模型崛起，開發板跟上了嗎？
12. 【vMaker Edge AI專欄 #24】 如何使用 Gradio 快速搭建人工智慧應用圖形化人機介面

延伸閱讀：

[A] 許哲豪，vMaker Edge AI專欄 2023合輯
https://omnixri.blogspot.com/2023/12/vmaker-edge-ai-2023.html

本文同步發表在【台灣自造者 vMaker】

【vMaker Edge AI專欄 #24】 如何使用 Gradio 快速搭建人工智慧應用圖形化人機介面

作者：Jack OmniXRI, 2024/12/15

相信很多朋友都是使用 Python 及 Jupyter Notebook 環境在開發人工智慧應用程式，不論是影像辨識、分類，還是大語言模型、影音生成應用。當只能使用命令列(Command Line)模式操作而沒有圖形化人機介面(Gaphical User Interface, GUI)，那麼使用上就會變得非常不直覺且不方便。

傳統上要開發 Python GUI 大概會想到使用 Tkinter, PySide, PyQT 等工具，但這些工具比較適合開發桌機或手機版的應用，並不容易和 Jupyter Notebook 這類網頁版程式整合，包含 Google Colab, Intel OpenVINO Notebooks, Hugging Face 等。所以這裡要幫大家介紹另一項常見的 GUI 開源工具「Gradio」。[1]

Gradio 提供了很便捷的網頁型式的各種輸入和輸出模組，如下所示。[2]

• 應用介面：Interface(簡單應用)、Blocks（客製化應用）
• 輸出輸入：文字框(Textbox)、資料框（DataFrame）、影像(Image)、下拉盒(Dropdown)、數字(Number)、文字說明（Markdown）、檔案(File)
• 控制元件：按鍵(Button)
• 版面佈局：標籤頁（Tab）、列佈局(Row)、行佈局(Column)

以上內容除了可直接顯示在 Jupyter Notebook 欄位上，還可透過獨立網頁顯示，包括裝置端（本地端）網址(http://localhost:7860)，或公開（雲端）網址(https：//xxxx.gradio.live)，方便分享結果給其它人使用。

接下來就依序介紹幾個常用模組的使用方式給大家參考。完整範例可點擊下列連結直接於 Google Colab 上啟動。

建議開啟後，先點擊選單「檔案」─「在雲端硬碟中儲存複本」，方便之後可以修改及測試程式。接著點擊選單「執行階段」─「全部執行」可一口氣把所有範例都執行一遍。

Fig. 1 Google Colab 工作及執行畫面。(OmniXRI整理製作, 2024/12/15)

【vMaker Edge AI專欄 #23】 邊緣端小語言模型崛起，開發板跟上了嗎？

 作者：Jack OmniXRI, 2024/11/15

2022年底 OpenAI 推出 ChatGPT 後，各大廠紛紛推出自己的大語言模型(Large Language Models, LLM)，讓電腦也能像人類一樣地自然問答。不過一開始的模型參數量都非常驚人，高達數千億個，如 GPT3 就有 1750 億(簡寫成175B)， GPT3.5 更高達 2000億(200B)，因此推論時需要消耗非常巨大的算力、記憶體及電力，所以只能依靠雲端伺服器才能完成。經過這兩年的發展，大語言模型已從數千億個參數漸漸演進到只需數十億到數億個參數就能有不錯的表現，目前不成文約定多半稱70億(7B)個參數以下的模型為小語言模型(Small Language Models, SLM)[1]。而同時邊緣裝置的算力也從數 TOPS@INT8 (每秒運算一兆次八位元整數)提升至數十TOPS，讓邊緣裝置在不連網的情況下也能獨立完成 SLM 的推論工作。

目前可以獨運行LLM的邊緣裝置大致上可分為桌機筆電(AI PC /NB)[2] [3]、行動通訊裝置(AI Phone / Tablet)[4]、單板微電腦(Single Board Computer,SBC / Microprocessor Unit, MPU)及單晶片(Micro Controller Unit, MCU)等不同等級硬體。其中前兩項由於有較強的算力、較多的記憶體及充足的電力供應，因此運行 7B 及以上 LLM 比較沒問題，而後兩項隨硬體配置不同，可能就需要輔助推論加速單元(Neural Processing Unit, NPU / Deep Learning Accelerator, DLA)或者更小的模型或者更好的優化處理或者容許更慢的反應速度。

本文重點將放在後兩者，以下就幫大家盤點一下常見的19個廠商提供的37種小語言模型，16種 MCU / MPU / SoC 等級 LLM 開發板解決方案，讓大家未來在開發相關應用時能有更多選擇。

【vMaker Edge AI專欄 #21】 從2024自動化展看智慧機器人發展趨勢

作者：Jack OmniXRI, 2024/9/15

今年六月份 Nvidia 黃仁勳執行長在 Computex 2024 刮起一陣旋風，不僅帶來了各項 AI 前沿技術，更當起了台灣推廣大使，除了拼命走訪各地夜市推銷美食外，更將台灣各領域的伙伴們介紹給全世界認識，讓大家更了解台灣在 AI 的實力。

此次除了發表了開發 AI 所需高效硬體外，同時也介紹了數位孿生(Digital Twin)最佳工具 Omniverse，它不僅可適用於各種場景及機器的靜態模擬，更能幫助如自主移動機器人(Autonomous Mobile Robot, AMR)、多軸機器手臂(Robotic Arm, RA)建立足夠的測試資料集，以利在真實世界智慧視覺辨識及運動控制的表現。而搭配上述技術中最令人驚豔的就是此次壓軸的「人型機器人(Humanoid Robots, HR)」，讓大家深感科幻電影中的場景就要實現了。

【vMaker Edge AI專欄 #20】 單晶片也能輕鬆玩AI影像辨識？難道土耳其大叔來了？

作者：Jack OmniXRI, 2024/08/15

今(2024)年法國巴黎奧運除了台灣選手精彩的表現受到全球矚目外，其中被全世界傳得最多的迷因照片，大概就是南韓空氣槍女選手金藝智（Kim Yeji）和混合團體10公尺空氣手槍銀牌土耳其大叔迪凱區（Yusuf Dikec）的對比照了。前者英姿颯爽，各種專業射擊眼鏡與眼罩上身，而土耳其大叔一派輕鬆，身著短袖T恤，單手手插口袋，無需專業輔助眼鏡，手一舉，雙眼一瞄，就命中靶心，猶如職業殺手般冷靜，一招斃命。於是就有很多人把花俏實用和質樸專業的產品拿來對比，玩出不少有趣哏圖。

藉著這次迷因哏圖，也來和大家分享一下只用單晶片(Micro Control Unit, MCU)等級晶片也能運行微型機器學習(Tiny Machine Learning, TinyML)類型的人工智慧(Artificial Intelligence, AI)應用，如聲音辨識、電腦視覺、時序預測等，就像土耳其大叔，不用花俏的裝備，僅憑多年苦練，就能表現優異。

在上一期專欄「當微處理器(MCU)遇上神經網路處理器(NPU)能擦出什麼新火花？」[1]已有和大家介紹過一款 MCU + NPU 的開發板「Seeed Grove Vision AI Module v2」，其中使用了奇景光電(Himax) WiseEyes2 HX6538 作為主核心晶片，內含二組 Arm Cortex-M55 （1x @150MHz, 1x @400MHz)及一組 Micro-NPU Ethos-U55 (256 MACs @400MHz)。除板上自帶數位麥克風外，亦可外接攝影機模組，方便運行電腦視覺相關應用。

他山之石可以攻錯，以下就參考前不久由 Seeed Studio 舉辦的 Seeed Grove Vision AI Module v2 挑戰賽得獎作品[2]，簡單介紹幾個專題給大家認識一下，方便大家能舉一反三，用類似的思路在其它類似的開發板上也能作出屬於自己的創意。

【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案

作者：Jack OmniXRI, 2024/05/15

常有人在問「我想學 Edge AI，我有個情境要應用 Edge AI，究竟要選那種方案才能快速上手及完成專案呢？」，這不禁會讓人想起星爺電影「食神」中的一句對白「施主，這個問題你應該要問你自己！」。

【vMaker Edge AI專欄 #16】AIPC開箱實測 ─ Yolov8斜物件偵測

作者：Jack OmniXRI, 2024/04/15

去(2023)年11月英特爾總裁季辛格親自來台北出席 Intel Innovation Taipei 2023，同時展示了最新一代的 AIPC 的 CPU Core Ultra (內部代號：Meteor Lake)。這是Intel首次將神經網路處理單元(Neural Network Processing Unit, NPU)放進 CPU 中，除了讓算力大幅提升，功耗降低外，且很容易搭配自家推論優化工具 OpenVINO Toolkit 的使用，讓目前最流行的大語言模型(LLM)及生成式智慧(AIGC, GenAI)應用也能更順暢地被運行。

今年1月 CES 2024 已有許多廠商展出 AIPC 筆電產品[1]，但目前市面上尚無桌機相關產品，不過已有部份廠商推出迷你電腦(NUC)，如華碩(ASUS)的NUC 14 Pro[2], 東擎(ASRock)的NUCS/NUC BOX 155H/125H[3]。此次本文將使用ASUS NUC 14 Pro來進行開箱測試。

以往在AI電腦視覺應用中，物件偵測(Object Detection)是很常見的技術，其中又以YOLO系列最具代表性。當影像進行推論後，通常會將找到的物件標示一個矩形邊界盒(Bounding Box)，不過當物件較多且傾斜一個角度時，很容易出現和相鄰物件重疊，不易識別的問題。因此就有旋轉邊界盒(Oriented Bounding Boxes, OBB)偵測技術被提出[4]，將找到的物件計算出旋轉角度後，再標示一個旋轉的邊界盒，如此就能產生一個更貼近原始物件的外框，讓辨識上能更清楚地呈現結果。

接下來就從 AIPC 硬體規格、安裝工作環境、旋轉物件偵測及在不同硬體運行效能分析比較等方面幫大家做一個完整的介紹。如果大家手上沒有AIPC，也不用擔心，本文的OpenVINO範例在 Intel Core(6到14代), Atom, Pentium 甚至 Xeon(Google Colab), Arm(Apple M1, M2) 等系列 CPU 及內顯 iGPU (HD Graph, Iris, Arc)都能執行，只是效能會有所不同而已。