【vMaker Edge AI專欄 #19】 當微處理器(MCU)遇上神經網路處理器(NPU)能擦出什麼新火花？

作者：Jack OmniXRI, 2024/07/15

留言

2020年初Arm正式推出支援向量擴充指令集(M-Profile Vector Extension, MVE)的微處理器(或稱單晶片，Microcontroller Uint, MCU)矽智財(Silicon Intellectual Property, SIP) Cortex-M55 及微神經網路處理器(Micro Neural Network Processing Unit) Ethos-U55，正式開啟 MCU AI 時代來臨[1]。但不幸地，Covid-19 疫情伺虐全球，行業停擺，導致直到2022年底才由 ALIF Semiconductor推出第一顆實體晶片 Ensemble 系列(E1/E3/E5/E7)及配套開發板。今年 CES 2024 上更是全面開花，截至目前，已有 ALIF, Himax(奇景), Nuvoton(新唐), Infineon(英飛淩) 推出 Cortex-M55 + Ethos-U55 組合的產品了[2]。若再加上其它家 MCU + Micro NPU ，那麼今年可謂微處理器的 AI 時代降臨。

一般來說，如果只是為了如聲音、運動、化學等感測器信號進行分類或預測的話，大概使用 Arm Cortex-M4F, Cortex-M7 甚至 Cortex-M0+ 等級的 MCU 就夠用了。但如果遇上小尺寸(如96x96或更小)影像分類、物件偵測或者多感測器信號融合分析時，則需要更高速運算的處理器才足以應付，因此 MCU + Micro NPU 正好可以滿足這個缺口。

為了讓大家更了解 MCU 加上 Micro NPU 究竟能幫大家帶來什麼好處，接下來就以矽遞科技(Seeed Studio)和奇景光電(Himax)合作的 Grove Vision AI Module v2 開發板及 Seeed SenseCraft AI (TinyML) 開發平台，帶著大家一起來玩玩微型 AI 電腦視覺應用。

【課程簡報】20240709_南投縣中小企業榮譽指導員協進會_南開科大_看智慧製造如何從決策式AI邁向生成式AI

很高興今天受到「南投縣中小企業榮譽指導員協進會」蔡名桂祕書長邀請，和大家分享「看智慧製造如何從決策式AI邁向生成式AI」這個主題，期待與會人員能更了解AI對產業界有何助益。以下就是今日簡報的大綱，提供大家參考。完整簡報內容如下所示。

1. 從自動化到智動化
- 智慧製造架構分析
- 工人智慧(HI) vs. 人工智慧(AI)
- 人工智慧/機器學習/深度學習/大語言模型
- AI技術發展趨勢
- 電腦（機器）視覺架構
- 傳統機器視覺應用
- 新型態AI（深度學習）電腦視覺應用
- 傳統型機器視覺 vs. 新型態AI電腦視覺
- 電腦（機器）視覺系統發展歷程
-案例分享─百香果智慧外觀分級案

2. 從感測、預測到決策
- 工業物聯網 (IIoT)
- 工業感測器 (Sensors)
- 智慧物聯網(AIoT)架構
- 工業人機互動技術 (HMI)
- 工業常見邊緣智能(Edge AI)應用

3. 從數位化到數位孿生
- 數位化戰情室: 研華科技 WISE-PaaS 戰情室
- 數位孿生 (Digital Twin): 鴻海Foxconn & Nvidia
案例分享 ─ 半自動工時計錄器

- AI模型發展歷程
4. 決策式 AI 發展與案例
- 電腦視覺 ─ 垃圾自動分類
- 自動導引車(AGV) / 自主移動機器人(AMR)
- 商業用自主移動機器人(AMR)
- 智慧製造實例 ─ 台達電

5. 生成式 AI 發展與案例
- 影像生成 ─ PCBA 3D瑕疵生成
- 文字 / 語音生成 ─ 虛擬助理 （數字人）
- 多模態生成 ─ 人型機器人
- 人型機器人─ OpenAI Figure 01

（點擊影像放大）