2023年1月26日 星期四

【vMaker Edge AI專欄 #01】 從CES 2023 看Edge AI及TinyML最新發展趨勢

作者:Jack OmniXRI, 2023/01/16

CES(Consumer Electronics Show 消費電子展)為全球最重要的電子展會之一,每年約在一月初舉辦,吸引數千家廠商及十多萬人與會參觀。身為全球最重要的電子產品設計、製造重地的台灣自然不會錯過,大家都會拿出最新、最有競爭力的產品(或樣品機)來吸引全球買家的目光。前兩(2021)年受全球疫情影響改成線上舉辦,嚴重影響台灣廠商曝光程度及商機。去(2022)年疫情雖有改善,改採線上線下聯合舉辦,但參與人數仍不如往年熱鬧。今(2023)年在全球逐步對防疫解封,參與實體展出及參觀人數有大幅成長。此次台灣方面除各大廠自行參展外,另外在國發會、數位部及國科會帶領下CES也設有專區,有近百家公司共同參與。

CES 2023(2023/1/5-1/8)最近剛於美國拉斯維加斯落幕,此次許多創新產品令人眼睛一亮,在邊緣智能(Edge AI)及微型機器學習(TinyML)相關產品亦有非常精彩的表現,以下就簡單幫大家盤點一下。

2023年1月16日 星期一

 Arduino PRO Nicla Voice加入TinyML開發板行列

最近CES 2023剛落幕,期間Arduino推出一款新的開發板「Arduino PRO Nicla Voice」,專門用來處理聲音相關AI應用,讓Nicla家族[1]又多了一個新成員。為了讓大家能快速認識彼此的不同,以下就幫大家整理了一張對照表,有需要的朋友可以參考一下。

此次新增的成員「Nicla Voice」主要使用Syntiant的NDP120 晶片作為聲音AI應用的主要處理器,而通訊方面使用uBox ANNA-B1112 BLE 5.0模組而沒有WiFi。另外雖然開發板名稱叫作「Voice」,但感測器部份不只有麥克風,同樣有自帶6軸運動感測器(IMU)及3軸地磁感測器,亦可支援感測器融合(fusion)相關應用。在供電部份和家族前兩塊板子一樣有自帶電源管理及充電IC,所以除USB供電外,亦可直接接上3.7V鋰電池,方便設計成移動式或穿戴式應用。對於常見的TinyML開發平台Edge Impulse Studio亦有支援這塊開發板,可更方便開發聲音相關AI辨識應用。

更多完整的應用例可參考官方提供的文件說明[1]。

參考文獻

[1] Arduino PRO Nicla Family
https://www.arduino.cc/pro/hardware-nicla-family

2022年12月29日 星期四

有了TinyML加持MCU也能開始玩電腦視覺了

說到使用小型邊緣智能(Edge AI)開發板來完成「影像分類(Image Classification)」或「物件偵測(Object Detection)」,大概第一個會想到的是樹莓派加Intel神經運算棒(NCS2)或者Nvidia Jetson Nano系列或者Google Coral吧?但如果想在單晶片(MCU)上玩影像處理甚至TinyML影像辨識有沒有機會呢?先說結論當然是可以,舉例來說單板微電腦(如Arm Cortex-A系列)就像機車,而單晶片(如Arm Cortex-M系列)就像腳踏車,同樣是提供移動服務,但要讓腳踏車跑得像機車那麼快,可能人會先累垮,甚至跑不贏。不過如果只是要到500公尺外的超市買東西,那這兩種交通工具差別可能就沒這麼大。因此在使用MCU進行電腦視覺前要先確認好需求,以免有過多的幻想,無法達成工作目標。接下來的文章將為大家介紹有自帶攝影機模組或有保留擴充界面的MCU TinyML開發板,方便想從事微型電腦視覺AI應用的朋友有更完整的選擇。

1. 在單晶片上運行電腦視覺應用

在電腦視覺中,影像辨識所需耗費的算力是非常龐大的,在加速處理的思路上可分為從硬體及軟體(算法、模型)下手,大致可分為下列幾種作法:

  • 降低影像色彩數及解析度
  • 降低每秒處理影格數(Frames, FPS)
  • 增加晶片工作時脈(Clock, MHz)
  • 增加單位時間平行運算能力(如SIMD, Vector指令集、多核)
  • 選擇複雜度(如層數、寬度、網路結構)較低的模型
  • 對模型進行推論速度、儲存空間、記憶體使用優化(量化、減枝、壓縮、蒸餾等)

在前一篇「MCU攜手NPU讓tinyML邁向新里程碑」中已有幫大家介紹過各種MCU+NPU的硬體加速計算方式,但由於MCU儲存程式碼、模型網路結構、權重參數的FLASH容量及計算過程所需的SRAM記憶體容量非常少,所以第一件事是要把模型縮到塞得進MCU中,才有資格談模型加速運算及維持推論精度,尤其在電腦視覺應用中更是首先必須要解決的問題。

傳統AIoT的應用開發,MCU重點在擷取多種感測器信號及加上通訊將資料傳到雲端,並不直接在MCU上進行AI相關運算,所以工作時脈不用太快,只要數十MHz就足夠,而Flash、SRAM有個數KB到數十KB就夠用了,甚至連像ARM MBED或RTOS這樣的MCU作業系統都不用。

隨著微型攝影機模組(Camera Module)的普及,越來越多的有線、無線網路攝影機(IP Cam)方案被提出,AIoT的應用也開始加入了影像監控的領域。為解決影像基本處理及編解碼,因此單晶片也開始提高工作時脈到數百MHz、增加Flash、SRAM到數百KB到數MB,甚至加入數位信號處理器(Digital Signal Processor, DSP),使得有足夠能力可以運作微型作業系統或MicroPython這類的開發環境。不過此時若想在擷取到的串流影音上進行AI相關應用時,幾乎都還是送回雲端處理。

最近隨著各種微型攝影機模組(如I/O Bus, MIPI, SPI界面)越來越容易取得,支援TinyML技術的硬體逐漸成熟,相關開發工具(如TensorFlow Lite for Microcontroller, CMSIS-NN)和平台(如Edge Impulse, SensiML)也逐漸普及,因此在沒有網路及雲端服務下,在MCU上直接跑微型電腦視覺AI應用也開始變得沒這麼困難。接下來就市售20款開發板分成三大類依序幫大家介紹,而開發工具、平台、模型優化等就留待下次再幫大家介紹。

TinyML Vision MCU Boards

2022年12月25日 星期日

【課程簡報】20221226_開南健管系_健康資料處理與分析_week16_工作坊2

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(110年度第一學期)協助的課程為「健康資料處理與分析」,此次為第16週,課程內容為「工作坊2」,預計帶著大家操作如何設計一個創意專題。課程大綱如下:

16.1 Intel DevCup 2022案例分享
16.1.1 糖尿病風險預測
16.1.2 電動輪椅路況辨識
16.1.3 羽球虛擬教練
16.1.4 顏面神經失調復建
16.1.5 兒童發燒監測
16.1.6 長者安養運動

16.2 簡報內容及技巧
16.2.1 簡報內容重點
16.2.2 簡報技巧

16.3 分組討論及導引

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

2022年12月18日 星期日

【課程簡報】20221219_中華資工_AIoT與tinyML生態系國際發展趨勢與國產IC未來方向

很高興今天(2022/12/19)受到中華大學資訊工程學系陳建宏老師邀約,和同學們談談「AIoT與tinyML生態系國際發展趨勢與國產IC未來方向」這個才在上個月「台灣IC智造年會」上分享過的主題,主要包括下列三個子項,希望能對同學們有所幫助。

  • 如何建構tinyML生態系
    • 硬體
    • 軟體
    • 平台
    • 服務
    • 社群
  • tinyML國際發展趨勢
    • Platform
    • Hybird-Core
    • AutoML
    • MLOps
    • On Device Learning
  • 國產IC投入現況與未來方向
    • 晶片、開發板到應用例
    • 開源、社群到新創
    • 產業、聯盟到國際化

以下就是此次活動簡報。(點擊圖放大) 

2022年12月12日 星期一

【課程簡報】20221212_開南健管系_健康資料處理與分析_week14_工作坊1

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(110年度第一學期)協助的課程為「健康資料處理與分析」,此次為第14週,課程內容為「工作坊1」,預計帶著大家操作如何設計一個創意專題。課程大綱如下:

14.1 創意專題規畫與實踐
 14.1.1 創意專題開發
 14.1.2 想法評估與定位
 14.1.3 可行性分析與比較
 14.1.4 想法試做和循環

14.2 應用情境與導入技術
 14.2.1 應用情境
 14.2.2 導入技術
 14.2.3 常見分析工具─精實畫布

14.3 分組討論及導引
 創意專案參考網站
 14.3.1 Intel DevCup 2021
 14.3.2 Intel OpenVINO Cases
 14.3.3 Hackster.io Projects
 14.3.4 Arduino Projects

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

ps. 簡報下方簡報日期及內容筆誤,應更正為2022/12/12,健康資料處理與分析工作坊1。

2022年12月4日 星期日

【課程簡報】20221205_開南健管系_健康資料處理與分析_week13_資料訓練與預測

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(110年度第一學期)協助的課程為「健康資料處理與分析」,此次為第13週,課程內容為「健康資料應用─資料訓練與預測」,課程大綱如下:

13.1 邊緣智慧應用開發流程
    13.1.1 人工智慧及常見應用
    13.1.2 雲端與邊緣智慧
    13.1.3 人工智慧開發流程
    13.1.4 Intel OpenVINO
    13.1.5 Google MediaPipe
13.2 智慧健康照護與管理實例分享
    13.2.1 人工智慧與健康照護
    13.2.2 影像取像技術
    13.2.3 案例分享
13.3 智慧運動分析與管理實例分享
    13.2.1 人工智慧與健康照護
    13.2.2 影像取像技術
    13.2.3 案例分享

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

2022年11月30日 星期三

【課程簡報】20221130_北科自動化所_從智慧製造邁向元宇宙

很高興今天(2022/11/30)受到臺北科技大學自動化科技研究所蔡孟伸老師邀約,和同學們在「車輛所/自動所/能源所111學年度第1學期聯合學術研討會」聊聊「智慧製造」與「元宇宙」之間的關連,並透過一些實際案例讓同學們更能體會從發想、實作到落地中間所需運用的技術。以下就是本次分享的大綱。

  • 工業4.0與智慧製造
  • 工業智聯網
  • 工業元宇宙
    • 邊緣智能
    • 延伸實境
    • 數位孿生

其中還分享了數個案例,包括

  • Bosch智能感測器
  • 智穎智能射出機
  • 日月光5G智慧無人工廠
  • 凌華AMR + 友嘉智慧工廠
  • Nvidia數位孿生+BMW
  • 微軟Hololens+台達電

完整簡報如下所示。(點擊圖片放大)

2022年11月28日 星期一

【課程簡報】20221128_臺北商大_資訊與決策科學研究所_深度學習應用於智慧零售影像分析之趨勢

很高興今天(2022/11/28)受到臺北商業大學資訊與決策科學研究所廖文華所長邀約,和同學們在「深度學習」這門課程聊聊「電腦視覺」與「智慧零售」之間的關連,並透過一些實際案例讓同學們更能體會從發想、實作到落地中間所需運用的技術。以下就是本次分享的大綱。

 1. 人工智慧與智慧零售
 2. 深度學習與電腦視覺
 3. 智慧零售影像分析技術
 4. 應用實例分享

  • FootfallCam人流分析
  • Amazon Just Walk Out
  • 工研院AI智慧商店
  • 日本全家超商自動補貨
  • 創意引晴自助結帳
  • 擴增實境(AR)應用(完美移動、光禾感知)
  • 日本虛擬店員(Lawaon, Gatebox)

完整簡報如下所示。(點擊圖片放大)

2022年11月17日 星期四

【課程簡報】20221117_南開科大_自動化工程系_智慧製造與可程式控制器應用

很高興今天(2022/11/17)受到南開科大USR中心蔡名桂主任和自動化工程系李清一老師的邀約,和自動化工程系大四學生分享一下「智慧智造與可程式控制器應用」。主要內容包括下列項目。

  • 工業4.0 與智慧製造
  • 工業控制器
    • 控制器類型
    • 控制語言類型
    • 通訊界面類型
  • 程序控制思維
  • 智慧製造應用實例

以下就是此次的簡報分享。(點擊圖放大)

【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考! Edge AI Taiwan 邊緣智能交流區 全像顯示與互動交流區 NTUST人工智慧與邊緣運算實務 【課程及活動簡報...