歐尼克斯實境互動工作室(OmniXRI): 【vMaker Edge AI專欄 #14】從CES 2024 看Edge AI及TinyML最新發展趨勢

作者：Jack OmniXRI, 2024/02/15

vMaker_EdgeAI_14_Fig00

一年一度的消費性電子展(CES 2024)[1]已於2024/1/12正式落幕，今年吸引了超過4300家的廠商參展，一掃先前因疫情帶來的冷清。此次台灣也不落人後，有超過180家共襄盛舉，包括國科會帶領由96組團隊所組成的台灣國家代表隊，充份展現出台灣的科技實力與新創團隊的活力，正好符合今年CES的主軸：人工智慧、數位健康、永續發展、汽車科技、遊戲與電子競技、擴增/虛擬實境、智慧城市、智慧家居等領域最新技術。

為了讓大家更了解在邊緣智慧(Edge AI)和微型機器學習(TinyML / MCU AI)的最新趨勢，以下就簡單盤點了一下此次四十多項較具代表性的產品讓大家認識一下。

1. 人工智慧電腦(AI PC)

去（2023）年底 Intel 推出14代 CPU Core Ultra (Meteor lake)，其中內建神經網路加速處理單元(NPU)，主打不需獨立顯卡的GPU就能進行單機不連網的邊緣推論且更加省電，並將搭配此方案的筆電、桌機稱為「AI PC」，從此打開新一波的換機潮。

除了 Intel 外， AMD 也不讓 Intel 專美於前，在CPU部份也有推出加入Ryzen AI （NPU）的方案。此次CES微軟還讓各家筆電鍵盤上多加上一個「Copilot」鍵，以彰顯未來AI的重要性，所以許多軟體商也紛紛站隊，加入這一波 AI PC 的熱潮，尤其在生成式智慧(GenAI, AIGC)應用上，如大型語言模型、影音生成、多模態應用等更是不遑多讓。

當然目前仍有許多人在觀望 AI PC 是否能成為主流，純 CPU+NPU 算力仍過小、應用場景有限、是否言之過早，但對於使用雲端生成服務有隱私顧慮、處理反應速度不夠快及長期使用造成累積成本過高的專業用戶，這樣的產品無異是一大助力。

以下就簡單列出此次 AI PC 筆電及桌機相關產品。(依英文排序)

Intel Core Ultra i3/i5/i7/i9 系列
- 宏碁(Acer)：Predator Helios 16/18/Neo16/Neo18, Nitro 17, Swift Go/X, Aspire Vero 16/Go
- 華碩(Asus)：Zenbook 14 / ROG NUC
- 戴爾(DELL)：XPS 14/16
- 技嘉(Gigabyte)：AORUS 17X/16X
- 惠普(HP)：Spectre x360 / Omen Transcend 14
- 微星(MSI)：Prestige
AMD Ryzen 8040/7040 (Ryzen AI) 系列
- 宏碁(Acer)：Swift Edge
- 華碩(Asus)：ROG Zephyrus G14
- 惠普(HP)：Omen 16
- 聯想(Lenovo)：Yoga Slim 7

vMaker_EdgeAI_14_Fig01
Fig. 1 CES 2024 AI PC 相關產品。(OmniXRI整理製作,2024/02/15)

2. 邊緣人工智慧晶片（MCU AI / AI Chip）

智慧物聯網(AI+IoT, AIoT)都少不了具通訊能力的單晶片(MCU)做為主要核心晶片，它不僅負責接收感測器信號、控制輸出信號、連接顯示器、儲存資料及處理通訊，更具有計算及分析功能。以往單晶片的算力有限，所以AI相關應用都需要傳到雲端才能處理，但隨著神經網路加速計算單元(NPU)加入單晶片中，讓不上網的邊緣端、裝置端也有機會完成一些微型智慧(TinyML)應用，如語音命令、喚醒詞偵測、運動偵測、感測器異常偵測等，甚至一些低解析度的影像分類、物件偵測及姿態估測都變成可能。

此次 CES 有多家單晶片廠商推出最新方案，以下就簡單列出相關產品。(依英文排序)

2.1 基於Arm Cortex-M(CPU)+Ethos-U(NPU)方案

ALIF： Ensemble系列 [2]
- E1 (M55@160MHz + U55@128MAC)
- E3 (M55@160MHz + M55@400MHz + U55@128MAC + U55@256@MAC)
- E5 (M55@160MHz + M55@400MHz + U55@128MAC + U55@256@MAC + A32@800MHz)
- E7 (M55@160MHz + M55@400MHz + U55@128MAC + U55@256@MAC + 2xA32@800MHz)
- Vision AppKit, ALIF E3 + Telit Cinterion WiFi Module WE310F54 or LTE CAT-M Module ME310 [3]
奇景(Himax): WiseEye2 [4]
- HX6538 (M55@150MHz + M55@400MHz + U55@400MHz)
- Seeed Grove Vision AI v2 Kit (Himax HX6538)
英飛凌(Infineon): PSoC
- PSoC Edge (M55 + M33 + U55) [5]
新唐(Nuvoton): NuMicro [6]
- M55M1 (M55@200MHz + U55@200MHz)
- NuMaker-M55M1 （Nuvoton M55M1）

vMaker_EdgeAI_14_Fig02
Fig. 2 CES 2024 MCU AI 相關產品。(OmniXRI整理製作,2024/02/15)

2.2 基於AI Chip / DSP 方案

除此之外，可用於協同微處理器(MPU)或系統級單晶片(SoC)進行AI加速計算的晶片(AI Chip)，包括基於數位信號處理器(DSP)的加速晶片，此次也有不少廠商推出相關產品，簡單整理如下。(依英文順序)

Ambarella:
- N1, 可支援1到340億（34B）個參數的大語言模型，在低於 50W 的功率運行 Llama2-13B，每秒輸出高達25個Token。[7]
AONDevices:
- AON1120, RISC-V + 2 x NPU，超低功耗260uW，可用於聲音分類工作。 [8]
Bosch:
- Sensortec, 各式智慧感測器，穿戴式應用及環境和運動感測，可直接在感測器上進行少量運算，包含BMA580, BMA530, BMP581, GHI260AP, Arduino Nicla Sense ME。 [9]
BrainChip:
- Akida, AKD1000, M-Class CPU(含FPU, DSP)，內建NPU，自帶SRAM，可作為MPU/MCU的外接神經網路計算加速器。此次亦搭配 Microchip SAMv71 Ultra Board 及 SAMA7G54-EK Board一起展出。 [10]
Ceva:
- NeuPro-M NPU, 與Visionary.ai合作，提出低照度（夜視）優化攝影機。 [11]
DeepX:
- All-in-4, 人工智慧整體解決方案，共有四款晶片DX-V1（5TOPS）、DX-V2（16TOPS）、DX-M1（25TOPS）和DX-H1（400TOPS）。 [12]
EYS3D（鈺立微）: (鈺創Etron子公司)
- eCV-4, Dual Arm Cortex-A55, Cortex-M4, 0.2TOPS NPU, 可用於飛時(Time of Flight)測距、3D掃描、手勢追蹤、生物辨識等應用。 [13]
- eCV-5, Quad Arm Cortex-A55, Dual Cortex-M4, 5TOPS NPU, 可用於多樣感測器融合任務，3D視覺等邊緣運算處理。 [14]
Hailo:
- Hailo-8L 初階AI加速器，算力達13TOps。 [15]
- Hailo-15 視覺應用處理器，算力達20TOps。 [16]
MemryX:
- MX3, Edge AI Accelerator，算力大於5TFLOPS，採BF16激活函式，支援4/8/16bit權重值，可儲存10M個參數在晶片上。 [17]

vMaker_EdgeAI_14_Fig03
Fig. 3 CES 2024 AI 晶片相關產品。(OmniXRI整理製作,2024/02/15)

3. 智慧生活應用

隨著小型晶片算力及通訊能力提升，各種方便日常生活的智慧產品也應運而生，雖然這些概念性產品不一定會被量產或者一開始價格很高，但還是很令人期待。通常這類應用不太講究AI推論精度及速度，而平價、省電、便利、可離網工作才是主要述求，因此只要大家多發揮一些創意，或許下一新創就是你。以下就簡單盤點一下此次展出的相關產品。(依英文順序)

3.1 陪伴機器人：

六、七年前隨深度學習、自然語言處理(NLP)及理解(NLU)技術成熟，因此「智慧音箱」如雨後春筍般迅速佔領各個領域，緊接而來衍生出許多陪伴老人聊天或兒童教育的產品。不過當時需要上網才能運行，且只能進行簡單對話，所以僅數年就退流行。2022年底大型語言模型(LLM)橫空出世，有了更接近人類的自然對話及影像辨識能力，於是再次掀起陪伴機器人的新浪潮。以下就列出幾項相關產品。(依英文排序)

【ELLIQ】如檯燈般的對話機器人，可陪老人聊天，提醒吃藥、查詢資料、緊急通知家人等。 [18]
【LG】 Smart Home AI Agent, 雙足機器人，採用高通RB5機器人平台技術，可以自然對話互動，可連線家中設備進行遙控，還可辨識主人臉部表情播放合適音樂。 [19]
【Rabbit】 R1, 口袋型大語模型智慧音箱，可直接自然語言對話查詢，配合小螢幕顯示結果，並配有360旋轉攝影機可拍照及提供後端影像辨識用。 [20]
【Samsung】 Ballie, 智慧管家，球型兩輪自主導航，亦可作為行動式投影機、寵物陪伴機器人、智慧家電遙控器、居家安全監控等應用。 [21]

vMaker_EdgeAI_14_Fig04
Fig. 4 CES 2024 陪伴機器人相關產品。(OmniXRI整理製作,2024/02/15)

3.2 智慧家電：

傳統白色家電都有單晶片來控制開關、調節功率、定時等基本工作，十多年前物聯網技術興起後，家電也開始有了上網回報狀態、遠端遙控及簡單AI分析功能。這幾年隨著單晶片效能提升，使得AI語音控制、影像辨識也能移到裝置端獨立運行，使得家電變得更聰明，也讓我們生活更加便利。以下就列出幾項相關產品。

【智慧冰箱】 Samsung, Bespoke 四門 Flex 冰箱, 結合AI Family Hub技術，搭配AI影像辨識技術，可辨識超過33種食材，並可自動記錄進出時間，還可將清單顯示於冰箱外顯示器上，讓使用者編輯保存期限，若遇食材過期還會自動提醒。 [22]
【智慧烤箱】 Seer Grills Perfecta, 垂直式雙開紅外線烤箱，透過AI可自動分析50種食材進而調整加熱方式，較傳統烤爐速度快十倍，可大量節省能源。 [23]
【智慧馬桶】 Kohler PureWash E930, 聲控馬桶蓋，可支援Alexa, Google助理，可以透過語音啟動噴頭、風乾、紫外線殺菌、前後清洗模式、坐墊加熱、水溫/力度控制等。 [24]
【智慧貓門】 Flappie, 愛貓人士為了方便自家的貓能自由進出家門，在門上安裝一個可自動辨識貓臉的小門，確保進來的是自家的貓，同時也可避免愛貓叨了死老鼠或鳥屍進門。另外可將辨識結果傳給主人，以了解愛貓的生活習慣。 [25]

vMaker_EdgeAI_14_Fig05
Fig. 5 CES 2024 智慧家電相關產品。(OmniXRI整理製作,2024/02/15)

3.3 智慧生活：

利用各類感測器來反應生活環境狀態及自身健康指標已是很普及的技術，如麥克風感應聲音、攝影機模組感應影像、慣性量測單元（IMU）感應運動方向及力道、血氧濃度感測器量測血氧及脈博等。當收集這些感測值加上裝置端AI分析後，就能提供各種辨識、分類及預警，使得生活能夠更加便利。以下就列出幾項相關產品。

【智慧掌紋門鎖】 Philips, Smart Deadbolt DDL250W5KNC/37, 有別於傳統人臉辨識智慧門鎖，這項產品採用掌紋辨識，並支援多種解鎖模式，包括APP、語音助理及傳統鑰匙。 [26]
【智慧腳環】 Evolve, MVNT, 有別傳統運動手環，這項產品是腳環，可更精準計算步數及消耗卡路里，並分析步行品質（腳跟落地方式），幫助使用者更高效消耗熱量及矯正步行姿態。 [27]
【智慧戒指】 Movano, Evie Ring, 是一款以女性為中心的產品，透過高敏感度醫療級感測器，可持續觀測血氧、脈博，並經AI分析後可得知荷爾蒙變化、生理期健康、睡眠活動，進而了解生理變化與情緒關連。 [28]
【智慧望遠鏡】 Swarovskioptik, AX Visio, 在雙筒望遠鏡上再加上一個攝影機，可同步偵測並自動辨識9000種鳥類，當切換辨識模型後亦可辨識哺乳類動物、蜻蜓、蝴蝶等。另外還提供自動標記及分享功能，方便提供給其它同伴觀賞。 [29]

vMaker_EdgeAI_14_Fig06
Fig. 6 CES 2024 智慧生活相關產品。(OmniXRI整理製作,2024/02/15)

小結

CES一向是各廠商展現新產品的競技場，以往只有大公司才有機會參與，現在隨著各國積極輔導新創及各種AI軟韌硬體的加持，讓創意變成事業的機會大幅提升。相信不久的將來這些商品都會落實在生活週遭，這樣我們就會活得越來越精彩及便利了。另外由於本文受限於篇幅有限，如果想更深入了解這些產品，點擊對應的參考文獻連結就看到更完整的介紹。