【vMaker Edge AI專欄 #07】TinyML (MCU AI) 運行效能誰說了算？

作者：Jack OmniXRI, 2023/07/17

在電影「食神」中，唐牛和史蒂芬周同時選了佛跳牆來爭奪食神地位，結果唐牛抗議對方抄襲動作，結果裁判說：「比賽就是這樣的！好像跑步游泳一樣，還不是你做什麼他就做什麼！有什麼好抗議的？抗議無效！」。同樣地，在AI晶片或神經加速處理器(Neural Network Processing Unit, NPU或Deep Learning Accelerator, DLA)領域中，大家也都說自家的晶片世界最棒，對手看不到車尾燈，難道沒有一個較為公正衡量晶片運行（推論）效能，就像手機跑分軟體一樣，讓大家比較信服的基準嗎？

其實在AI晶片領域中所謂的「效能」，可能因關心的重點不同而會有不同定義和解讀。分別可從硬體每秒可執行乘加的次數(又可細分FP32,FP16及INT8等)、對於特定模型在指定推論精度下每秒可執行次數或推論一次所需時間（包含有無模型優化處理）、特定模型推論功耗（推論一次耗費焦耳數）、每瓦特可執行乘加指令次數及其它特定規範時的表現，甚至有用每塊美金獲得算力來當成基準。所以常會遇到誰也不服誰，老王賣瓜自賣自誇的現象。

目前較被大家接受的就是ML Commons[1]所提出的MLPerf規範，其中包含訓練及推論兩大項，而推論部份又可細分為資料中心(Datacenter)、邊緣(Edge)、行動(Mobile)及微型(Tiny,大多為MCU)。前不久(2023/6/27)才剛公佈了Tiny v1.1測試結果報告[2]，其中也包括了台灣新唐科技(Nuvoton)及臺灣發展軟體科技(Skymizer)提交的亮眼成果。接下來就幫大家解讀一下這份報告，讓大家能更了解未來單晶片運行AI的方向及可行性。

【開箱評測】研華邊緣智能神器加上Intel OpenVINO讓你不上網也能和Dolly聊聊天

作者：Jack OmniXRI, 2023/7/3

相信大家最近幾個月都被大型語言模型(Large Language Model，LLM)及人工智慧生成內容（Artificial Intelligence Generated Content, AIGC）給驚豔（驚嚇）到了吧！？好像科幻電影「鋼鐵人」中的虛擬管家「賈維斯（Jarvis）」已經被實現出來了，如果家裡也能有一套，那該有多好啊。目前此類 AI 模型多半都非常巨大，通常只能透過雲端伺服器的強大算力才能運行。為了也能在單機上運行，開始有一些較小規模的模型搭配超強的CPU及GPU也能順利達到交談互動、文章生成等應用。

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU(內顯HD Graphic, Iris,獨顯Arc）處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型（Generative Pre-trained Transformer,GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

此次很榮幸得到國內外知名工業電腦大廠「研華科技」提供最新的小型工業電腦主機 EPC-B2278 [1]（Intel 12代CPU, i7-12700TE）進行測試，其中硬體部份還加入 Mobile PCI Express Module（MXM） 介面的 VEGA-X110 [2]，即 Intel 最新獨立顯卡(Arc A370M) ，用來加速AI應用計算。而軟體部份則搭配 Intel OpenVINO 2023.0 來進行LLM模型優化及推論。

為了測試LLM的推論的效能，這裡使用了OpenVINO Notebooks範例中的 GPT-2 文字生成及開源 Dolly 2.0 對話生成進行測試。以下就依序從自然語言對話技術發展歷史、運行系統的硬體規格、軟體開發環境及LLM實驗結果來幫大家介紹一下。