【課程簡報】20250523_研華科技Computex_開發者如何選擇低功耗、高效能的生成式AI開發方案

很高興今天(2025/5/23)受研華科技邀約擔任「Advantech at Computex 2025 - Edge Computing & WISE-Edge in Action 現場直播」講者，和大家分享一下「開發者如何選擇低功耗、高效能的生成式AI開發方案」。此次簡報大網如下所示。

* 生成式AI開發及部署挑戰  
    *  AI 發展趨勢  
    *  生成式 AI 主要應用  
    *  生成式 AI 主要開發流程
    *  生成式 AI 部署挑戰    
* WINTEL下OpenVINO如何助力  
    * WINTEL 下如何建構生成式 AI 應用  
    * Intel Core Ultra 演進  
    * Intel Core Ultra 功耗比較  
    * 何謂 Intel OpenVINO ?  
    * Intel OpenVINO Notebooks  
    * Intel OpenVINO 鑑別式 AI 應用  
    * Intel OpenVINO 生成式 AI 應用 
    * Intel 快速建構部署模型工具 ─ Geti 
* 研華 Edge AI 解決方案  
    * Core Ultra Processors(Series 2)  
    * Endoscopic Ultrasound Solutions  
    * Autonomous Robot Solution  
* Intel Core Ultra 應用實例 
    * Intel Core Ultra 應用實例 ─ 智慧零售  
    * Intel Core Ultra 應用實例 ─ 虛擬分身  
    * Intel Core Ultra 應用實例 ─ 圖像生成
    * Intel Core Ultra 應用實例 ─ 多模態整合
* 小結

文末有Youtube直播影片連結

 (點擊圖片放大）

 

 

【開箱評測】看研華科技 AIR-150 搭載 Hailo-8 26TOPS AI推論晶片如何成為邊緣智慧新利器

作者：許哲豪（Jack Hsu）, 2024/4/22

將智慧應用服務從雲端移向邊緣端已漸漸成為主流趨勢，邊緣智慧(Edge AI)裝置無需上網就能獨立運作，且擁有高隱私、高速回應、低功耗、低成本等特性，但也常因場地、空間及算力限制，所以不容易找到合適的設備可以使用，尤其像是電腦視覺這類高算力需求應用。

常見的電腦視覺AI應用中有影像分類、物件偵測、人臉相關（如身份、特徵點、表情）、影像（語義、實例）分割、姿態估測（骨架、手勢偵測）、超解析度、深度估測、影像增強(低照、去噪)等應用。通常模型推論一次所需計算量從不到 1 TOPS(每秒一兆次運算)到數十 TOPS不等，若再加上滿足二次推論間隔 、影像前後處理及多攝影機（多串流影像）問題，則一般 CPU 絕對難以負擔，而使用獨立 GPU 則體積大散熱不易且又貴又耗電，那麼如何選用足夠算力的AI加速卡就變得非常重要。

此次很高興受到研華科技(Advantech)邀約，取得一款巴掌大超迷你無風扇的微型工業電腦【AIR-150】[1]進行評測。這款機器內搭 M.2 型式 【Hailo-8 高效 AI 加速模組】[2]，具有 26 TOPS 推論能力，正好可以解決惡劣環境、空間窄小及AI應用推論算力不足的問題。

為了讓大家更了解這款機器在邊緣智慧整體效能如何，以下分別從硬體規格、開發環境建置、模型選用轉換及推論性能實測結果來幫大家介紹一下，希望能有助於大家未來專案建置及選用。

20240424_研華科技_掌握Edge AI開發即戰力實務工作坊

很高興今天(2024/04/24)受研華科技及MakerPRO邀約，擔任「掌握Edge AI開發即戰力實務工作坊」課程講師。這個活動中我的部份分為上下兩段，第一段「Edge AI 落地應用現況與挑戰」（10分鐘），第二段「Edge AI SDK 教學、建置示範與應用實例剖析」（80分鐘），主要大綱及完整內容如下所示。

 <Edge AI 落地應用現況與挑戰>

• Edge AI 系統選用
• Edge AI 應用現況
• Edge AI 開發挑戰

<Edge AI 落地應用現況與挑戰>

• 研華 AIR-150 簡介
• Edge AI SDK 簡介
• Hailo-8 系統架構
• Hailo-8 環境建置
• Model Zoo簡介
• TAPPAS 案例操作

 （點擊圖片放大）

【開箱評測】研華邊緣智能神器加上Intel OpenVINO讓你不上網也能和Dolly聊聊天

作者：Jack OmniXRI, 2023/7/3

相信大家最近幾個月都被大型語言模型(Large Language Model，LLM)及人工智慧生成內容（Artificial Intelligence Generated Content, AIGC）給驚豔（驚嚇）到了吧！？好像科幻電影「鋼鐵人」中的虛擬管家「賈維斯（Jarvis）」已經被實現出來了，如果家裡也能有一套，那該有多好啊。目前此類 AI 模型多半都非常巨大，通常只能透過雲端伺服器的強大算力才能運行。為了也能在單機上運行，開始有一些較小規模的模型搭配超強的CPU及GPU也能順利達到交談互動、文章生成等應用。

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU(內顯HD Graphic, Iris,獨顯Arc）處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型（Generative Pre-trained Transformer,GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

此次很榮幸得到國內外知名工業電腦大廠「研華科技」提供最新的小型工業電腦主機 EPC-B2278 [1]（Intel 12代CPU, i7-12700TE）進行測試，其中硬體部份還加入 Mobile PCI Express Module（MXM） 介面的 VEGA-X110 [2]，即 Intel 最新獨立顯卡(Arc A370M) ，用來加速AI應用計算。而軟體部份則搭配 Intel OpenVINO 2023.0 來進行LLM模型優化及推論。

為了測試LLM的推論的效能，這裡使用了OpenVINO Notebooks範例中的 GPT-2 文字生成及開源 Dolly 2.0 對話生成進行測試。以下就依序從自然語言對話技術發展歷史、運行系統的硬體規格、軟體開發環境及LLM實驗結果來幫大家介紹一下。