【簡報導讀-002】 Intel 硬體在 AI 加速中的應用

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "AI Acceleration With Efficient Intel Hardware"
影片上傳日期： 2025/6/4
主要講者： Vijay Bandari
主題： Intel 硬體在 AI 加速中的應用 

【課程簡報】20250523_研華科技Computex_開發者如何選擇低功耗、高效能的生成式AI開發方案

很高興今天(2025/5/23)受研華科技邀約擔任「Advantech at Computex 2025 - Edge Computing & WISE-Edge in Action 現場直播」講者，和大家分享一下「開發者如何選擇低功耗、高效能的生成式AI開發方案」。此次簡報大網如下所示。

* 生成式AI開發及部署挑戰  
    *  AI 發展趨勢  
    *  生成式 AI 主要應用  
    *  生成式 AI 主要開發流程
    *  生成式 AI 部署挑戰    
* WINTEL下OpenVINO如何助力  
    * WINTEL 下如何建構生成式 AI 應用  
    * Intel Core Ultra 演進  
    * Intel Core Ultra 功耗比較  
    * 何謂 Intel OpenVINO ?  
    * Intel OpenVINO Notebooks  
    * Intel OpenVINO 鑑別式 AI 應用  
    * Intel OpenVINO 生成式 AI 應用 
    * Intel 快速建構部署模型工具 ─ Geti 
* 研華 Edge AI 解決方案  
    * Core Ultra Processors(Series 2)  
    * Endoscopic Ultrasound Solutions  
    * Autonomous Robot Solution  
* Intel Core Ultra 應用實例 
    * Intel Core Ultra 應用實例 ─ 智慧零售  
    * Intel Core Ultra 應用實例 ─ 虛擬分身  
    * Intel Core Ultra 應用實例 ─ 圖像生成
    * Intel Core Ultra 應用實例 ─ 多模態整合
* 小結

文末有Youtube直播影片連結

 (點擊圖片放大）

 

 

如何在Intel DevCloud中執行OpenVINO Notebooks範例

Intel OpenVINO在2021.4版後開始提供很多現成完整Jupyter Notebook格式(*.ipynb)的範例程式，在官方說明文件稱之為「Tutorials」[1]，同時在Github上開源[2]，可於多種平台上運行，包括Windows, Ubuntu, macOS ...，對於初學者學習OpenVINO有很大的幫助。

不過目前這些範例並不方便在Google Colab環境下運行，若想在雲端體驗則要靠Intel DevCloud (類似Google Colab環境) 來運行，這個環境已預安裝好OpenVINO（版本可自由切換）很方便進行Python程式開發及執行。不過預設啟動後，只會看到內建的一些範例[3]，並不會看到OpenVINO Notebooks的範例。接下來就簡單說明要如何在DevCloud下運行OpenVINO Notebooks。

如Fig. 1所示，進入DevCloud後，先切換到終端機環境。執行下列指令，下載Notebooks範例到DevCloud提供的雲端硬碟區，這裡和Google Colab提供的服務方式不同，登出後仍會保留，下次進來就可直接使用不需再重新下載。

git clone --depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git

完成下載後，會在左邊檔案清單中看到新增了一個「openvino_notebooks」的路徑，點進去後會看到「notebooks」的路徑，再進去後就可看到數十個檔案夾，就是Tutorials的範例。隨便點一個進去，如「001-hello-world」，再雙擊「001-hello-world.ipynb」就會載入範例原始碼。按下選單上快捷鍵「雙鍵頭」就能全部運行了。

這裡通常會建議選用OpenVINO 2022.3版執行，但若要測試較舊的版本，官方是建議不要低於2021.4 LTS，以免範例無法順利運行。

Fig. 1 Intel DevCloud下載及執行OpenVINO Notebooks範例流程圖。(OmniXRI整理製作, 2023/03/28) 

更多範例的操作說明可參閱官方說明文件[1]。

 參考文獻

[1] Intel OpenVINO Document - Tutorials https://docs.openvino.ai/latest/tutorials.html

[2] Intel OpenVINO Toolkit Github - openvino_notebooks https://github.com/openvinotoolkit/openvino_notebooks

[3] Intel DevCloud - Sample Applications https://www.intel.com/content/www/us/en/developer/tools/devcloud/edge/build/sample-apps.html 

支援Intel十一代Tiger Lake UP3工業電腦參考名單

 

圖片來源

未來Intel十一代CPU（Tiger Lake UP3)將整合自家GPU Xe，未來在AI領域的模型練訓上效能將大幅提升，若再配合OpenVINO使用，會比單用CPU（AVX指令集、MKL加速函式庫）或VPU（神經運算棒NCS）進行AI推論的速度高出許多。目前OpenVINO 2021.1版已可支援Tiger Lake。

十一代Tiger Lake主要有下面幾款 [wiki] [Intel]

• Intel® Core™ i7-1185G7E
• Intel® Core™ i7-1165G7E
  
• Intel® Core™ i5-1145G7E
• Intel® Core™ i5-1135G7E
• Intel® Core™ i3-1125G4E
  
• Intel® Core™ i3-1115G4E
• Intel® Pentium Gold® 7505
  
• Intel® Celeron® 6305E

其中Tiger Lake UP3 i7 / i5 自帶GPU為Iris Xe，分別有96 / 80個執行單元(EUs)，而其它自帶的GPU為UHD Graphics，有48個執行單元。

接下來整理了已上市（或快上市）嵌入式機種（不含筆電類型）或模組板，共有8家公司（研華、研揚、凌華、新漢、威強電、安富利、瑞傳、超微），14款產品，如有疏漏煩請於留言區交流補充，謝謝！

(點擊型號文字可連結至各產品官網介紹）

【課程簡報】Intel人工智慧運算 #1─快速掌握機器手臂視覺辨識技術

很高興這次能和Intel & Sertek & MakerPro共同合作擔任「Intel人工智慧運算」線上系列課程講師，本次主題為「快速掌握機器手臂視覺辨識技術」，共有三小段課程，包括：

1. 【Overview】Intel OpenVINO及RealSense的定位與特色　盧育德（Collins Lu）
2. 【Tech Review】OpenVINO x 機器手臂視覺辨識技術　許哲豪（Jack Hsu）
3. 【Use Case Demo】工廠產線的機器手臂視覺應用　顏清輝（Gray Yan）
   

 

這是一項免費課程，只要上網完成註冊及報名就能觀看完整教學影片，完整課程連結 ： https://makerpro.cc/learning/