很高興今天（2025/11/29）受慈濟大學工學院資訊工程學系（原生物醫學科技學院醫學資訊學系）李盛安老師邀約，和同學們分享 TinyML （Edge Impulse) & Edge AI (OpenVINO) 相關知識並簡單實作，期望透過此次工作坊能讓同學們更了解從端點智慧感測裝置到 AI PC 鑑別式及生成式 AI 如何開發及應用。
活動簡介： 2025 慈濟大學資訊工程學系 邊緣智慧(Edge AI)及微型機器學習(TinyML)工作坊
快速指令區： https://hackmd.io/@OmniXRI-Jack/TCU_2025_EdgeAI
此次課程分為上下半場，以下是下半場「邊緣智慧（Edge AI） 應用與實作」（Intel OpenVINO） 簡報大綱及課程簡報。上半場課程簡報可參考這個連結「微型機器學習(TinyML)應用與實作 （Edge Impulse）」。
作者： Jack OmniXRI, 2025/09/01
2023 年底 Intel 推出了新一代內建神經網路加速器（NPU）的中央處理器（CPU） - Meteor Lake （Core Ultra）從此開啟 AI PC 的新世代。由於第一代 AI PC 算力略低，加上當時的生成式AI相關模型都很巨大（數百億到數千億參數）因此未能獲得市場青睞。2024 年底 Intel 再次推出二代 AI PC，使用 Lunar Lake (Core Ultra 200V) 系列 CPU，其中內建的 NPU 及 GPU 算力大幅提升至 47 及 67 TOPS（@INT8），同時配合較小模型（數億到數十億參數）就能完成自然對話及影像生成，使得生成式 AI 應用得以普及，實現不用上網就能在本地（筆電/桌機）端執行。
一般在雲端環境執行大語言模型(LLM)或文字生成影像(Image Diffusion)功能時，多半會搭配很簡潔的人機介面，使用者幾乎不用考慮環境如何架設、程式如何撰寫，只要幾個文字框、圖框、按鍵作為輸出入介面，再加上幾個設定值就可馬上得到生成後的結果。但若要在本地端得到類似結果，則通常有很多安裝及設定工作要完成，對於非程式開發者的使用族群就變得不太友善。因此 Intel 為滿足這個需求，整合自家 NPU / GPU 硬體強大算力及 OpenVINO 開源推論工具包開發出一套「AI Playground」[1]，讓聊天對話、文字生成影像及影像強化輕輕鬆鬆就能完成。
通常使用雲端生成式服務需要付費，用越多則需要付越多錢，少數免費的服務則有使用數量上的限制，而使用 AI Playground 則不需額外花費半毛錢，可盡情的產生對話及生成圖片。2024年7月已有釋出免費測試版執行檔，2025年4月更開源相關程式碼，方便使用者發揮 AI PC 更多效益及開發出更多個人化版本。
以下就分別就「測試環境」、「安裝步驟」、「可支援模型」、「【創作】影像生成」、「【增強】影像強化」、「【對話】聊天機器人」等內容作進一步說明。
為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。
原始Youtube影片： "Building Chatbots with OpenVINO and the AI PC"
影片上傳日期： 2025/7/10
主要講者： Raymond Lo, Intel
主題： 用 OpenVINO 和 AI PC 打造聊天機器人
為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。
原始Youtube影片： "Run GenAI locally: No cloud needed! | Local AI inference on Intel AI PC"
影片上傳日期： 2025/6/4
主要講者： Adrian Boguszewski
主題： 本機執行 GenAI：無需雲端！Intel AI PC 上的本機 AI 推理技術
為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。
原始Youtube影片： "AI Acceleration With Efficient Intel Hardware"
影片上傳日期： 2025/6/4
主要講者： Vijay Bandari
主題： Intel 硬體在 AI 加速中的應用
很高興今天(2025/5/23)受研華科技邀約擔任「Advantech at Computex 2025 - Edge Computing & WISE-Edge in Action 現場直播」講者，和大家分享一下「開發者如何選擇低功耗、高效能的生成式AI開發方案」。此次簡報大網如下所示。
* 生成式AI開發及部署挑戰
* AI 發展趨勢
* 生成式 AI 主要應用
* 生成式 AI 主要開發流程
* 生成式 AI 部署挑戰
* WINTEL下OpenVINO如何助力
* WINTEL 下如何建構生成式 AI 應用
* Intel Core Ultra 演進
* Intel Core Ultra 功耗比較
* 何謂 Intel OpenVINO ?
* Intel OpenVINO Notebooks
* Intel OpenVINO 鑑別式 AI 應用
* Intel OpenVINO 生成式 AI 應用
* Intel 快速建構部署模型工具 ─ Geti
* 研華 Edge AI 解決方案
* Core Ultra Processors(Series 2)
* Endoscopic Ultrasound Solutions
* Autonomous Robot Solution
* Intel Core Ultra 應用實例
* Intel Core Ultra 應用實例 ─ 智慧零售
* Intel Core Ultra 應用實例 ─ 虛擬分身
* Intel Core Ultra 應用實例 ─ 圖像生成
* Intel Core Ultra 應用實例 ─ 多模態整合
* 小結
文末有Youtube直播影片連結
(點擊圖片放大）
作者： Jack OmniXRI 2025/3/24
隨著生成式人工智慧(Generative Artificial Intelligence, GenAI)技術的日益普及，數位分身(Digital Avatar)或稱數字人(Digital Human)也開始出現在很多智慧客服及人機互動應用上，讓使用者再也不用面對冷冰冰的機器進行操作。一個完整的數位分身，就像真人一樣，要具有自然語言對話、豐富肢體動作和產生生動表情的能力，其中就需要用到許多生成式AI技術，包括利用語音轉文字(Speech to Text, STT)得到問題的文字，交給大語言模型(Large Language Model, LLM)進行文字問答，再將文字轉語音(Text to Speech, TTS)把答案讀出，最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。
去（2024）年底曾寫過一篇文章「如何使用 Intel AI PC 及 OpenVINO 實現虛擬主播」[1]，介紹了數位分身所需擁有的文字轉語音和聲音自動嘴型功能，算是實現了數位分身的後半段「自動讀稿機」的能力。此次就來幫大家介紹前半段，使用麥克風收音進行問話，然後再使用大語言模型來思考及產生問答結果，如此就能搞定數位分身的前半段，構成一個簡單完整的系統。
