【簡報導讀-006】用 OpenVINO 和 AI PC 打造聊天機器人

 

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "Building Chatbots with OpenVINO and the AI PC"
影片上傳日期： 2025/7/10
主要講者： Raymond Lo, Intel
主題： 用 OpenVINO 和 AI PC 打造聊天機器人

【簡報導讀-004】邊緣裝置上的大型語言模型

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "LLMs On The Edge"
影片上傳日期： 2025/6/16
主要講者： Sharad Chole
主題： 邊緣裝置上的大型語言模型

【vMaker Edge AI專欄 #23】 邊緣端小語言模型崛起，開發板跟上了嗎？

 作者：Jack OmniXRI, 2024/11/15

2022年底 OpenAI 推出 ChatGPT 後，各大廠紛紛推出自己的大語言模型(Large Language Models, LLM)，讓電腦也能像人類一樣地自然問答。不過一開始的模型參數量都非常驚人，高達數千億個，如 GPT3 就有 1750 億(簡寫成175B)， GPT3.5 更高達 2000億(200B)，因此推論時需要消耗非常巨大的算力、記憶體及電力，所以只能依靠雲端伺服器才能完成。經過這兩年的發展，大語言模型已從數千億個參數漸漸演進到只需數十億到數億個參數就能有不錯的表現，目前不成文約定多半稱70億(7B)個參數以下的模型為小語言模型(Small Language Models, SLM)[1]。而同時邊緣裝置的算力也從數 TOPS@INT8 (每秒運算一兆次八位元整數)提升至數十TOPS，讓邊緣裝置在不連網的情況下也能獨立完成 SLM 的推論工作。

目前可以獨運行LLM的邊緣裝置大致上可分為桌機筆電(AI PC /NB)[2] [3]、行動通訊裝置(AI Phone / Tablet)[4]、單板微電腦(Single Board Computer,SBC / Microprocessor Unit, MPU)及單晶片(Micro Controller Unit, MCU)等不同等級硬體。其中前兩項由於有較強的算力、較多的記憶體及充足的電力供應，因此運行 7B 及以上 LLM 比較沒問題，而後兩項隨硬體配置不同，可能就需要輔助推論加速單元(Neural Processing Unit, NPU / Deep Learning Accelerator, DLA)或者更小的模型或者更好的優化處理或者容許更慢的反應速度。

本文重點將放在後兩者，以下就幫大家盤點一下常見的19個廠商提供的37種小語言模型，16種 MCU / MPU / SoC 等級 LLM 開發板解決方案，讓大家未來在開發相關應用時能有更多選擇。

大語言模型真的搞得懂人類的數學問題嗎？

 作者： Jack OmniXRI 2024/10/31

今天剛好看了一個有趣的新聞[1]提到「面試官問 3, 4, 5 組成最大數字是多少？ 博士神回答妙錄取」，結果答案是「5的43次方 $5^{43}=1.136\ast {10}^{30}$」，當然這是不用計算機的情況下最快的反應出的最佳答案，但如果仔細給計算機精算後會發覺最大數字應該是「3的(4的5次方)次方， $3^{(4^5)}$，即3的1024次方 $3^{1024}=3.734\ast {10}^{488}$」才對，因為多了一個小括號就瞬間讓次方數達到最高。當然如果限制不能增加符號的話，那麼「4的53次方， $4^{53}=8.112\ast {10}^{31}$」 才是最大值而不是「5的43次方」，所以這位面試官也不合格^-。

以下我們就拿這個題目來問幾個LLM，包括Google Gemini, OpenAI ChatGPT, Claude, Perplexity, Microsoft Copilot，看看誰能答的比較好。依序分三次問下列問題。

1. 3，4,，5組成的最大數字是多少？
2. 如果這是腦筋急轉彎的問題，有更好的解法嗎？
3. 「3、4、5組成的最大數字」的答案好像不對，可以重新列出思考步驟，再給出正確答案嗎？

【課程簡報】20240927_生成式AI的發展趨勢以及應用

很高興今天（2024/09/26）受文曄科技與英特爾邀請擔任此次活動講師之一，此次分享時間較長有一個小時，主題為「生成式AI的發展趨勢以及應用」，分為四小段，大綱如下所示。

1. Intel AI PC & NPU 技術演進

• 何謂AI PC ？ 為何需要 NPU？
• 從 Computex 2024 看 Intel 技術藍圖
• 常見 AI PC 主要晶片比較
• Lunar Lake (Core Ultra V200系列) 功耗比較
• Intel NPU 演進
• Lunar Lake (Core Ultra 200V系列) AI 效能
• Geekbench AI 效能評測
• 神經網路技術發展
• 常見影像分類/物件偵測模型參數量
• 常見大型語言模型參數量
• 影像生成 效能/功耗 孰重？

2. OpenVINO 2024 最新亮點

• Intel OpenVINO 簡介
• OpenVINO 2024 亮點 ─ NNCF 模型壓縮
• NNCF 訓練後量化及訓練時優化流程
• OpenVINO 2024 亮點 ─ 異質加速
• OpenVINO 2024 亮點 ─直接支援AI框架
• OpenVINO 2024.2 亮點 – Gen AI API
• OpenVINO 2024.3 亮點 – Hugging Face
• OpenVINO 2024.3 亮點 – dGPU效能提升

3. 如何從決策式 AI 邁向生成式 AI

• 決策式 AI 常見應用
• OpenVINO Open Model Zoo (OMZ)
• OpenVINO Notebooks Colab範例 (1/2)
• OpenVINO Notebooks Colab範例 (2/2)
• 決策式 AI 應用實例 ─ 台達電
• 決策式 AI 應用實例 ─ 垃圾自動分類

4. 生成式AI 開發及應用例

• 生式 AI 常見應用
• OpenVINO 可支援生成式 AI 案例與模型
• 生成式 AI 應用實例 ─ PCBA 3D瑕疵生成
• 生成式 AI 應用實例 ─ 虛擬助理 （數字人）
• 生成式 AI 應用實例 ─ 聲控機器人Tonypi
• OpenVINO Notebooks 範例庫
• OpenVINO Notebooks Pages
• OpenVINO Notebooks AI 範例類型
• Notebooks 範例 ─ 對話生成 LLM Chatbot
• Notebooks 範例 ─ 語音生成 TTS Bark
• Notebooks 範例 ─ 影像生成 TinySD
• Notebooks 範例 ─ 影像生成 ControlNet
• 更多OpenVINO Notebooks AIGC範例(1/2)
• 更多OpenVINO Notebooks AIGC範例(2/2)
• HuggingFace + Intel 預訓練模型庫
• Intel AI Playground 生成式 AI 工具

（可點擊圖片放大觀看）

大型語言模型真的能解所有疑難雜症了嗎？

大型語言模型真的能解所有疑難雜症了嗎？

留言

作者： Jack OmniXRI 2024/09/22

有學過可程式邏輯控制器(Programmable Logic Controller, PLC)的朋友應該都懂得階梯圖(Ladder)這種程式語言吧？甚至老一輩的還會拿手持式程式書寫器直接編寫指令，秀一下輸入手速，來讓徒弟們產生驚訝的表情。而通常入門的朋友一定會學到自保持迴路控制，就像學習電腦語言(Basic, C/C++, Java …)一定會寫「Hallo World!」，玩嵌入式的朋友一定會寫「Blink」一樣。

所謂自保持迴路通常會用在馬達或大動力的設備的開始和停止供電。一般會有一個開始按鍵(X0)、一個停止按鍵(X1)和一個繼電器(Y0)，當按下開始時令繼電器激磁（導通），當按下停止鍵時繼電器結束激磁動作。如果用階梯圖表示則會得到如下圖傳統自保持回路所示，這和傳統配電盤的接線幾乎相同，較受傳統機械和電機人員喜歡。

近年來由於受電腦程式語言影響，有些較高階用法會改用設置(Set)開啟和重置(Reset)關閉來改變繼電器的輸出狀態。這裡暫不討論此類用法。

這兩年大家常說 ChatGPT（這裡泛指所有LLM大型語言模型）已可回答各式各樣的問題，但如果屬於網路上不容易收集或未被大量電子化的資料，此時就會力有未逮，開始胡說八道了。當然如果透過微調(Fine-Tuning)、擷取增強生成(RAG)還是有機會修正到大家可接受的範圍，這裡就先以標準公開的模型來進行測試。

以下就以相同提示句來詢問不同大型語言模型，包括Microsoft Copilot, Google Gemini, OpenAI ChatGPT, Claude, Perplexity ，看看會得到什麼結果。輸入內容為「請使用階梯圖來產生一個自保持回路範例，其中包含二個輸入及一個輸出。」

【vMaker Edge AI專欄 #12】 AI Maker世代即將展開-大家跟上了嗎？

作者：Jack OmniXRI, 2023/12/15

 留言

在現今專業分工的時代，很多事情不用透過自己動手作就能享受時代進步所帶來的便利。大家不用自己買布作衣服，不用買食材自己下廚，家裡燈不亮了，房子想重新裝潢一下，不用自己買電線、木材，都有專業人士可以幫忙。但是自己作手作，完成一項可以改變自己生活的事，從來就不是特定專業人士才享有的能力，只是隨著時代的演進，那些父母時代才有的動手作能力及樂趣已逐漸被人們淡忘。

【開箱評測】研華邊緣智能神器加上Intel OpenVINO讓你不上網也能和Dolly聊聊天

作者：Jack OmniXRI, 2023/7/3

相信大家最近幾個月都被大型語言模型(Large Language Model，LLM)及人工智慧生成內容（Artificial Intelligence Generated Content, AIGC）給驚豔（驚嚇）到了吧！？好像科幻電影「鋼鐵人」中的虛擬管家「賈維斯（Jarvis）」已經被實現出來了，如果家裡也能有一套，那該有多好啊。目前此類 AI 模型多半都非常巨大，通常只能透過雲端伺服器的強大算力才能運行。為了也能在單機上運行，開始有一些較小規模的模型搭配超強的CPU及GPU也能順利達到交談互動、文章生成等應用。

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU(內顯HD Graphic, Iris,獨顯Arc）處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型（Generative Pre-trained Transformer,GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

此次很榮幸得到國內外知名工業電腦大廠「研華科技」提供最新的小型工業電腦主機 EPC-B2278 [1]（Intel 12代CPU, i7-12700TE）進行測試，其中硬體部份還加入 Mobile PCI Express Module（MXM） 介面的 VEGA-X110 [2]，即 Intel 最新獨立顯卡(Arc A370M) ，用來加速AI應用計算。而軟體部份則搭配 Intel OpenVINO 2023.0 來進行LLM模型優化及推論。

為了測試LLM的推論的效能，這裡使用了OpenVINO Notebooks範例中的 GPT-2 文字生成及開源 Dolly 2.0 對話生成進行測試。以下就依序從自然語言對話技術發展歷史、運行系統的硬體規格、軟體開發環境及LLM實驗結果來幫大家介紹一下。