【簡報導讀-006】用 OpenVINO 和 AI PC 打造聊天機器人

 

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "Building Chatbots with OpenVINO and the AI PC"
影片上傳日期： 2025/7/10
主要講者： Raymond Lo, Intel
主題： 用 OpenVINO 和 AI PC 打造聊天機器人

 

Podcast

雙人對話式 Podcast 重點摘要：

 

簡報摘要

概述：AI 聊天機器人的演進與 Intel 的角色

Raymond Lo (Intel) 在本次演講中深入探討了如何利用 OpenVINO 和 AI PC 建構功能強大的聊天機器人（有時稱為代理人），強調了機器與人類進行有意義互動的潛力。他認為，讓機器與人對話曾是一項挑戰，但現在已成為強大的現實，並能為消費者和專業人士帶來巨大的好處。

核心主題與重要觀點：

1. 聊天機器人與人機互動的變革：
   Raymond Lo 強調了人機互動從傳統鍵盤滑鼠操作發展到更自然的對話式體驗的轉變。他以醫療保健為例，說明了聊天機器人如何減少等待時間、提高效率，甚至協助醫生進行筆記。他分享了一個觀察：「我看到醫生上週或幾週前看診時，他已經打開手機在錄音，將我們的對話轉錄下來，並在需要額外關注時提供更好的體驗。」

2. AI PC 作為個人伴侶的潛力：
   Intel 將個人電腦（PC）定位為最佳的 AI 伴侶，不僅能夠執行大型語言模型（LLM），還能處理視覺語言模型。這代表著「您的 PC 雖然擺在您面前，卻可能是最好的伴侶。」他提及 Microsoft Build 會議上，科學家已開始將這些工具應用於科學發現。針對消費者應用，Raymond Lo 舉例說明智慧攝影機結合 LLM 如何回答有關嬰兒活動的問題，例如：「我的寶寶在玩電腦鍵盤」。這證明了「我們可以在邊緣設備上製造極其智慧的電腦，而不需要大量的計算能力。」

3. 邊緣運算中的模型優化與 RAG 技術：
   在邊緣設備上部署 AI 時，模型尺寸和推理能力是關鍵挑戰。為了解決這些問題，OpenVINO 致力於優化模型，使其能夠在有限的記憶體中運行。Raymond Lo 強調了 RAG (Retrieval-Augmented Generation) 技術的重要性，該技術能夠「為聊天機器人增加資訊」，使其在邊緣使用案例中更具語境感知能力，例如為餐廳的漢堡菜單提供資訊。他提到：「當你有 RAG 時，它允許你將資訊擴增到聊天機器人，例如，如果我沒有給你文件，它就不會知道什麼是 AIPC。」

4. Intel 的硬體加速與 OpenVINO 的整合：
   Intel 在加速 AI 工作負載方面取得了顯著進展，使得僅在幾年前還無法在本地運行的任務現在成為可能。他舉例說明，在本地 GPU 上生成一張高品質泰迪熊圖片僅需 8 秒，而使用 Intel Arc GPU 甚至只需 2 秒。這展示了「您今天筆記型電腦上的 GPU 很可能已經足夠了。」
   OpenVINO 扮演著核心角色，它是一個跨平台、跨作業系統、跨架構、跨模型（PyTorch, TensorFlow, PaddlePaddle 等）的優化工具。其目標是「壓縮這些模型，確保它們能夠適應小型尺寸」，無論是在小型筆記型電腦還是在雲端。Intel 的硬體產品線涵蓋從邊緣到雲端的廣泛設備，包括 CPU、GPU 和針對高效率低功耗邊緣設備的 MPU (Neural Processing Unit)。

5. 與 Microsoft 生態系統的深度整合：
   Intel 與 Microsoft 建立了重要的合作關係。Raymond Lo 宣布：「我們現在正與許多非常多優秀的客戶和合作夥伴合作。」這包括將 OpenVINO 的量化和性能分析技術整合到 Microsoft 的 AI Foundation 和 Windows ML 生態系統中。未來，當用戶購買 PC 時，OpenVINO 將預載，以確保最佳的 AI 性能：「它將預載 OpenVINO，當您下載模型時，您將獲得最佳的性能。」

6. 軟體優化的重要性（量化與記憶體管理）：
   Raymond Lo 強調軟體優化對於 AI 性能的關鍵作用，特別是量化技術 (quantization)。他指出，將模型從 32 位元量化到 8 位元（甚至更低）可以顯著提升性能，因為底層的晶片具有專門的計算單元來處理 8 位元指令。他表示：「如果沒有優化，基本上意味著你只使用了你硬體的一半或更少。」他提到，對於某些電腦視覺任務，量化甚至可能改善模型的去噪效果。
   記憶體管理是另一個關鍵因素。Raymond Lo 提到，幾年前大型語言模型無法在本地運行，主要是因為記憶體溢出。透過軟體優化和演算法，可以顯著減少記憶體佔用，例如將 70 億參數的 Llama 模型從 25GB RAM 降低，使其能夠在更經濟的硬體上運行。他總結說：「記憶體是記憶體，你無法一夜之間將它翻倍，但如果你做對了軟體、用對了演算法，你可以顯著減少它。」

7. OpenVINO 的易用性與資源：
   為了讓開發者更容易上手，OpenVINO 提供了豐富的資源：

• 預優化模型庫： Intel 已經為數千個模型進行了優化，並提供了性能基準測試，幫助開發者預測模型在不同硬體上的運行效果。這些模型可在 Hugging Face 上的 OpenVINO 共享儲存庫中找到。
• 程式碼範例與 Notebooks： 提供了易於運行的腳本和近 200 個 Notebook 範例，涵蓋從電腦視覺到自然語言處理的各種應用，旨在簡化開發流程。
• RAG 演示： 展示了 OpenVINO 如何與 LangChain、LlamaIndex 等熱門 LLM 工具整合。
• Open Edge Platform： 用於在邊緣設備上部署和管理 AI 應用。
• NNCF (Neural Network Compression Framework)： 一個開源庫，用於模型壓縮和量化。
  Raymond Lo 鼓勵年輕的專業人士和學生從 OpenVINO 入手，因為它提供了一個「最全面的庫」。他分享了業界秘密：「我建立的每個演示都只需要兩週，因為我必須趕上業界。」這說明了 OpenVINO 能夠顯著縮短從想法到實際部署的時間。

對行業的建議：

Raymond Lo 認為，傳統 AI（如 YOLO）並未過時，而是可以透過生成式 AI 的靈活性和交互性進行增強。他建議行業應思考如何提高舊有系統的效率，並使產品更具交互性。他以 YOLO-YE 的例子說明，如何結合 CLIP 實現更靈活的物件識別，即使是從未見過的新物體。最終目標是「能否為用戶創造良好的體驗」，因為「我們現在可以創造體驗，這是我認為關鍵的轉折點。」

總結：

本次簡報強調了 Intel 及其 OpenVINO 在推動 AI 邊緣運算和人機互動方面的核心作用。透過硬體加速、軟體優化（特別是模型壓縮和記憶體管理）、與產業夥伴的深度整合以及豐富的開發者資源，Intel 正致力於讓 AI 應用更易於開發、部署並在日常設備上實現高效運行，最終創造更具交互性和沉浸感的用戶體驗。