作者：Jack OmniXRI, 2023/7/3
相信大家最近幾個月都被大型語言模型(Large Language Model，LLM)及人工智慧生成內容（Artificial Intelligence Generated Content, AIGC）給驚豔（驚嚇）到了吧！？好像科幻電影「鋼鐵人」中的虛擬管家「賈維斯（Jarvis）」已經被實現出來了，如果家裡也能有一套，那該有多好啊。目前此類 AI 模型多半都非常巨大，通常只能透過雲端伺服器的強大算力才能運行。為了也能在單機上運行，開始有一些較小規模的模型搭配超強的CPU及GPU也能順利達到交談互動、文章生成等應用。
以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU(內顯HD Graphic, Iris,獨顯Arc）處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型（Generative Pre-trained Transformer,GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。
此次很榮幸得到國內外知名工業電腦大廠「研華科技」提供最新的小型工業電腦主機 EPC-B2278 [1]（Intel 12代CPU, i7-12700TE）進行測試，其中硬體部份還加入 Mobile PCI Express Module（MXM） 介面的 VEGA-X110 [2]，即 Intel 最新獨立顯卡(Arc A370M) ，用來加速AI應用計算。而軟體部份則搭配 Intel OpenVINO 2023.0 來進行LLM模型優化及推論。
為了測試LLM的推論的效能，這裡使用了OpenVINO Notebooks範例中的 GPT-2 文字生成及開源 Dolly 2.0 對話生成進行測試。以下就依序從自然語言對話技術發展歷史、運行系統的硬體規格、軟體開發環境及LLM實驗結果來幫大家介紹一下。
