【vMaker Edge AI專欄 #23】 邊緣端小語言模型崛起，開發板跟上了嗎？

 作者：Jack OmniXRI, 2024/11/15

2022年底 OpenAI 推出 ChatGPT 後，各大廠紛紛推出自己的大語言模型(Large Language Models, LLM)，讓電腦也能像人類一樣地自然問答。不過一開始的模型參數量都非常驚人，高達數千億個，如 GPT3 就有 1750 億(簡寫成175B)， GPT3.5 更高達 2000億(200B)，因此推論時需要消耗非常巨大的算力、記憶體及電力，所以只能依靠雲端伺服器才能完成。經過這兩年的發展，大語言模型已從數千億個參數漸漸演進到只需數十億到數億個參數就能有不錯的表現，目前不成文約定多半稱70億(7B)個參數以下的模型為小語言模型(Small Language Models, SLM)[1]。而同時邊緣裝置的算力也從數 TOPS@INT8 (每秒運算一兆次八位元整數)提升至數十TOPS，讓邊緣裝置在不連網的情況下也能獨立完成 SLM 的推論工作。

目前可以獨運行LLM的邊緣裝置大致上可分為桌機筆電(AI PC /NB)[2] [3]、行動通訊裝置(AI Phone / Tablet)[4]、單板微電腦(Single Board Computer,SBC / Microprocessor Unit, MPU)及單晶片(Micro Controller Unit, MCU)等不同等級硬體。其中前兩項由於有較強的算力、較多的記憶體及充足的電力供應，因此運行 7B 及以上 LLM 比較沒問題，而後兩項隨硬體配置不同，可能就需要輔助推論加速單元(Neural Processing Unit, NPU / Deep Learning Accelerator, DLA)或者更小的模型或者更好的優化處理或者容許更慢的反應速度。

本文重點將放在後兩者，以下就幫大家盤點一下常見的19個廠商提供的37種小語言模型，16種 MCU / MPU / SoC 等級 LLM 開發板解決方案，讓大家未來在開發相關應用時能有更多選擇。

【課程簡報】20241117_中央大學_創意專題製作心法：從想法評估、可行性分析到新創競賽

今天很高興受中央大學土木工程系林子軒老師邀約，擔任苗圃計畫工作坊講師，和同學們聊聊「創意專題製作心法：從想法評估、可行性分析到新創競賽」這個主題，並將過往參加創業競賽及擔任評審的心得分享給大家，順便指導一下同學們目前正在進行的專案，希望未來不管是參加比賽或是創業都能有所助益。以下將此次課程簡報分享給大家參考。

（點擊圖放大）

歐尼克斯實境互動工作室部落格成立七週年

從2017/11/8創建這個部落格至今已滿七年了，又是到了自我檢視的時候了。感謝過去一年間大家的支持，點閱次數已累積532,254次，較去年新增109,642次，新增貼文61篇。相較去年貼文數38篇增加了近一倍多，點閱率較去年的39,954增加了二倍多。

以往發文時會大力在FB各AI社團上貼文分享獲取一些流量，但這兩年由於AI社團氛圍大多轉向 LLM & GenAI ，我寫的內容仍偏 Edge AI & TinyML ，且中規中矩沒有太多爆點，因此就較少大量轉發。而且今年的文章很多同步到 Medium & HackMD，因此也分散了一些流量到部落上（這兩項媒體較不容易統計總量，因此就未加入分析）。

 

到2024/11/8部落格累積瀏覽數統計

 

今(2024)年點擊率上升猜想還有另一個因素，就是今年二月受李宏毅老師感召，於是從三月開始在Youtube上連開了16週的「OmniXRI's Edge AI & TinyML小學堂」直播課程，獲得大量網友支持，Youtube合計近萬次瀏覽次數，間接連帶部落格也受益，也算另一種成果，讓我晉升成為小網紅。

除了部落格外，平日花最多心力的還是經營「Edge AI Taiwan 邊緣智能交流區」FB 社團，經過多年的努力，成員數也已破萬，其成果還受到 Intel & Arm 的關注，讓小弟有幸成為台灣地區第一位英特爾創新大使（Intel Innovator, 2023)（目前全世界不分領域近千位，榮譽職），今年也成為第一位 Arm 開發者大使(Arm Ambassador, 2024) （目前全世界共130位，榮譽職），這也是大家支持下的功勞。

經營自媒體及學習型社群是非常辛苦的，這是一份無給職的工作，我只能盡力而為，如果有作的不好的或者想更進一步交流的地方歡迎隨時留言。不過這裡補充一點，如果是商業單位尋求合作，請不要以為可以像社群一樣可以免費取得服務，畢竟我要靠這點收入來支撐這些半公益性的服務。

以下就是過去一年的成果，感謝大家的點閱、按讚，讓我有繼續寫下去的動力，如果覺得部落格、FB社團中的內容及Youtube的影片還用得上，歡迎多多分享給需要的人，謝謝！

2023/11/8-2024/11/8 部落格瀏覽數統計

2023/11/8-2024/11/8 Top10文章清單(1/2)

2023/11/8-2024/11/8 Top10文章清單(2/2)

延伸閱讀

 歐尼克斯實境互動工作室部落格成立六週年