20241204_元大證券2024年第四季投資論壇-2025 AI機器人全球發展趨勢與台廠商機

作者：許哲豪(Jack Hsu), 2024/12/04

相關課程簡報不公開，以下僅提供相關參考連結。

簡報大網

• 如何從工業機器人如何邁向AI機器人
  • 機器手臂
  • 輪型機器人
  • 多足型機器人
  • 類人型機器人
• AI機器人系統分析與主要供應台商
  • 傳動系統與智慧感測
  • 工業電腦與AI加速硬體
  • 決策型智慧系統
  • 生成型智慧系統
• AI機器人發展趨勢及投資重點
  • AI機器人應用場域及預期市場規模
  • AI模型建置與伺服器需求
  • 雲端應用與邊緣智慧
  • AI機器人面臨之挑戰
• 總結

【vMaker Edge AI專欄 #23】 邊緣端小語言模型崛起，開發板跟上了嗎？

 作者：Jack OmniXRI, 2024/11/15

2022年底 OpenAI 推出 ChatGPT 後，各大廠紛紛推出自己的大語言模型(Large Language Models, LLM)，讓電腦也能像人類一樣地自然問答。不過一開始的模型參數量都非常驚人，高達數千億個，如 GPT3 就有 1750 億(簡寫成175B)， GPT3.5 更高達 2000億(200B)，因此推論時需要消耗非常巨大的算力、記憶體及電力，所以只能依靠雲端伺服器才能完成。經過這兩年的發展，大語言模型已從數千億個參數漸漸演進到只需數十億到數億個參數就能有不錯的表現，目前不成文約定多半稱70億(7B)個參數以下的模型為小語言模型(Small Language Models, SLM)[1]。而同時邊緣裝置的算力也從數 TOPS@INT8 (每秒運算一兆次八位元整數)提升至數十TOPS，讓邊緣裝置在不連網的情況下也能獨立完成 SLM 的推論工作。

目前可以獨運行LLM的邊緣裝置大致上可分為桌機筆電(AI PC /NB)[2] [3]、行動通訊裝置(AI Phone / Tablet)[4]、單板微電腦(Single Board Computer,SBC / Microprocessor Unit, MPU)及單晶片(Micro Controller Unit, MCU)等不同等級硬體。其中前兩項由於有較強的算力、較多的記憶體及充足的電力供應，因此運行 7B 及以上 LLM 比較沒問題，而後兩項隨硬體配置不同，可能就需要輔助推論加速單元(Neural Processing Unit, NPU / Deep Learning Accelerator, DLA)或者更小的模型或者更好的優化處理或者容許更慢的反應速度。

本文重點將放在後兩者，以下就幫大家盤點一下常見的19個廠商提供的37種小語言模型，16種 MCU / MPU / SoC 等級 LLM 開發板解決方案，讓大家未來在開發相關應用時能有更多選擇。

【課程簡報】20241117_中央大學_創意專題製作心法：從想法評估、可行性分析到新創競賽

今天很高興受中央大學土木工程系林子軒老師邀約，擔任苗圃計畫工作坊講師，和同學們聊聊「創意專題製作心法：從想法評估、可行性分析到新創競賽」這個主題，並將過往參加創業競賽及擔任評審的心得分享給大家，順便指導一下同學們目前正在進行的專案，希望未來不管是參加比賽或是創業都能有所助益。以下將此次課程簡報分享給大家參考。

（點擊圖放大）

歐尼克斯實境互動工作室部落格成立七週年

從2017/11/8創建這個部落格至今已滿七年了，又是到了自我檢視的時候了。感謝過去一年間大家的支持，點閱次數已累積532,254次，較去年新增109,642次，新增貼文61篇。相較去年貼文數38篇增加了近一倍多，點閱率較去年的39,954增加了二倍多。

以往發文時會大力在FB各AI社團上貼文分享獲取一些流量，但這兩年由於AI社團氛圍大多轉向 LLM & GenAI ，我寫的內容仍偏 Edge AI & TinyML ，且中規中矩沒有太多爆點，因此就較少大量轉發。而且今年的文章很多同步到 Medium & HackMD，因此也分散了一些流量到部落上（這兩項媒體較不容易統計總量，因此就未加入分析）。

 

到2024/11/8部落格累積瀏覽數統計

 

今(2024)年點擊率上升猜想還有另一個因素，就是今年二月受李宏毅老師感召，於是從三月開始在Youtube上連開了16週的「OmniXRI's Edge AI & TinyML小學堂」直播課程，獲得大量網友支持，Youtube合計近萬次瀏覽次數，間接連帶部落格也受益，也算另一種成果，讓我晉升成為小網紅。

除了部落格外，平日花最多心力的還是經營「Edge AI Taiwan 邊緣智能交流區」FB 社團，經過多年的努力，成員數也已破萬，其成果還受到 Intel & Arm 的關注，讓小弟有幸成為台灣地區第一位英特爾創新大使（Intel Innovator, 2023)（目前全世界不分領域近千位，榮譽職），今年也成為第一位 Arm 開發者大使(Arm Ambassador, 2024) （目前全世界共130位，榮譽職），這也是大家支持下的功勞。

經營自媒體及學習型社群是非常辛苦的，這是一份無給職的工作，我只能盡力而為，如果有作的不好的或者想更進一步交流的地方歡迎隨時留言。不過這裡補充一點，如果是商業單位尋求合作，請不要以為可以像社群一樣可以免費取得服務，畢竟我要靠這點收入來支撐這些半公益性的服務。

以下就是過去一年的成果，感謝大家的點閱、按讚，讓我有繼續寫下去的動力，如果覺得部落格、FB社團中的內容及Youtube的影片還用得上，歡迎多多分享給需要的人，謝謝！

2023/11/8-2024/11/8 部落格瀏覽數統計

2023/11/8-2024/11/8 Top10文章清單(1/2)

2023/11/8-2024/11/8 Top10文章清單(2/2)

延伸閱讀

 歐尼克斯實境互動工作室部落格成立六週年

大語言模型真的搞得懂人類的數學問題嗎？

 作者： Jack OmniXRI 2024/10/31

今天剛好看了一個有趣的新聞[1]提到「面試官問 3, 4, 5 組成最大數字是多少？ 博士神回答妙錄取」，結果答案是「5的43次方 $5^{43}=1.136\ast {10}^{30}$」，當然這是不用計算機的情況下最快的反應出的最佳答案，但如果仔細給計算機精算後會發覺最大數字應該是「3的(4的5次方)次方， $3^{(4^5)}$，即3的1024次方 $3^{1024}=3.734\ast {10}^{488}$」才對，因為多了一個小括號就瞬間讓次方數達到最高。當然如果限制不能增加符號的話，那麼「4的53次方， $4^{53}=8.112\ast {10}^{31}$」 才是最大值而不是「5的43次方」，所以這位面試官也不合格^-。

以下我們就拿這個題目來問幾個LLM，包括Google Gemini, OpenAI ChatGPT, Claude, Perplexity, Microsoft Copilot，看看誰能答的比較好。依序分三次問下列問題。

1. 3，4,，5組成的最大數字是多少？
2. 如果這是腦筋急轉彎的問題，有更好的解法嗎？
3. 「3、4、5組成的最大數字」的答案好像不對，可以重新列出思考步驟，再給出正確答案嗎？

【vMaker Edge AI專欄 #22】使用Intel OpenVINO搭配YOLOv11輕鬆駕馭姿態偵測

 作者：Jack OmniXRI, 2024/10/15

留言

相信有在玩AI影像「物件偵測」的朋友對於YOLO(Yolo Only Look Once)一定不會陌生。從2015年第一版(v1)問世至今，在各路大神的努力之下，現在已發展到第十一版(v11)，而其中 v4, v7, v9 正是中研院資訊所廖弘源所長及高徒王建堯博士所貢獻的。

目前最新的 YOLOv11 [1] [2] 就是由 Ultralytic 這家公司所提出的，它是基於該公司先前提出的 v8 版本進行改良而得的，並發表於今(2024)年9月底 YOLO Vision 2024 [3] 活動中。此次這個版本延續之前 v8 版本，一樣提供了「影像分類」、「物件偵測」（含正矩形和斜矩形外框）、影像分割、物件追蹤及姿態估測（人體骨架偵測）等模型，並支援多種推論框架，包括 Google TensorFlow, PyTorch, ONNX, Apple CoreML 及 Intel OpenVINO。

Intel OpenVINO 為了讓大家更快上手，馬上就在開源範例庫 Notebooks [4] 上給出 YOLOv11 物件偵測、姿態估測及影像分割等三個案例，還可支援 Google Colab ，讓大家不用在桌機、筆電上安裝 OpenVINO 也可體驗一把。

接下來我們就跟著源碼說明[5]來了解一下如何運行 【姿態估測】 範例「Convert and Optimize YOLOv11 keypoint detection model with OpenVINO™」及動作原理。完整源碼請參考[6]，點擊連結即可進到 Google Colab 環境執行。

執行前建議可先點擊選單「檔案」─「在雲端硬碟中儲存複本」，複製一份到自己的雲端硬體，方便如果想修改測試時更為方便。接著點擊選單「編輯」─「清除所有輸出內容」，方便稍後觀察運行過程中產出的內容。最後點擊選單「執行階段」─「全部執行」即可看到所有運行結果。

原則上這個範例程式可分成五大段來看，如下所示。

1. 原始 YOLOv11 推論結果
2. 轉換到 OpenVINO IR推論結果
3. 經過 NNCF 壓縮優化推論結果
4. 使用基準測試工具進行比較
5. 連續影片推論展示

這裡為方便大家學習，這裡已把完整源碼[6]步驟簡化為上述五大步驟，並將註解簡化成易懂的中文說明，新版完整範例及說明請參考下方連結。

完整Colab範例程式（點擊後可直接執行）

感謝通過！成為台灣首位Arm開發者計畫大使(Arm Ambassador)

在Arm @Odin 大大的推薦下及提交了最近幾年協助推動 Arm 相關技術的成果，包含大量文章、教學影片及社群互動，歷經多輪審查後，終於成為台灣第一位「Arm 開發者計畫大使」（榮譽職），個人倍感榮幸也深感惶恐，擔心自己能力不足，只能盡力為之。後續如果有關於Arm開發者社群推動、技術推廣或相關事宜，歡迎一起加入。不過小弟能力有限，如果大家想更了解 Arm 相關技術可免費加入開發者計畫，即可獲得更好的技術支援。以下貼出來信及幾張代表圖示，將這份喜悅分享給大家。

“我很高興宣布，我已被選中成為 @Arm Ambassador！我期待支持 Arm Developer Program 社群，並與大家分享我的見解，一起打造 #onArm 的未來。最棒的是，您也可以成為成員。今天就註冊加入，和我一起踏上這段旅程。  #ArmDeveloper”

“I'm excited to announce that I've been selected to become an @Arm Ambassador! I look  forward to supporting the Arm Developer Program community and sharing my insights with you all as we build the future #onArm. The best part? You can become a member too. Sign up today and join me on this journey.  #ArmDeveloper”

#EdgeAI #ArmDevloper #ArmAmbassador #onArm