【vMaker Edge AI專欄 #21】 從2024自動化展看智慧機器人發展趨勢

作者：Jack OmniXRI, 2024/9/15

今年六月份 Nvidia 黃仁勳執行長在 Computex 2024 刮起一陣旋風，不僅帶來了各項 AI 前沿技術，更當起了台灣推廣大使，除了拼命走訪各地夜市推銷美食外，更將台灣各領域的伙伴們介紹給全世界認識，讓大家更了解台灣在 AI 的實力。

此次除了發表了開發 AI 所需高效硬體外，同時也介紹了數位孿生(Digital Twin)最佳工具 Omniverse，它不僅可適用於各種場景及機器的靜態模擬，更能幫助如自主移動機器人(Autonomous Mobile Robot, AMR)、多軸機器手臂(Robotic Arm, RA)建立足夠的測試資料集，以利在真實世界智慧視覺辨識及運動控制的表現。而搭配上述技術中最令人驚豔的就是此次壓軸的「人型機器人(Humanoid Robots, HR)」，讓大家深感科幻電影中的場景就要實現了。

【課程簡報】20240927_生成式AI的發展趨勢以及應用

很高興今天（2024/09/26）受文曄科技與英特爾邀請擔任此次活動講師之一，此次分享時間較長有一個小時，主題為「生成式AI的發展趨勢以及應用」，分為四小段，大綱如下所示。

1. Intel AI PC & NPU 技術演進

• 何謂AI PC ？ 為何需要 NPU？
• 從 Computex 2024 看 Intel 技術藍圖
• 常見 AI PC 主要晶片比較
• Lunar Lake (Core Ultra V200系列) 功耗比較
• Intel NPU 演進
• Lunar Lake (Core Ultra 200V系列) AI 效能
• Geekbench AI 效能評測
• 神經網路技術發展
• 常見影像分類/物件偵測模型參數量
• 常見大型語言模型參數量
• 影像生成 效能/功耗 孰重？

2. OpenVINO 2024 最新亮點

• Intel OpenVINO 簡介
• OpenVINO 2024 亮點 ─ NNCF 模型壓縮
• NNCF 訓練後量化及訓練時優化流程
• OpenVINO 2024 亮點 ─ 異質加速
• OpenVINO 2024 亮點 ─直接支援AI框架
• OpenVINO 2024.2 亮點 – Gen AI API
• OpenVINO 2024.3 亮點 – Hugging Face
• OpenVINO 2024.3 亮點 – dGPU效能提升

3. 如何從決策式 AI 邁向生成式 AI

• 決策式 AI 常見應用
• OpenVINO Open Model Zoo (OMZ)
• OpenVINO Notebooks Colab範例 (1/2)
• OpenVINO Notebooks Colab範例 (2/2)
• 決策式 AI 應用實例 ─ 台達電
• 決策式 AI 應用實例 ─ 垃圾自動分類

4. 生成式AI 開發及應用例

• 生式 AI 常見應用
• OpenVINO 可支援生成式 AI 案例與模型
• 生成式 AI 應用實例 ─ PCBA 3D瑕疵生成
• 生成式 AI 應用實例 ─ 虛擬助理 （數字人）
• 生成式 AI 應用實例 ─ 聲控機器人Tonypi
• OpenVINO Notebooks 範例庫
• OpenVINO Notebooks Pages
• OpenVINO Notebooks AI 範例類型
• Notebooks 範例 ─ 對話生成 LLM Chatbot
• Notebooks 範例 ─ 語音生成 TTS Bark
• Notebooks 範例 ─ 影像生成 TinySD
• Notebooks 範例 ─ 影像生成 ControlNet
• 更多OpenVINO Notebooks AIGC範例(1/2)
• 更多OpenVINO Notebooks AIGC範例(2/2)
• HuggingFace + Intel 預訓練模型庫
• Intel AI Playground 生成式 AI 工具

（可點擊圖片放大觀看）

大型語言模型真的能解所有疑難雜症了嗎？

大型語言模型真的能解所有疑難雜症了嗎？

留言

作者： Jack OmniXRI 2024/09/22

有學過可程式邏輯控制器(Programmable Logic Controller, PLC)的朋友應該都懂得階梯圖(Ladder)這種程式語言吧？甚至老一輩的還會拿手持式程式書寫器直接編寫指令，秀一下輸入手速，來讓徒弟們產生驚訝的表情。而通常入門的朋友一定會學到自保持迴路控制，就像學習電腦語言(Basic, C/C++, Java …)一定會寫「Hallo World!」，玩嵌入式的朋友一定會寫「Blink」一樣。

所謂自保持迴路通常會用在馬達或大動力的設備的開始和停止供電。一般會有一個開始按鍵(X0)、一個停止按鍵(X1)和一個繼電器(Y0)，當按下開始時令繼電器激磁（導通），當按下停止鍵時繼電器結束激磁動作。如果用階梯圖表示則會得到如下圖傳統自保持回路所示，這和傳統配電盤的接線幾乎相同，較受傳統機械和電機人員喜歡。

近年來由於受電腦程式語言影響，有些較高階用法會改用設置(Set)開啟和重置(Reset)關閉來改變繼電器的輸出狀態。這裡暫不討論此類用法。

這兩年大家常說 ChatGPT（這裡泛指所有LLM大型語言模型）已可回答各式各樣的問題，但如果屬於網路上不容易收集或未被大量電子化的資料，此時就會力有未逮，開始胡說八道了。當然如果透過微調(Fine-Tuning)、擷取增強生成(RAG)還是有機會修正到大家可接受的範圍，這裡就先以標準公開的模型來進行測試。

以下就以相同提示句來詢問不同大型語言模型，包括Microsoft Copilot, Google Gemini, OpenAI ChatGPT, Claude, Perplexity ，看看會得到什麼結果。輸入內容為「請使用階梯圖來產生一個自保持回路範例，其中包含二個輸入及一個輸出。」

【課程簡報】20240913_園區廠商人才培訓課程#2_從2024自動化展看智慧機器人發展趨勢

很高興今天(2024/9/13)受南開科技大學邀約擔任「經濟部113年度產業園區智慧科技加值創新跨域推動計畫─園區廠商人才培訓課程」講師，此次主要是針對「南崗工業區廠商協進會」相關人員進行培訓。此次課程主題為「看智慧製造如何從決策式AI邁向生成式AI」，時長三小時，共分上下二場次，分別為「如何導入AI技術實現新世代智慧製造」及「從2024自動化展看智慧機器人發展趨勢」。此次課程下半場大綱如下所示。

 1. 智慧類人型機器人風潮到來？
- 智慧類人型機器人風潮到來？
- 世界各國類人型機器人
- 中國類人型機器人 ─ 類人？ 真人？
- 2024 機器人暨自動化展參展產品
- Nvidia 機器人生態系伙伴參展狀況

2. 類人型機器人及案例
- 類人型機器人系統架構
- 類人型機器人案例 Figure 01 / 02

3. 移載型機器人及案例
- 2024 機器人展 ─ AMR相關供應商
- 2024 機器人展 ─ AMR相關影片

4. 視覺型機器手臂及案例
- 2024 機器人展 ─ 視覺型手臂相關供應商
- 2024 機器人展 ─視覺型機器手臂相關影片

5. 多足機器人及案例
- 2024 機器人展 ─ 機器狗相關供應商
- 2024 機器人展 ─ 機器狗相關影片

（點擊圖片放大）

【課程簡報】20240913_園區廠商人才培訓課程#1_如何導入AI技術實現新世代智慧製造

很高興今天(2024/9/13)受南開科技大學邀約擔任「經濟部113年度產業園區智慧科技加值創新跨域推動計畫─園區廠商人才培訓課程」講師，此次主要是針對「南崗工業區廠商協進會」相關人員進行培訓。此次課程主題為「看智慧製造如何從決策式AI邁向生成式AI」，時長三小時，共分上下二場次，分別為「如何導入AI技術實現新世代智慧製造」及「從2024自動化展看智慧機器人發展趨勢」。此次課程上半場大綱如下所示。

 1. 從自動化到智動化
- 智慧製造架構分析
- 工人智慧(HI) vs. 人工智慧(AI)
- 人工智慧/機器學習/深度學習/大語言模型
- AI技術發展趨勢
- 電腦（機器）視覺架構
- 傳統機器視覺應用
- 新型態AI（深度學習）電腦視覺應用
- 傳統型機器視覺 vs. 新型態AI電腦視覺
- 電腦（機器）視覺系統發展歷程
-案例分享─百香果智慧外觀分級案

2. 從感測、預測到決策
- 工業物聯網 (IIoT)
- 工業感測器 (Sensors)
- 智慧物聯網(AIoT)架構
- 工業人機互動技術 (HMI)
- 工業常見邊緣智能(Edge AI)應用

3. 從數位化到數位孿生
- 數位化戰情室: 研華科技 WISE-PaaS 戰情室
- 數位孿生 (Digital Twin): 鴻海Foxconn & Nvidia
案例分享 ─ 半自動工時計錄器

- AI模型發展歷程
4. 決策式 AI 發展與案例
- 電腦視覺 ─ 垃圾自動分類
- 智慧製造實例 ─ 台達電

5. 生成式 AI 發展與案例
- 影像生成 ─ PCBA 3D瑕疵生成
- 文字 / 語音生成 ─ 虛擬助理 （數字人）

（點擊圖片放大）