OmniXRI TinyML 小學堂 (2025) 【第 4 講】arm 單晶片加速運算

本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎追蹤、留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。

課程直播日期： 2025/04/02
課程直播連結： https://youtu.be/TYyz88IhGd8
課程簡報名稱： 20250402_TInyML_Course_Ch04_OmniXRI_Jack.pdf

OmniXRI TinyML 小學堂 (2025) 【第 3 講】微型人工智慧基礎

本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎追蹤、留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。

課程直播日期： 2025/03/26
課程直播連結： https://youtu.be/FgmhEuYAXBU
課程簡報名稱： 20250326_TinyML_Course_Ch03_OmniXRI_Jack.pdf

輕鬆用 Intel AI PC 及 OpenVINO 建立數位分身

作者： Jack OmniXRI 2025/3/24

隨著生成式人工智慧(Generative Artificial Intelligence, GenAI)技術的日益普及，數位分身(Digital Avatar)或稱數字人(Digital Human)也開始出現在很多智慧客服及人機互動應用上，讓使用者再也不用面對冷冰冰的機器進行操作。一個完整的數位分身，就像真人一樣，要具有自然語言對話、豐富肢體動作和產生生動表情的能力，其中就需要用到許多生成式AI技術，包括利用語音轉文字(Speech to Text, STT)得到問題的文字，交給大語言模型(Large Language Model, LLM)進行文字問答，再將文字轉語音(Text to Speech, TTS)把答案讀出，最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。

去（2024）年底曾寫過一篇文章「如何使用 Intel AI PC 及 OpenVINO 實現虛擬主播」[1]，介紹了數位分身所需擁有的文字轉語音和聲音自動嘴型功能，算是實現了數位分身的後半段「自動讀稿機」的能力。此次就來幫大家介紹前半段，使用麥克風收音進行問話，然後再使用大語言模型來思考及產生問答結果，如此就能搞定數位分身的前半段，構成一個簡單完整的系統。

【課程簡報】20250327_靜宜大學資訊學院_邊緣智慧也能側空翻 ─ 淺談具身智慧發展趨勢

 

很高興今天受到靜宜大學資訊傳播工程學系莊潤洲主任的邀約，和資訊學院的碩士生聊一聊「邊緣智慧也能側空翻 ─ 淺談具身智慧發展趨勢」這個主題，相關簡報大綱如下所示，提供大家參考一下。

簡報大綱

1. 何謂具身智慧

• 何謂具身智慧 (Embodied Intelligence)
• Nvidia GTC 2025 預告 AI 發展趨勢
• 從動漫電影看機器人發展
• Nvidia Computex 2024 機器人大軍
• Nvidia GTC 2025 賣萌機器人─小藍
• 機器人主要應用領域
• CES 2025 療癒型機器人
• 類人型機器人發展
• 各國人形機器人發展
• 宇樹人形及多足機器人
• 台灣人形機器人（輪足、雙手）

2. 人形機器人核心技術

• 人形機器人核心技術
• 機器人核心技術 ─ 大語言模型
• 機器人核心技術 ─ 多模態模型
• 機器人核心技術 ─ 數位孿生技術
• 機器人開發循環
• 數位智慧機器人（數位分身）

3. 邊緣智慧如何助力

• 邊緣智慧如何助力 ─ 從感測端（MCU+NPU）
• 邊緣智慧如何助力 ─ 從推論硬體端（AI PC, SoC, SBC GPU）
• 邊緣智慧如何助力 ─ 從模型精簡端（SLM, VLM）
• 小語言模型 （SLM） 及小型多模態模型（VLM）興起
• 邊緣智慧如何助力 ─ 從推論工具端
• 開源推論工具 ─ Intel OpenVINO
  • 決策式 AI 應用
  • 生成式 AI 應用

4. 未來展望與研究方向

OmniXRI TinyML 小學堂 (2025) 第 2 講 單晶片基礎

課程直播日期： 2025/03/19
課程直播連結： https://youtu.be/_kn4C6DIizg
課程簡報名稱： 20250319_TinyML_Course_Ch02_OmniXRI_Jack.pdf

本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎追蹤、留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。

OmniXRI TinyML 小學堂 (2025) 第 1 講 微型人工智慧簡介

 

本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎追蹤、留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。

 

直播日期： 2025/03/12 20:00 - 21: 20

課程直播連結： https://youtu.be/3WGp3QFOLMw
課程簡報名稱： 20250312_TInyML_Course_Ch01_OmniXRI_Jack.pdf

OmniXRI TinyML 小學堂 (2025) 【第0講】課程簡介

 

本課程完全免費，請勿移作商業用途！更多課程內容請參考文末教學資源連結。歡迎追蹤、留言、訂閱、點讚、轉發，讓更多需要的朋友也能一起學習。

1.課程緣起

去（2024）年受台大電機李宏毅老師在 Youtube 無私分享課程的感動，於是也在 Youtube 開了16週的免費網課「OmniXRI's Edge AI & TinyML 小學堂」，期間受到大家熱烈迴響。今（2025）年為了更聚焦微型人工智慧(TinyML)，因此重新規畫了「TinyML 小學堂 2025」，預計將重點放在單晶片（微處理器/微控制器, Micro Controll Unit, MCU）的人工智慧應用上。

大家或許會覺得奇怪，當大部份人都在講生成式人工智慧(Generative AI, GenAI)或通用人工智慧（Artificial General Intelligence, AGI）才是未來時，為何要反其道而行推廣微型人工智慧或鑑別式人工智慧(Discriminative AI)呢？因為過去幾年，常有學校老師想推動基礎人工智慧應用實作課程時，卻沒有足夠的經費採購相關設備及開發工具，因此只能教授較基礎概念課程或者只採購幾套設備讓較優秀的學生製作專題參加比賽。

幸運地是，去年已有很多單晶片廠商推出自帶神經網路處理器(Neural Network Processing Unit, NPU)的晶片及開發板，且僅需花費一千台幣左右就能擁有帶有聲音、運動感測器、攝影機模組的開發板，這不僅有利於人工智慧基礎教育的推廣，更能讓傳統雲端型的智慧物聯網(AIoT)能更快轉型為邊緣型應用。

基於這個契機於是起心動念，想藉由這樣的開發板來推出一套完整課程，讓老師和學生們都能輕易上手，學習到完整的開發流程並建立起屬於自己的人工智慧應用，方便日後接觸中小型邊緣人工智慧(Edge AI)能更得心應手。

【TinyML論文導讀】AIfES: A Next-Generation Edge AI Framework

Jack OmniXRI, 2025/02/17 整理製作

本論文導讀是由 NotebookLM 協助翻譯及摘要，再經由人工微調，非授權版本，僅供個人學習使用，請勿移作它用。更完整內容請參考原始論文。

• Cite:
  L. Wulfert et al., "AIfES: A Next-Generation Edge AI Framework," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 6, pp. 4519-4533, June 2024, doi: 10.1109/TPAMI.2024.3355495.
  keywords: {Training;Data models;Artificial intelligence;Support vector machines;Hardware acceleration;Libraries;Performance evaluation;Edge AI Framework;embedded systems;machine learning framework;on-device training;resource-constrained devices;TinyML},
• Github:
  https://github.com/Fraunhofer-IMS/AIfES_for_Arduino
• Document:
  https://fraunhofer-ims.github.io/AIfES_for_Arduino/index.html

• 【TinyML論文導讀】AIfES: A Next-Generation Edge AI Framework
  • 論文重點摘要
  • 原始論文翻譯
    • I. 緒論
    • II. 背景和相關工作
    • III. 設計原則
    • IV. 評估
    • V. 結論及未來方向
    • 參考文獻

論文重點摘要

• AIfES 是一個新一代的邊緣人工智慧 (AI) 框架，旨在將機器學習 (ML) 整合到最小的嵌入式裝置中，為影像或語音處理等實際應用提供本地智慧。
• 傳統的邊緣 AI 框架在目標硬體方面的靈活性較低，且對自訂硬體加速器整合的支援有限，AIfES 旨在克服這些挑戰。
• AIfES 具有模組化結構，遵循 ML 框架的結構，包含四個步驟：(1) 建立模型，(2) 選擇損失，(3) 選擇優化器，(4) 訓練模型。
• AIfES 允許使用者輕鬆轉移經驗，並且其 ailayer 模組提供多種功能類型供選擇。使用者可以為每個功能指定資料類型，從而節省記憶體，或在沒有浮點運算單元 (FPU) 的裝置上實現更快的訓練或推論。
• AIfES 是第一個在 ML 框架中以模組化方式使用硬體加速器的框架。軟體的模組化設計允許新增使用者特定的硬體加速器、功能類型、資料類型或模組，從而根據使用者的需求和偏好自訂框架。
• AIfES 採用 C 語言和最佳化模組，無需作業系統即可實現 ML 模型的裝置上訓練和推論。
• AIfES 支援模組化的硬體加速器新增，以提高推論和裝置上訓練的效能。它還包括用於啟動功能的軟體最佳化模組。
• AIfES 是一個開源邊緣 AI 框架，為資源受限裝置提供推論和裝置上訓練，並且具有硬體不可知和軟體模組化的特性。
• AIfES 允許在執行階段調整或變更網路架構。
• AIfES 支援量化，以適應不同的硬體架構，例如沒有 FPU 的 8 位元 MCU。
• AIfES 的主要限制在於原生矩陣乘法的實作，這導致 ANN 的效能低於 TFLM。未來將透過更先進的矩陣乘法方法和最佳化 ANN 裝置上訓練來增強 AIfES。
• AIfES 採用模組化架構，由 ailayer、ailoss 和 aiopti 模組組成，每個模組都有不同的層級：類型、實作（使用硬體加速器）和資料類型。
• AIfES 旨在簡單直觀，同時高效到足以在最小的 MCU 上執行，並足夠靈活以支援 ML 中的大多數使用案例。
• AIfES 優先考慮資料類型和底層系統特性，這在資源受限裝置上至關重要。
• AIfES 提供所有在裝置上訓練 ANN 所需的元件，例如所有層的反向實作、多個損失函數、優化器和權重初始化函數。
• AIfES 的模組化設計使 C 編譯器可以輕鬆移除未使用的程式碼，從而縮小程式碼大小。
• AIfES 使用記憶體排程器，可在執行網路之前計算所需的記憶體大小，並將記憶體區塊分配給模型，從而避免動態記憶體分配。
• AIfES 包括執行階段最佳化的啟動函數和層，以及基於矩陣乘法的層。
• AIfES 提供兩種反向傳播工作流程，以降低訓練期間的記憶體消耗：傳統方法和輕量隨機梯度下降 (L-SGD) 演算法。
• AIfES 允許對模型進行量化，從而可以調整到不同的硬體架構
  。提供兩種量化（Q7 和 Q31），作為對稱的 8 位元/32 位元整數量化，有助於僅使用整數算術來計算實際值。
• 在 ARM Cortex-M4 的 SoC 上進行的基準測試表明，AIfES 在執行時間和記憶體消耗方面優於 TFLM，尤其是在 FCNN 架構方面。
• AIfES 支援在嵌入式裝置上訓練 ANN 和 CNN。
• AIfES 的主要優勢包括模組化軟體架構、可新增自訂硬體加速器以及在資源受限裝置上進行裝置上訓練的能力。

Arm Cortex-M & Ethos-U55 ML開發者指南

Jack OmniXRI 整理製作, 2025/02/11

完整內容： https://hackmd.io/@OmniXRI-Jack/arm_developer_cortexm55_ethosu55_guide

資料來源： ML Developers Guide for Cortex-M Processors and Ethos-U NPU Version 1.1

本網頁僅供自我學習及快速查找用，請勿移作他用。為方便閱讀，相關章節及圖示編號已作過微調。全文採用AI翻譯並以人工進行調整，非Arm授權翻譯之版本，如有翻譯不當煩請私訊告知。另外本文件原始相關著作權、權利義務及使用限制請以Arm官方英文版本為準。

• Arm Cortex-M & Ethos-U55 ML開發者指南
  • 1.概述
    • 1.1.目標受眾
    • 1.2.邊緣設備上的機器學習
    • 1.3.ML計算要求
    • 1.4.ML開發過程的概述
    • 1.5.用於ML開發的工具和軟體
    • 1.6.針對Ethos-U NPU
  • 2.ARM Cortex-M Provor的ML軟體開發
    • 2.1.ML軟體框架選項
    • 2.2.使用TFLM的範例軟體開發流
    • 2.3.重新訓練ML模型
    • 2.4.更多資訊
  • 3.Arm Ethos-U NPU
    • 3.1.Ethos-U硬體體系結構
    • 3.2.Ethos-U系統整合
    • 3.3.Corstone參考設計
    • 3.4.ML軟體支持Ethos-U
    • 3.5.軟體體系結構方案和用例
    • 3.6.Ethos-U的其他軟體和工具
    • 3.7.將Ethos-U軟體移植到新的硬體平台
    • 3.8.自定義Ethos-U驅動程序和RTOS整合
  • 4.Arm Ethos-U NPU的工具支持
  • 5.Arm ML動物園
    • 5.1.整合Arm ML-Zoo模型
  • 6.ML嵌入式評估套件
    • 6.1.開始使用ML嵌入式評估套件
    • 6.2.超越基本知識
  • 7.基於CMSIS包裝的ML範例
    • 7.1.先決條件
    • 7.2.編譯基於CMSIS的ML範例
    • 7.3.在您自己的項目中使用TFLM CMSIS包裝
  • 8.分析和優化ML模型
    • 8.1.Ethos-U Vela優化
    • 8.2.運算子映射和用法
    • 8.3.MLIA指導優化（實驗）
    • 8.4.Ethos-U性能分析
  • 9.MLOPS系統
    • 9.1.許可證激活
    • 9.2.範例專案
    • 9.3.vcpkg
  • 10.Ethos-U的資源
    • 10.1.產品頁面
    • 10.2.產品文檔
    • 10.3.軟體和範例
    • 10.4.其他資源
    • 10.5.合作夥伴解決方案