【簡報導讀-004】邊緣裝置上的大型語言模型

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "LLMs On The Edge"
影片上傳日期： 2025/6/16
主要講者： Sharad Chole
主題： 邊緣裝置上的大型語言模型

【簡報導讀-003】本機執行 GenAI：無需雲端！Intel AI PC 上的本機 AI 推理技術

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "Run GenAI locally: No cloud needed! | Local AI inference on Intel AI PC"
影片上傳日期： 2025/6/4
主要講者： Adrian Boguszewski
主題： 本機執行 GenAI：無需雲端！Intel AI PC 上的本機 AI 推理技術

【簡報導讀-002】 Intel 硬體在 AI 加速中的應用

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "AI Acceleration With Efficient Intel Hardware"
影片上傳日期： 2025/6/4
主要講者： Vijay Bandari
主題： Intel 硬體在 AI 加速中的應用 

【簡報導讀-001】 利用 ExecuTorch 和 Arm Ethos U NPU 優化邊緣 AI

為了方便大家快速理解，以下內容使用 Google NotebookLM 產生相關文字及語音解說，如想深入了解的朋友可參考原始來源。

原始Youtube影片： "LIS25 321 Optimizing Edge AI with Executorch and Ethos U"
影片上傳日期： 2025/5/31
主要講者： Erik Lundell
主題： 利用 ExecuTorch 和 Arm Ethos U NPU 優化邊緣 AI

TinyML MCU 等級開源推論引擎

Jack OmniXRI, 2025.6.5 整理製作

開源推論引擎

• Arm CMSIS-6 (NN, DSP)
  https://github.com/ARM-software/CMSIS_6
• Google LiteRT （TensorFlow Lite）
  https://github.com/google-ai-edge/litert
• Google TensorFlow Lite for Microcontroller (TFLite-Micro)
  https://github.com/tensorflow/tflite-micro
• PyTorch ExecuTorch
  https://github.com/pytorch/executorch
• PyTorch QNNPack
  https://github.com/pytorch/qnnpack
• Alibaba MNN
  https://github.com/alibaba/MNN
• Alibaba TinyNeuralNetwork  
  https://github.com/alibaba/TinyNeuralNetwork  
  
• Tencent TNN
  https://github.com/Tencent/TNN
• Tencent NCNN
  https://github.com/Tencent/ncnn
• uTensor
  https://github.com/uTensor/uTensor
• Fraunhofer-IMS AIfES
  https://github.com/Fraunhofer-IMS/AIfES_for_Arduino
• Sipeed TinyMaix
  https://github.com/sipeed/TinyMaix
• XiaoMi MACE
  https://github.com/XiaoMi/mace
• PaddlePaddle Paddle-Lite
  https://github.com/PaddlePaddle/Paddle-Lite
• Eloquent EloquentMicroML
  https://github.com/eloquentarduino/EloquentMicroML
• Kraiskil ONNX2C
  https://github.com/kraiskil/onnx2c
• Huawei MindSpore
  https://github.com/mindspore-ai/mindspore
• SenseTime OpenPPL (PPLNN)
  https://github.com/OpenPPL/ppl.nn
• Open AI Lab Tengine
  https://github.com/OAID/Tengine

AI 相關編譯器

• MicroTVM
  https://tvm.hyper.ai/docs/topic/microtvm/
• Skymizer ONNC
  https://github.com/ONNC/onnc
• Arm Ethos-U Vela Compiler
  https://pypi.org/project/ethos-u-vela/

MCU 專用工具

• Edge Impulse
  https://docs.edgeimpulse.com/docs
• STM32
  • CubeAI (X-CUBE-AI)
    https://stm32ai.st.com/stm32-cube-ai/
  • NanoEdge AI Studio
    https://stm32ai.st.com/nanoedge-ai/
  • ST Edge AI Suit
    https://www.st.com/content/st_com/en/st-edge-ai-suite.html
• NXP eIQ
  https://www.nxp.com/design/design-center/software/eiq-ai-development-environment:EIQ
• Renesas eAI
  https://www.renesas.com/en/key-technologies/artificial-intelligence/e-ai/e-ai-development-environment-microcontrollers