本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！ 完整課程大綱： https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播內容： https://youtu.be/ulULPXIO8YQ
本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！ 完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播內容： https://youtu.be/5ln7UT5pzFs
【第7講】分別就下列主題進行介紹，包括： [00:03:21] 7.1.嵌入式系統與微控制器 [00:29:10] 7.2.TinyML技術現況 [00:51:14] 7.3.TinyML開發平台 [01:08:23] 7.4.TinyML主要應用 [01:23:21] Q&A 完整課程簡報： https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch07_TinyML_Introduction
本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！ 完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片： https://youtu.be/vzJqu8OAu9U
【第6講】分別就下列主題進行介紹，包括： 6.1.模型訓練優化 [00:02:31] 數值擬合、輸出型式、損失函數、反向傳播、梯度下降、極值、梯度、學習率、慣性動量、隨機丟棄 6.2.加速訓練方式 [00:43:05] 低複雜度模型、遷移式學習、自動學習、分散式學習、並行學習、聯邦學習 6.3.模型推論優化 [01:00:26] 數值量化、模型剪枝、模型壓縮、權重共享、低秩逼近、標準卷積、快速卷積、知識蒸餾 Q&A [01:16:42] 完整課程簡報： https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch06_Model_Optimization
作者：許哲豪（Jack Hsu）, 2024/4/22
將智慧應用服務從雲端移向邊緣端已漸漸成為主流趨勢，邊緣智慧(Edge AI)裝置無需上網就能獨立運作，且擁有高隱私、高速回應、低功耗、低成本等特性，但也常因場地、空間及算力限制，所以不容易找到合適的設備可以使用，尤其像是電腦視覺這類高算力需求應用。
常見的電腦視覺AI應用中有影像分類、物件偵測、人臉相關（如身份、特徵點、表情）、影像（語義、實例）分割、姿態估測（骨架、手勢偵測）、超解析度、深度估測、影像增強(低照、去噪)等應用。通常模型推論一次所需計算量從不到 1 TOPS(每秒一兆次運算)到數十 TOPS不等，若再加上滿足二次推論間隔 、影像前後處理及多攝影機（多串流影像）問題，則一般 CPU 絕對難以負擔，而使用獨立 GPU 則體積大散熱不易且又貴又耗電，那麼如何選用足夠算力的AI加速卡就變得非常重要。
此次很高興受到研華科技(Advantech)邀約，取得一款巴掌大超迷你無風扇的微型工業電腦【AIR-150】[1]進行評測。這款機器內搭 M.2 型式 【Hailo-8 高效 AI 加速模組】[2]，具有 26 TOPS 推論能力，正好可以解決惡劣環境、空間窄小及AI應用推論算力不足的問題。
為了讓大家更了解這款機器在邊緣智慧整體效能如何，以下分別從硬體規格、開發環境建置、模型選用轉換及推論性能實測結果來幫大家介紹一下，希望能有助於大家未來專案建置及選用。
作者：Jack OmniXRI, 2024/04/15
去(2023)年11月英特爾總裁季辛格親自來台北出席 Intel Innovation Taipei 2023，同時展示了最新一代的 AIPC 的 CPU Core Ultra (內部代號：Meteor Lake)。這是Intel首次將神經網路處理單元(Neural Network Processing Unit, NPU)放進 CPU 中，除了讓算力大幅提升，功耗降低外，且很容易搭配自家推論優化工具 OpenVINO Toolkit 的使用，讓目前最流行的大語言模型(LLM)及生成式智慧(AIGC, GenAI)應用也能更順暢地被運行。
今年1月 CES 2024 已有許多廠商展出 AIPC 筆電產品[1]，但目前市面上尚無桌機相關產品，不過已有部份廠商推出迷你電腦(NUC)，如華碩(ASUS)的NUC 14 Pro[2], 東擎(ASRock)的NUCS/NUC BOX 155H/125H[3]。此次本文將使用ASUS NUC 14 Pro來進行開箱測試。
以往在AI電腦視覺應用中，物件偵測(Object Detection)是很常見的技術，其中又以YOLO系列最具代表性。當影像進行推論後，通常會將找到的物件標示一個矩形邊界盒(Bounding Box)，不過當物件較多且傾斜一個角度時，很容易出現和相鄰物件重疊，不易識別的問題。因此就有旋轉邊界盒(Oriented Bounding Boxes, OBB)偵測技術被提出[4]，將找到的物件計算出旋轉角度後，再標示一個旋轉的邊界盒，如此就能產生一個更貼近原始物件的外框，讓辨識上能更清楚地呈現結果。
接下來就從 AIPC 硬體規格、安裝工作環境、旋轉物件偵測及在不同硬體運行效能分析比較等方面幫大家做一個完整的介紹。如果大家手上沒有AIPC，也不用擔心，本文的OpenVINO範例在 Intel Core(6到14代), Atom, Pentium 甚至 Xeon(Google Colab), Arm(Apple M1, M2) 等系列 CPU 及內顯 iGPU (HD Graph, Iris, Arc)都能執行，只是效能會有所不同而已。
很高興今天(2024/04/24)受研華科技及MakerPRO邀約，擔任「掌握Edge AI開發即戰力實務工作坊」課程講師。這個活動中我的部份分為上下兩段，第一段「Edge AI 落地應用現況與挑戰」（10分鐘），第二段「Edge AI SDK 教學、建置示範與應用實例剖析」（80分鐘），主要大綱及完整內容如下所示。
<Edge AI 落地應用現況與挑戰>
<Edge AI 落地應用現況與挑戰>
（點擊圖片放大）
很高興今天（2024/04/11）受慈濟大學醫學資訊學系李盛安老師邀約，來擔任「智慧醫療工作坊」講師，此次課程為「利用邊緣運算工具OpenVINO快速搭建智慧醫療應用」，共六個小時。主要內容如下所示。由於此次課程講義過長，所以將其分成上、中、下三個部份，想完整學習的朋友可自行切換。本次內容以 Intel OpenVINO 2023.1版搭配Notebooks進行教學，由於和2022版有很多差異，所以閱讀時請注意，以免不同版本有些許不相容。
為方便操作課程內容範例，這裡預先建立網頁版快速指令表，方便大家複製貼上，不易打錯字。
https://hackmd.io/@OmniXRI-Jack/tcu_openvino_20240411
簡報大綱：【第一、二章節】、【第三、四、五、六章節】（點擊可切換）
1. 智慧醫療應用及邊緣智慧系統簡介
1.1 人工智慧發展與應用
1.2 智慧醫療與照護
1.3 智慧醫療案例分享
1.4 邊緣智慧系統架構
1.5 人工智慧專案開發流程
1.6 模型優化與部署
2. Intel OpenVINO 及Notebooks 簡介與安裝
2.1 OpenVINO簡介
2.2 OpenVINO工作流程
2.3 Notebooks簡介
2.4 Notebooks安裝
3. 影像分類範例說明與操作
3.1 影像標註工具簡介
3.2 常見影像分類模型
3.3 影像分類實作
4. 物件偵測範例說明與操作
4.1 物件偵測簡介
4.2 常見物件偵測模型
4.3 物件偵測實作
5. 影像分割範例說明與操作
5.1 影像分割簡介
5.2 常見影像分割模型
5.3 影像分割實作
6. 大語言模型與智慧生成範例說明與操作
6.1 文字生成
6.2 影像生成
6.3 音樂生成
學習資源
延伸閱讀
（點擊圖片放大）
很高興今天（2024/04/11）受慈濟大學醫學資訊學系李盛安老師邀約，來擔任「智慧醫療工作坊」講師，此次課程為「利用邊緣運算工具OpenVINO快速搭建智慧醫療應用」，共六個小時。主要內容如下所示。由於此次課程講義過長，所以將其分成上、中、下三個部份，想完整學習的朋友可自行切換。本次內容以 Intel OpenVINO 2023.1版搭配Notebooks進行教學，由於和2022版有很多差異，所以閱讀時請注意，以免不同版本有些許不相容。
為方便操作課程內容範例，這裡預先建立網頁版快速指令表，方便大家複製貼上，不易打錯字。
https://hackmd.io/@OmniXRI-Jack/tcu_openvino_20240411
簡報大綱：【第一、二章節】、【第三、四、五、六章節】（點擊可切換）
1. 智慧醫療應用及邊緣智慧系統簡介
1.1 人工智慧發展與應用
1.2 智慧醫療與照護
1.3 智慧醫療案例分享
1.4 邊緣智慧系統架構
1.5 人工智慧專案開發流程
1.6 模型優化與部署
2. Intel OpenVINO 及Notebooks 簡介與安裝
2.1 OpenVINO簡介
2.2 OpenVINO工作流程
2.3 Notebooks簡介
2.4 Notebooks安裝
3. 影像分類範例說明與操作
3.1 影像標註工具簡介
3.2 常見影像分類模型
3.3 影像分類實作
4. 物件偵測範例說明與操作
4.1 物件偵測簡介
4.2 常見物件偵測模型
4.3 物件偵測實作
5. 影像分割範例說明與操作
5.1 影像分割簡介
5.2 常見影像分割模型
5.3 影像分割實作
6. 大語言模型與智慧生成範例說明與操作
6.1 文字生成
6.2 影像生成
6.3 音樂生成
學習資源
延伸閱讀
（點擊圖片放大）
本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！
完整課程大綱： https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片： https://youtu.be/6By3GXuEpFc
【第5講】分別就下列主題進行介紹，包括：
5.1 常見邊緣推論工具簡介 [00:03:08]
常見邊緣推論硬體、邊緣硬體推論限制、常見邊緣推論優化工具 Googel TensorFlow Lite, Nvidia TensorRT, Intel OpenVINO, Edge Impulse Studio, Arm CMSIS
5.2 OpenVINO簡介 [00:20:19]
演進歷史、架構簡介、工作流程、重大革新、文件說明、下載安裝、範例來源
5.3 OpenVINO Notebooks簡介 [00:46:13]
功能簡介、下載安裝、範例練習
Q&A [01:19:09]
完整課程簡報： https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch05_Inference_Tools
歐尼克斯實境互動工作室： https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區：https://www.facebook.com/groups/edgeaitw
