【課程簡報】20220408_宜蘭資工_元宇宙與實境互動技術演進

很高興今日受到宜蘭大學資訊工程系黃朝曦老師邀約，在線上和同學們分享「元宇宙與實境互動技術演進」這個主題。此次主要分為二大部份，包括「元宇宙」及「實境互動」，展開後會更進一步說明，希望透過短短兩個小時能讓大家快速了解那些是未來趨勢，那些是流於新聞炒作。

簡報大綱：

• 何謂元宇宙
• 資訊傳遞與Web 3.0
• 數位資產與NFT
• 社群發展與DAO
• 元宇宙如何互動
• 人機互動
• 虛擬 vs. 實境
• 元宇宙互動

（點擊圖放大）

【課程簡報】20220322_2022邊緣運算關鍵技術挑戰剖析

很高興今天（2022/3/22）受Intel, Sertek, MakerPRO邀約和大家分享「2022邊緣運算關鍵技術挑戰剖析」這個主題，本次大綱如下：

• 邊緣智慧及相關應用
• 邊緣智慧分類
• 新興技術
• tinyML相關應用
• tinyML相關產品
• 邊緣計算關鍵技術
• 算力提升
• 推論優化
• 開源模型
• 快速開發
• Edge AI 未來挑戰
• 部署維運
• 邊緣協作與聯邦學習
• 裝置端學習
  

 （點擊圖片放大）

使用Google Colab執行Github中的ipynb程式

 有時在Github上找到一些不錯的Google Colab 或 Jupyter Notebook (*.ipynb)格式的範例程式，想要分享給朋友，結果還要請朋友先下載程式到本機端硬碟，再上傳到雲端硬碟(Google Drvie)上，最後再以Colaboratory (Google Colab)開啟並執行，實在有點麻煩。

最近學到一個小技巧，其實Colab有支援直接開啟Github中的*.ipynb檔案的功能。假設有個檔案在下面路徑：

https://github.com/OmniXRI/colab_openvino/blob/master/Colab_OpenVINO_mobilenet_v1.ipynb

只要把路徑名稱中的「github.com」換成「colab.research.google.com/github」，其餘不變，如下所示，即可直接以Colab Jupyter Notebook方式執行程式，方便許多。

https://colab.research.google.com/github/OmniXRI/colab_openvino/blob/master/Colab_OpenVINO_mobilenet_v1.ipynb

以後直接以上列方式產生的網址傳給朋友就能直接使用了，不過要記得開網頁前還是要登錄自己的Google帳號，不然網頁會出現警告訊息。

如果想要修改開啟的程式，通常是要再點擊主選單上的「檔案」─「在雲端硬碟中儲存副本」，把原始碼複製到自己的雲端硬碟中，才能取得修改內容及存檔的權限。

Intel OpenVINO強大免費開源的標註工具 CVAT 2.0來了!

Intel OpenVINO Toolkit Computer Vision Annotation Tool [1]

 

大家常說在人工智慧（AI）的時代，AI模型就像汽車，而資料就像汽油，沒了汽油，汽車就跑不動了。在「監督式學習」應用下若沒有大量且高品質的標註資料，那麼就很難驅使AI應用的實現及不斷改進。不過說到影像標註(Annotation)資料，可能一堆AI工程師馬上會抱怨這項工作吃力又無聊，急忙就把工作推給菜鳥來做。一張靜態影像標註少則一秒（如影像分類），多則數十秒（如物件偵測）到數百秒（影像分割），若再加上專業領域知識（如醫學影像）或是動態影片（如車流、人流）標註，那可就標註到天荒地老了。所以有一個強大、省力、支援性廣甚至是免費的標註工具，就成了大家心中最需要的。

CVAT(Computer Vision Annotation Tool)是一項由Intel所開源的影像標註工具，雖然目前依附在自家OpenVINO Toolkit下，但它可獨立安裝運行，適用於多種作業系統，如Windows, Mac, Linux等，亦可完美輸出入各種AI框架所需多種資料集格式，如VOC, COCO, YOLO, TFrecord, MOT等十多種，沒有任何使用限制，大家可自行從Github[1]上取得。安裝步驟可參考官方說明文件[2]中的「Getting started - Installation」。CVAT亦有提供免費線上版本[3]，只需註冊一個帳號，不需安裝就能馬上體驗，不過目前只支援Chrome的瀏覽器。

不論是從本地端(localhost:8080)或雲端(cvat.org)啟動CVAT，都是在瀏覽器上操作，所以操作畫面都是相同的。首先創建一項任務(Task)，再指定幾個標註用的標籤(Labels)，可隨喜好自行決定名稱、顏色及其它屬性，之後也可再任意增減標籤數量及內容。接著上傳待標註的靜態影像（如*.jpg）或動態影片段（如*.mp4）。打開任務，點擊上傳之檔案即可開啟。如果想自動調整影像對比，可點選左側OpenCV按鍵後選擇「Image」頁面下的「影像直方圖等化(Histogram Equalization)」，或者選擇「智慧剪刀(Intelligent Scissors)」自動取得物件封閉輪廓。當然最常用的點、線、矩形框及多邊形標註工具，也可在左側工具列上找到。對於態影片中的物件追蹤標註也是難不倒CVAT的，只要設定幾個關鍵影格(Key Frame)的物件矩形框的位置及大小，其它中間的影格就可自動進行補間(Interpolation)，如此可節省下很多標註時間。

 

影片來源：Youtube - Intel Software

最新的CVAT版本還增加了AI工具(AI Tools)的無服務器自動標註(Serverless Functions for Automatic Labeling)功能，換言之就是使用常見預訓練好的物件偵測模型來幫大家先找出常見的物件，如Faster RCNN, Mask RCNN, YOLO v3/v5, RetinaNet, Face Detection等十多種模型，再由使用者自行增減自動找出的物件，而這項新功能不論靜態影像或動態影片段皆可使用，可大幅減少標註時間。

 

影片來源：Youtube - Intel Software

想了解更完整的使用說明，可參考CVAT Github[1]及官方說明文件[2]。

[1] Github, openvinotoolkit/cvat
https://github.com/openvinotoolkit/cvat

[2] Intel OpenVINO Toolkit CVAT Documentation
https://openvinotoolkit.github.io/cvat/docs/

[3] Computer Vision Annotation Tool (CVAT) Online
https://cvat.org/

Intel OpenVINO相關學術論文

 

 這裡收集了一些關於OpenVINO的學術論文，有興趣的朋友可自行點入連結，下載原始論文。

2022

• Anomalib: A Deep Learning Library for Anomaly Detection
• CDSFusion: Dense Semantic SLAM for Indoor Environment Using CPU Computing
• Automated License Plate Recognition for Resource-Constrained Environments

2021

• LIGAR: Lightweight General-purpose Action Recognition
• Towards Efficient and Data Agnostic Image Classification Training Pipeline for Embedded Systems
• DeepFreeze: Cold Boot Attacks and High Fidelity Model Recovery on Commercial EdgeML Device
• YOLOX: Exceeding YOLO Series in 2021
• Does Form Follow Function? An Empirical Exploration of the Impact of Deep Neural Network Architecture Design on Hardware-Specific Acceleration
• Open Images V5 Text Annotation and Yet Another Mask Text Spotter
• Post-training deep neural network pruning via layer-wise calibration
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs
• Portability and Acceleration of Deep Learning Inferences to Detect Rapid Earthquake Damage From VHR Remote Sensing Images Using Intel OpenVINO Toolkit
• Automated Smart Traffic Junction Overhead Pole Camera Analytics with Deep Neural Network
• Tactics Overview for Implementing High-Performance Computing on Embedded Platforms
• Computer Vision-Based Assistance System for the Visually Impaired Using Mobile Edge Artificial Intelligence

2020

• DXSLAM: A Robust and Efficient Visual SLAM System with Deep Features
• ASL Recognition with Metric-Learning based Lightweight Network
• Neural Network Compression Framework for fast model inference
• Training Progressively Binarizing Deep Networks Using FPGAs
• OpenVINO Deep Learning Workbench: Towards Analytical Platform for Neural Networks Inference Optimization
• DL-inferencing for 3D Cephalometric Landmarks Regression task using OpenVINO
• Face reidentification system to track factory visitors using OpenVINO
• ANTA: Accelerated Network Traffic Analytics
• InnovFaceNet: Deep Face Recognition for Industrial Environments

2019

• NTP : A Neural Network Topology Profiler
• OpenVINO Deep Learning Workbench: Comprehensive Analysis and Tuning of Neural Networks Inference
• Recognition of various objects from a certain categorical set in real time using deep convolutional neural networks
• Hand Gesture Recognition Using Movidius Neural Compute Stick

2018

• Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose
• Development of Real-time ADAS Object Detector for Deployment on CPU
• Optimizing CNN Model Inference on CPUs

 

歐尼克斯實境互動工作室OpenVINO相關教學文章

資料來源：Google學術搜尋、arXiv、ResearchGate等

ps. 文章清單排序無任何意義，僅依收錄順序，這裡僅收錄可下載原文之項目，其餘請自行搜尋。

【課程簡報】20220219—嘉義智造咖交流會#05—元宇宙與邊緣智慧裝置

很高興今天受到嘉義市政府邀約擔任「智造咖─交流會#05」的講師，和大家分享、科普一下最近最熱門的話題「元宇宙與邊緣智慧裝置」。此次分享主要有三個重點「元宇宙」、「實境互動」和「邊緣智慧裝置」。簡報大綱可參考下列說明。

• 「元宇宙」可以拿來吃嗎？
  
  • Web 1.0 到 3.0
  • 元宇宙 Metaverse
  • 非同質化代幣 Non Fungible Tokens
  • 去中心自治組織 Decentralized Autonomous Organization
    
   
• 實境互動技術演進與實現
  
  • 人機互動技術演進
  • 虛擬/擴增/混合/延伸實境 (VR / AR / MR / XR )
  • 元宇宙實境互動技術
    
   
• 邊緣智慧裝置DIY實務分享
  
  • 雲端 VS. 邊緣智慧裝置
  • 微型機器學習(tinyML)
  • 常見應用案例
  • DIY實例分享

Github開始支援Mermaid語法了，中文也沒問題！

 2022年新春大禮包， Github的Markdown開始支援Mermaid語法，以下就根據官方提供的語法來測試一下，經測試中文也沒有問題。
參考資料來源：https://mermaid-js.github.io/mermaid/#/
使用時只需在Mermaid指令前面加上一行「```mermaid」表示程式開始，最後再加上一行「```」來結束。
這裡的「`」符號指的是鍵盤左上角，ESC鍵下方那個按鍵。

目前可支援包括流程圖 (Flowchat)、時序圖 (Sequence Diagram)、甘特圖 (Gantt Diagram)、程式類別圖 (Class Diagram)、Git分支圖、實體關係圖 (Entity Relationship Diagram)、使用者旅程圖 (User Journey Diagram)。  

完整程式範例可參考

https://github.com/OmniXRI/mermaid

使用Google Colab快速體驗ScaledYOLOv4

「物件偵測」一直是電腦視覺的重點項目，已發展了二十多年[1]，早期利用各種特徵提取和比對來找出人們對影像中有興趣的像素集合（物件），如VJ, HOG等。近幾年來，大家則把重點放在了「深度學習」的模型上[2]，從剛開始的二階段偵測器(Two-stage Detector)，如RCNN, SPPNet, Fast RCNN, Faster RCNN等，到目前最流行的一階段偵測器(One-stage Detector)，如SSD, RetinaNet, EfficientDet, YOLO等，其中又以YOLO(You Only Look Once)系列發展的最好，一路發展出YOLOv2, YOLOv3, YOLOv4, YOLOv5（非學術論文）, 去年更有ScaledYOLOv4, YOLOX, YOLOR等技術推出，讓大家有更快推論速度、更高推論精度、更彈性模型架構，讓同一張影像中大小物件都能順利被檢出。

【課程簡報】2021223_嘉義大學資訊管理系_邊緣智慧裝置發展趨勢與開發應用

很高興今天受嘉義大學資訊管理系張宏義主任的邀請，和大家分享「邊緣智慧裝置發展趨勢與開發應用」 這個主題，讓學生們更了解除了一般大型AI應用外，在新興的邊緣智慧裝置又有什麼新的發展及如何開發這類的專題，主要包括AIoT, tinyML, OpenVINO等。此次分享大綱如下所示，更完整內容請參考下列投影片。

• 邊緣智慧技術簡介
• 雲端與邊緣智慧
• 邊緣智慧發展趨勢
• 智慧物聯網AIoT
• 元宇宙人機互動

• tinyML(MCU AI)技術簡介
• 何謂tinyML
• 單晶片(MCU)技術演進
• 小型AI專案開發流程差異
• tinyML開發工具及平台

• 邊緣智慧裝置常見應用
• 語音喚醒詞（語音命令）
• 手勢動作辨識
• 異常偵測（感測器等級）
• 影像分類/物件偵測

• 快速邊緣智慧原型開發
• 創意專題製作
• 開放資料集及模型
• Intel OpenVINO簡介
• Intel DevCloud簡介
• 線上學習資源

 （點擊圖片放大顯示）

【課程簡報】20211130_開南大學健康產業管理學系_人工智慧與健康產業的發展趨勢與落地應用

很高興今天受開南大學健康產業管理學系李盛安老師的邀請，在教師成長研習活動中和大家分享「人工智慧與健康產業的發展趨勢與落地應用」 這個主題，讓大家了解AI在健康產業中扮演的角色、發展現況、落地案例及未來前景，並給出許多自行發展相關產品的資源及採購資源，主要涵蓋Edge AI, AIoT, 感測技術, tinyML, OpenVINO等技術。更完整的大綱及簡報如下所示。 

• 人工智慧技術簡介
• 主流技術介紹
• 主要系統架構
• 專案發展流程
  
• 智慧健康產業發展趨勢
• 傳統與智慧型比較
• 感測技術發展趨勢
• 通訊技術整合應用
• 雲端邊緣運算核心
• 智慧健康落地應用
• 智能健康監控及預測
• 遠距照護及輔助診療
• 智能運動分析及復建
• 快速創意原型到商品
• 開放資料集及模型
• 開源硬體及軟體
• 元件採購及配套工具
• 概念實作與社群支援

 （點擊圖片放大顯示）

【課程簡報】20211124_宜蘭大學資工_邊緣智慧裝置發展趨勢與開發應用

很高興今天受宜蘭大學資訊工程系黃朝曦、邱鈺鈞老師的邀請，和大家分享「邊緣智慧裝置發展趨勢與開發應用」 這個主題，讓學生們更了解除了一般大型AI應用外，在新興的邊緣智慧裝置又有什麼新的發展及如何開發這類的專題，主要包括AIoT, tinyML, OpenVINO等。此次分享大綱如下所示，更完整內容請參考下列投影片。

• 邊緣智慧技術簡介
• 雲端與邊緣智慧
• 邊緣智慧發展趨勢
• 智慧物聯網AIoT
• 元宇宙人機互動

• tinyML(MCU AI)技術簡介
• 何謂tinyML
• 單晶片(MCU)技術演進
• 小型AI專案開發流程差異
• tinyML開發工具及平台

• 邊緣智慧裝置常見應用
• 語音喚醒詞（語音命令）
• 手勢動作辨識
• 異常偵測（感測器等級）
• 影像分類/物件偵測

• 快速邊緣智慧原型開發
• 創意專題製作
• 開放資料集及模型
• Intel OpenVINO簡介
• Intel DevCloud簡介
• 線上學習資源

 （點擊圖片放大顯示）