【課程簡報】20220322_2022邊緣運算關鍵技術挑戰剖析

很高興今天（2022/3/22）受Intel, Sertek, MakerPRO邀約和大家分享「2022邊緣運算關鍵技術挑戰剖析」這個主題，本次大綱如下：

• 邊緣智慧及相關應用
• 邊緣智慧分類
• 新興技術
• tinyML相關應用
• tinyML相關產品
• 邊緣計算關鍵技術
• 算力提升
• 推論優化
• 開源模型
• 快速開發
• Edge AI 未來挑戰
• 部署維運
• 邊緣協作與聯邦學習
• 裝置端學習
  

 （點擊圖片放大）

使用Google Colab執行Github中的ipynb程式

 有時在Github上找到一些不錯的Google Colab 或 Jupyter Notebook (*.ipynb)格式的範例程式，想要分享給朋友，結果還要請朋友先下載程式到本機端硬碟，再上傳到雲端硬碟(Google Drvie)上，最後再以Colaboratory (Google Colab)開啟並執行，實在有點麻煩。

最近學到一個小技巧，其實Colab有支援直接開啟Github中的*.ipynb檔案的功能。假設有個檔案在下面路徑：

https://github.com/OmniXRI/colab_openvino/blob/master/Colab_OpenVINO_mobilenet_v1.ipynb

只要把路徑名稱中的「github.com」換成「colab.research.google.com/github」，其餘不變，如下所示，即可直接以Colab Jupyter Notebook方式執行程式，方便許多。

https://colab.research.google.com/github/OmniXRI/colab_openvino/blob/master/Colab_OpenVINO_mobilenet_v1.ipynb

以後直接以上列方式產生的網址傳給朋友就能直接使用了，不過要記得開網頁前還是要登錄自己的Google帳號，不然網頁會出現警告訊息。

如果想要修改開啟的程式，通常是要再點擊主選單上的「檔案」─「在雲端硬碟中儲存副本」，把原始碼複製到自己的雲端硬碟中，才能取得修改內容及存檔的權限。

Intel OpenVINO強大免費開源的標註工具 CVAT 2.0來了!

Intel OpenVINO Toolkit Computer Vision Annotation Tool [1]

 

大家常說在人工智慧（AI）的時代，AI模型就像汽車，而資料就像汽油，沒了汽油，汽車就跑不動了。在「監督式學習」應用下若沒有大量且高品質的標註資料，那麼就很難驅使AI應用的實現及不斷改進。不過說到影像標註(Annotation)資料，可能一堆AI工程師馬上會抱怨這項工作吃力又無聊，急忙就把工作推給菜鳥來做。一張靜態影像標註少則一秒（如影像分類），多則數十秒（如物件偵測）到數百秒（影像分割），若再加上專業領域知識（如醫學影像）或是動態影片（如車流、人流）標註，那可就標註到天荒地老了。所以有一個強大、省力、支援性廣甚至是免費的標註工具，就成了大家心中最需要的。

CVAT(Computer Vision Annotation Tool)是一項由Intel所開源的影像標註工具，雖然目前依附在自家OpenVINO Toolkit下，但它可獨立安裝運行，適用於多種作業系統，如Windows, Mac, Linux等，亦可完美輸出入各種AI框架所需多種資料集格式，如VOC, COCO, YOLO, TFrecord, MOT等十多種，沒有任何使用限制，大家可自行從Github[1]上取得。安裝步驟可參考官方說明文件[2]中的「Getting started - Installation」。CVAT亦有提供免費線上版本[3]，只需註冊一個帳號，不需安裝就能馬上體驗，不過目前只支援Chrome的瀏覽器。

不論是從本地端(localhost:8080)或雲端(cvat.org)啟動CVAT，都是在瀏覽器上操作，所以操作畫面都是相同的。首先創建一項任務(Task)，再指定幾個標註用的標籤(Labels)，可隨喜好自行決定名稱、顏色及其它屬性，之後也可再任意增減標籤數量及內容。接著上傳待標註的靜態影像（如*.jpg）或動態影片段（如*.mp4）。打開任務，點擊上傳之檔案即可開啟。如果想自動調整影像對比，可點選左側OpenCV按鍵後選擇「Image」頁面下的「影像直方圖等化(Histogram Equalization)」，或者選擇「智慧剪刀(Intelligent Scissors)」自動取得物件封閉輪廓。當然最常用的點、線、矩形框及多邊形標註工具，也可在左側工具列上找到。對於態影片中的物件追蹤標註也是難不倒CVAT的，只要設定幾個關鍵影格(Key Frame)的物件矩形框的位置及大小，其它中間的影格就可自動進行補間(Interpolation)，如此可節省下很多標註時間。

 

影片來源：Youtube - Intel Software

最新的CVAT版本還增加了AI工具(AI Tools)的無服務器自動標註(Serverless Functions for Automatic Labeling)功能，換言之就是使用常見預訓練好的物件偵測模型來幫大家先找出常見的物件，如Faster RCNN, Mask RCNN, YOLO v3/v5, RetinaNet, Face Detection等十多種模型，再由使用者自行增減自動找出的物件，而這項新功能不論靜態影像或動態影片段皆可使用，可大幅減少標註時間。

 

影片來源：Youtube - Intel Software

想了解更完整的使用說明，可參考CVAT Github[1]及官方說明文件[2]。

[1] Github, openvinotoolkit/cvat
https://github.com/openvinotoolkit/cvat

[2] Intel OpenVINO Toolkit CVAT Documentation
https://openvinotoolkit.github.io/cvat/docs/

[3] Computer Vision Annotation Tool (CVAT) Online
https://cvat.org/