【課程簡報】Edge AI研究會#01_Edge AI影像辨識技術發展觀察

很高興今天(2021/03/26)和大家一起分享關於「Edge AI影像辨識技術發展觀察」這個主題，並且和大家有深度交流，面對面討論了許多問題。

此次重點放在Edge AI的技術發展及影像辨識相關問題，大綱如下。

• Edge AI 技術發展
• 算法優化
• 算力提升
• 資料標註
• 領域知識
• Edge AI影像辨識
• 離網推論
• 巨量連網
• 即時反應
• 開發部署

 （點擊圖放大）

【課程簡報】20210326_東南資科_創新應用實務02_OpenCV初體驗

很高興今天受東南科技大學資訊科技系謝昌勳老師邀約擔任業師，和同學們分享「走進電腦視覺─OpenCV初體驗」，此次主要分享重點如下。

• 線上Python開發環境
• Google Colab
• Jupyter Notebook
• 開源電腦視覺OpenCV
• OpenCV簡介
• 基本功能操作
• 數位影像原理
• 灰階影像處理
• 範例程式練習 

完整課程範例：https://github.com/OmniXRI/tnu_opencv

（點擊圖片放大）

【課程簡報】20210319_東南資科_創新應用實務01_Github建站

很高興今天受東南科技大學資訊科技系謝昌勳老師邀約擔任業師，和同學們分享創新應用實務相關實務經驗，此次主要分享重點如下。

資訊創新應用開發
　　創意與發想
　　實作與驗證
GitHub
　　何謂 GitHub
　　如何建立靜態網站
Markdown
　　基本語法
　　進階語法

（點擊圖片放大）

【Intel OpenVINO™教學】不用寫程式也能輕鬆上手AI模型分析、優化、佈署─DL Workbench圖形化介面工具簡介

有看過或玩過「神奇寶貝（寶可夢）」的朋友都知道，訓練家們要依怪獸的屬性（火系、草系、電系等）給予適當的培訓，再挑選合適的對象及不斷的對戰磨煉才能有好的戰鬥表現。同樣地，AI模型訓練師也是如此，依據不同的應用場景（影像分類、物件偵測、影像分割等），挑選適合在指定的硬體（CPU, GPU, VPU, FPGA等）上推論的模型，並反覆調整合適的超參數，如此才能有好的成果。

由於這樣的調參工作需要耗費大量的時間及精力才能完成，傳統上只靠一堆數字報表來分析調整方向，所以非常仰賴專業工程師的能力才能完成。因此Intel OpenVINO Toolkit（以下簡稱OpenVINO）在2019 R3版之後提供了一項非常方便的網頁式圖形化介面工具「DL Workbench」(Deep Learning Works Benchmark)，讓不會寫程式、非專業的工程師也能輕易上手進行模型選用、下載、校正、參數調整、效能比較、瓶頸分析、優化及打包佈署到目標硬體平台上。

接下來就從「如何安裝DL Workbench」、「DL Workbench工作流程」作簡單說明，最後再以「實際案例操作：SSD物件偵測」完整說明AI模型的分析、優化及佈署的步驟。

【課程簡報】Edge AI社聚#1 身份辨識防疫技術交流 ─ Edge AI人臉辨識技術剖析

很高興今日(2021/2/25)受邀在「Edge AI 社聚」和大家分享關於邊緣智能上人臉辨識相關技術。此次從傳統算法介紹到目前人工智慧算法，並分別解釋相關辨識基準，主要包括下列項目，希望能幫助大家能快速進入「人臉辨識」這個領域

• 人臉辨識應用
• 人臉辨識技術
• 人臉辨識發展
• 人臉資料集
• 人臉辨識基準
• 開源辨識工具

另外文末附上14個常見人臉特徵點(Facial Landmarks)資料集載點，可自行參考。

 （以下圖點擊後放大）

【Intel OpenVINO™教學】GStreamer串流影片智能分析不再慢吞吞─看Intel OpenVINO DL Stream如何加速影片推論

 

隨著人工智慧興起，利用「深度學習」技術來進行電腦視覺工作已是很普遍的應用，如影像分類、物件偵測等。通常只需將單張影像送入訓練好的模型中進行推論即可得到輸出結果，但當遇到視訊檔案或串流影片時，逐格(by Frame)影像分析就變得很沒效率，因為影格間時間差距過短（通常為1/30 ~ 1/60秒），場景中的物件位移量（變形量）可能過小，導致影格間得到幾乎相同的計算結果（物件位置、尺寸及分類），浪費計算資源，也讓系統看起來反應過慢。

為了使視訊檔案及串流影片在分析上能加快反應，Intel OpenVINO Toolkit（以下簡稱OpenVINO）整合了GStreamer、OpenCV並提供DL Streamer - GStreamer Video Analytics (GVA) Plugin，讓使用者可以更彈性的設定，使其在影片（連續影像）分析上更具效率。接下來就幫大家介紹「什麼是串流影片？什麼是GStreamer？」、「如何安裝OpenVINO DL Streamer環境」、「串流影片分析及優化流程」，最後再以一個即時追蹤車輛、行人的範例來介紹如何使用命令列操作，希望能幫大家對DL Streamer有更多認識。

【Raspberry Pi Pico 開箱實作教學 #02】 OLED SSD1327 I2C MicroPython驅動程式開發與測試

在上一篇[1]已初步介紹如何安裝Raspberry Pi Pico (以下簡稱Pi Pico) MicroPython開發環境及基本數位輸出入(GPIO)、類比輸出入(ADC, PWM)用法。這一次就介紹如何自己寫一個OLED的驅動程式做為後續文字及圖形內容(GUI)顯示的介面。實驗用電路如Fig. 1所示。

 

Fig. 1 Pi Pico測試用電路板接線圖。(OmniXRI Feb. 2021設計/繪圖）(點擊圖放大)

大家會好奇為什麼要自己寫OLED驅動程式呢？因為目前Pi Pico不像Arduino，IDE就自帶各種I2C, SPI, UART, 8080介面的溫控、光電、運動、顯示等各種模組驅動程式及範例。而這些模組的供應商目前雖然有提供MicroPython驅動程式，但可能只有支援到Pyboard, ESP8266, ESP32, WiPy等這些常用的開發板，並不保證所有的驅動程式都能被Pi Pico直接使用。相信不久的將來這些模組供應商會很快提供相對應的驅動程式，所以想要用這些模組的朋友只能自己動手解決了。

【Raspberry Pi Pico 開箱實作教學 #01】 MicroPython開發環境安裝與GPIO數位/類比測試

在星爺電影食神中，唐牛說：「瀨尿牛丸彈性十足，還可用來打乓乒球，好玩又有噱頭！我都忍不住買了一碗！」，我想這正是我手上拿著Raspberry Pi Pico（以下簡稱Pi Pico）的心情，怎麼能不跟一波風潮呢。（ps.天竺鼠車車表示不服）

Pi Pico是一款有Arm Cortex-M0雙核心(133MHz)、264KB SRAM及2MB Flash的一款單晶片(MCU)，關於規格介紹的文章已充斥網上了，這裡就不多說明了，可以參考一下官網說明[1]或者陸向陽大大的文章[2]。

為了能快點試試這小傢伙究竟有多好玩，趁著周末無聊，就順手焊了一塊板子方便測試，其中包括了兩個輸出的LED（可數位或類比輸出）、兩個按鍵輸入，一個半可變電阻可調的類比輸入，最後再搭上一塊I2C介面的OLED顯示器，電路接線圖如Fig. 1所示，實體照片如Fig. 2所示。（ps. 不要問我為什麼不用麵包板，因為我喜歡享受焊板子的手感）

 

Fig. 1 Pi Pico測試用電路板接線圖。(OmniXRI Feb. 2021設計/繪圖）(點擊圖放大)

Fig. 2 Pi Pico測試用電路板實體照片。(OmniXRI Feb. 2021設計/製作）(點擊圖放大)

支援Intel十一代Tiger Lake UP3工業電腦參考名單

 

圖片來源

未來Intel十一代CPU（Tiger Lake UP3)將整合自家GPU Xe，未來在AI領域的模型練訓上效能將大幅提升，若再配合OpenVINO使用，會比單用CPU（AVX指令集、MKL加速函式庫）或VPU（神經運算棒NCS）進行AI推論的速度高出許多。目前OpenVINO 2021.1版已可支援Tiger Lake。

十一代Tiger Lake主要有下面幾款 [wiki] [Intel]

• Intel® Core™ i7-1185G7E
• Intel® Core™ i7-1165G7E
  
• Intel® Core™ i5-1145G7E
• Intel® Core™ i5-1135G7E
• Intel® Core™ i3-1125G4E
  
• Intel® Core™ i3-1115G4E
• Intel® Pentium Gold® 7505
  
• Intel® Celeron® 6305E

其中Tiger Lake UP3 i7 / i5 自帶GPU為Iris Xe，分別有96 / 80個執行單元(EUs)，而其它自帶的GPU為UHD Graphics，有48個執行單元。

接下來整理了已上市（或快上市）嵌入式機種（不含筆電類型）或模組板，共有8家公司（研華、研揚、凌華、新漢、威強電、安富利、瑞傳、超微），14款產品，如有疏漏煩請於留言區交流補充，謝謝！

(點擊型號文字可連結至各產品官網介紹）

從CES 2021看實境互動技術未來發展

 

一年一度的消費性電子展（CES 2021）最近（2021/1/11-14）剛結束，今年在Covid-19疫情攪局下全部都改為線上展出，雖然各大廠有推出許多精采的產品介紹影片，但總覺得少了一點味道。台灣方面在科技部領軍下，集結了31個單位100個新創公司共同參與，並在「台灣科技新創基地(TTA)」的協助下打造了一個VR線上展覽館。

不過對於想在PC上使用一般網頁瀏覽器來體驗TTA這個VR線上展覽館的朋友要有點心理準備，因為這個介面是極度不友善的，體驗感受極差，想仔細看一下廠商提供的資料，不論是影片或靜態資料都會一直不斷的被移動（場景水平旋轉），且無法將想看的資料放大到全螢幕，根本很難閱讀。另外當畫面移到某個正在播放影片時，卻沒有將沒出現在畫面正中央的但還在播放的影片聲音靜音，導致有多組聲音一起在播放，實在難以聽清楚在介紹的內容。或許下次應該考慮同步多提供一般2D網頁式操作介面，再由使用者自行選擇是使用VR設備或普通電腦操作會更理想些。

整體看下來，本次CES可能是去年受疫情影響，各廠家研發進度感覺上有點落後，因此亮點並不多。為方便大家理解此次展會在「實境互動(Reality Interaction」領域中有何值得關注的產品。

一般來說實境互動包含取得真實世界資訊（如3D掃描、建模等）、顯示（疊合）虛擬世界物件到真實世界（如VR, AR, MR, XR顯示眼鏡或裸視3D顯示器等）、人機互動（如手勢、頭部姿態、眼睛注視、運動感測器、力回饋設備等）等技術整合而得。接下來就針對這三大領域的新品幫大家作一些簡單盤點，如有遺漏的地方再煩請多多在留言區交流並提供相關資訊。（註：產品排列順序不代表任何意義）

【Intel OpenVINO™教學】如何利用Docker快速建置OpenVINO開發環境

 

2012年Alex Krizhevsky利用卷積神經網路(Convolutional Neural Network, CNN) AlexNet以15.3% Top5錯誤率遠甩第二名好幾條街(26.1%)，贏得ImageNet大規模視覺辨識挑戰賽(ILSVRC)首獎，從此開啟人工智慧、神經網路、深度學習的新世代。自此各個廠商也紛紛推出自家的開發工具，搶食人工智慧這塊大餅。

2018年5月INTEL有鑑於邊緣智能(Edge AI)設備的硬體效能遠低於雲端機房，且不同硬體、開發工具間存在嚴重差異，造成工程師學習上極大的困擾，因此推出開放（免費）電腦視覺推論及神經網路（深度學習）優化工具包「OpenVINO」(Open Visual Inference & Neural Network Optimization Toolkit)」[1][2]。

OpenVINO整合了OpenCV, OpenCL等開源電腦視覺及加速運算函式庫，並可運行在多種作業系統(Windows, Linux)，輕鬆搭配自家各種不同硬體加速運算平台(Inetl CPU, GPU, FPGA, VPU, GNA)，且支援各種常見AI開發框架(TensorFlow, Caffe, MXNet, ONNX, KALDI)訓練出的模型及參數，更有提供模型的優化工具使運算效能及模型大小得到更佳的輸出，最重要的是工程師只需寫一次程式就能在不同平台上執行，大大降低學習及佈署的負擔。

早先OpenVINO的版本彈性雖然較大，但安裝程序冗長，一不小心容易造成步驟缺失導致系統無法正確運行。為解決這項問題，OpenVINO也有推出Docker安裝方式，輕鬆搞定安裝及執行問題，且可有效隔離不同版本及其它開發環境。接著就簡單說明「什麼是Docker？和虛擬機VM有何不同？」、「如何安裝Docker工作環境」及「如何使用Docker安裝OpenVINO」，最後再以一個範例來說明「如何利用公開模型mobilenet執行影像分類」。