很高興此次受到研華科技(Advantech)邀約協助測試最新「AI人臉辨識運算智能系統」，這是一款性價比不錯且高度整合的硬體組合，搭配和人臉辨識大廠訊連科技(CyberLink)共同合作開發的工業APP「FaceView」及Intel VPU加開源AI推論工具包OpenVINO (Open Visual Inferencing and Neural Network Optimization Toolkit)，開機即可使用，不用自己安裝一堆套件及複雜學習便可輕鬆建立VIP及黑名單客戶，在門禁系統、會員管理等應用相當方便。
對於有能力進行程式開發的客戶，亦提供相關的軟體開發套件(SDK)以利更複雜的應用。以下就簡單從「人臉辨識基準」、「系統環境及應用場景」、「操作介面及步驟」、「二次開發環境」、「測試結果」等方面來幫大家介紹一下。
很高興今天(2020/12/18)受台科大人工智慧中心主任花凱龍老師邀約，出席由台科大管理學院、數位轉型暨前瞻科技人才培育中心、智慧化企業發展中心所舉辦的「未來前瞻科技跨界人才沙盒論壇」並擔任「未來數位科技能力培訓工作坊」講師，分享「AI影像實作─人工智能影像分類實作及應用」這個主題。
本次課程內容和前不久到真理大學分享的三小時實作課程（請參考文末連結）很接近，但此次只有70分鐘，所以課程安排上較為緊湊。此次把模型訓練和推論分開介紹，如此更符合一般使用情境，另外加上PyTorch自帶預訓練模型的使用方式介紹，讓此次學員能更容易上手。
本次課程所有範例程式，可至Github直接下載。（以下圖點擊後放大）
https://github.com/OmniXRI/NTUST_Colab_PyTorch_Classification
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/11/26
先前已介紹過多種異常偵測、模型可視化及裂縫檢測技術（參考文末延伸閱讀[A]~[H]），這一次改從另一種角度來介紹異常偵測，「深度度量學習(Deep Metric Learning)」。
在傳統「機器學習(Machine Learning)」領域多半是先透過領域專家以人工方式定義指定數量的特徵，再進行有監督分類或無監督聚類來達成影像辨識或特定目標提取，而最主要區隔資料的依據就是多維資料間的「距離」。雖然此類技術具有較高的可解釋性，但卻難以適用特徵數量較多、資料分佈過於分散或巨大數量的資料集。
近年來流行的「深度學習(Deep Learning)」則採用巨量資料驅動方式，建立出具有高度非線性的分類模型，透過深層的神經網路及巨量的權重值（參數）達成極佳分類效果。但此類作法通常難以理解究竟是用了何種特徵進行分類，僅能藉由可視化工具來幫忙確認主要反應區域。相對於傳統機器學習，在缺乏大量異常樣本的情況下，常難以訓練出穩定可用的模型及參數。
基於上述問題，於是就有結合兩種特性的「深度度量學習(Deep Metric Learning)」誕生了。一般深度學習分類模型，每當新增一類別時，通常需要重新訓練模型產生新的權重（參數），這樣非常耗時且不方便，於是有人就提出直接以模型最後幾層產生的權重值代替傳統手工提取特徵值的作法，計算所有資料分類的距離，如此便能得知新的分類和其它分類的距離關係，進而達分類的目的。為更清楚說明，以下就從「資料距離量測」、「深度度量學習原理」及「異常偵測應用方式」來進一步說明。
很高興昨天(2020/12/8)第二次受真理大學資工系陳炯良老師邀約和同學們分享AI相關技術，這次為「自造應用開發─人工智慧與邊緣運算」，主題為「手把手教你建置自己的智慧影分類系統」。
本次課主要是指導同學如何在Colab上配合PyTorch, Google Drive雲端硬碟等工具實作一個自定義資料集及卷積神經網路(CNN)，最後再說明如何部署到目前較最新的Nvidia Jetson Nano 2GB版本硬體上，完整簡報內容如下所示。相關程式碼請至下列連結下載。
https://github.com/OmniXRI/Colab_PyTorch_Classification
如有任何問題歡迎於下方留言區交流互動。（點擊圖片放大）
註：為方便大家避免打錯字，簡報中很多輸入的指令可參考上述連結中的jetson_nano_2GB_setup.txt
Google Colab提供大家很方便練習OpenCV, Python及各種AI程式，但大家最常遇到的就是無法直接顯示影像(image)及視頻(video)問題，這樣對即時要了解執行狀況的人很不方便。最近剛好找到一些解決方案，整理成幾個範例供大家參考一下。主要內容包括：
1. 將欲存取的檔案自行上傳到雲端硬碟(Google Drive)
2. 掛載自己的Google Drive
3. 選擇習慣之影像顯示方式
方法1.1 透過matplotlib show()顯示
方法1.2 透過IPython.display及PIL顯示
方法1.3 以Colab自帶cv2_imshow()函式顯示
4. 選擇習慣之視頻顯示方式
方法2.1 透過IPython.display HTML()及base64 b64encode()函式庫顯示視頻
方法2.2 利用ffmpeg處理OpenCV VideoWriter()產出視頻播放問題
完整的程式範例可參考本工作室 Github https://github.com/OmniXRI/Colab_OpenCV_Display
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/11/12
在上一篇「看電腦視覺如何助力智能裂縫偵測技術發展」[1]中已初步對「裂縫偵測」中常見的「裂縫型態」、「裂縫標註方式」、「裂縫偵測算法及模型」及「裂縫公開資料集」等方面作了初步介紹。本文將針對其中「裂縫偵測算法及模型」的「深度學習模型」類偵測方法再作進一步說明，而以傳統「影像處理算法」的裂縫偵測技術就請參考上一篇文章 [1]介紹，這裡就不再贅述。
以深度學習模型作為「裂縫偵測」大致上可以分成偵測有無裂縫的「影像分類(Image Classification)」，找出裂縫所在位置邊界框的「物件偵測(Object Detection)」 及精準標示出屬於裂縫位置像素的「語義分割(Semantic Segmentation)」。不同的算法所需算力、偵測能力、適合裂縫類型及輸出應用各有不同，沒有唯一解法，以下就舉幾個例子來說明不同概念下的作法及其優缺點。
從2017/11/8成立至今已滿三年了，又是到了自我檢視的時候了。感謝過去一年間大家的支持，點閱率新增81,535次，共貼文45篇，其中包括AI Hub AI專欄14篇，10次受邀演講課程講義。貼文數量雖沒有很多，但每一篇花費在寫作的時間較以往來說多了五到十倍，主要是因為整理AI專欄素材。
今(2020)年5月2日，成立了台灣第一個專門討論小型AI應用、邊緣智能運算相關應用的Facebook社團「Edge AI Taiwan邊緣智能交流區」，短短六個多月已有1,154位同好加入且互動良好，實在非常感謝。為了維護這個社團及至少每日更新一則訊息，也花費不少時間收集資訊，間接也導致寫部落格時間減少，實在分身乏術，敬請見諒。
以下幾張貼圖就是過去一年的成果，感謝大家的點閱、按讚，讓我有繼續寫下去的動力，如果覺得部落格或FB社團中的內容還用得上，歡迎多多分享給需要的人，謝謝！
 |
| 部落格總點閱數23,7598（2019/11/08 - 2020/11/08 ）（點擊圖放大） |
 |
| 部落格點閱統計（2019/11/08 - 2020/11/08 ）（點擊圖放大） |
 |
| 十大點擊率文章部落格總點閱數23,7598（2019/11/08 - 2020/11/08 ）（點擊圖放大） |
 |
| Facebook 社團 Edge AI Taiwan 邊緣智能交流區，成員數1,154。（2019/11/08 - 2020/11/08 ）（點擊圖放大） |
 |
| Edge AI Taiwan 邊緣智能交流區貼文數及活躍人數。（2020/5/2~2020/11/08）（點擊圖放大） |
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/10/29
在先前文章「導入AI表面瑕疵異常偵測提升智慧製造品質」[1]中曾介紹表面瑕疵偵測的相關技術，其中包含點、線、面等類型瑕疵，這次就再把重點放到「線型瑕疵」中的「裂縫偵測(Crack Detection)」這個主題，繼續和大家做進一步分享。
在工業、機械、建築、電子領域中，當材料在加工或組裝過程受到不當外力（如夾持、撞擊、剪力、振動）時，狀況嚴重的可能會產生結構性損壞及外表破損問題，輕則外型仍保持良好，但表面已經產生肉眼可見的裂縫。如果是一般中、小型電子或機械零件產生裂縫尚可直接淘汰，但若是大型機械結構、建物、橋樑、牆壁、地面則需要進行適當補強，不然可能會造成人身安全疑慮。
常見裂縫偵測方式包括目視（或電腦視覺）、壓力或洩漏、紅外線熱感影像、超音波、渦電流、雷射掃描測距及其它各種非破壞性物理量測設備。本文將著重在一般可見光（彩色或灰階）影像裂縫分析方式，而其它物理量轉成的數位影像由於特性差異頗大，暫不列入討論範圍。
另外「刮痕」也是常見且類似較細的「裂縫」，而二者的差異在於前者通常為直線段、痕跡深度、顏色較淺，有時肉眼還需於特定角度反光下才能看到，這些多半是美觀問題，較無結構安全性問題。而真正的裂縫是指材料已遭到破壞，通常會在目視時產生明顯、顏色較深的內容，而其痕跡則較不規則，粗細也不一，經常會產生許多分叉。由於兩者偵測方式有滿大的差異，故本文僅討論「裂縫偵測」問題。
另外由於裂縫偵測常會伴隨不同材質產生不同的裂縫型態問題，加上不同的背景雜訊干擾，亦會影響相關算法及模型，故很難用一種算法或模型完全克服。為更清楚說明，以下分別就常見的「裂縫型態」、「裂縫標註方式」、「裂縫偵測算法及模型」及「裂縫公開資料集」等方面作進一步說明。
很高興今日(2020/10/24)受邀和大家分享如何使用Colab及OpenVINO來進行採果辨識系統開發。這次課程主要以實作為主、原理為輔，另外搭配很多程式碼說明。主要簡報內容大致如下。（點擊圖片放大）
物件偵測/辨識技術簡介
技術發展歷史
性能評量方式
取像、建立與標註資料集
常見物件偵測資料集
資料集格式介紹
labelImg安裝與使用
Google Colab程式碼體驗
Colab基本介紹
OpenVINO簡介
安裝OpenVINO到Colab
下載標註資料、預訓權重
資料集重新分配、轉換
模型訓練
影像推論
課程相關程式碼請至本部落格GITHUB https://github.com/OmniXRI/20201024_AIGO_Lab2 下載。
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/10/08
應用「深度學習」或「人工智慧」技術的朋友應該都知道，想要有好的成果必須建立在「算法（模型）」、「算力」、「資料（數據）集」及「領域知識」四大基礎之上，尤其在「監督式學習」領域下，乾淨及精準標註的資料集更是不可或缺。近年來「電腦視覺」及「自然語言處理（理解）」技術的突飛猛進，正是依靠巨量及標註品質良好的資料集。以下本文將先針對「電腦視覺」中常用的「影像分類(Image Classification)」、「物件偵測（定位）(Object Detection / Location)」、「語義（像素級）分割(Semantic Segmentation)」、「實例分割(Instance Segmentation)」、「全景分割(Panoptic Segmentation)」及「人體骨架(Human Skeleton)」等幾大領域作簡單的「任務定義」，接著再對常見的「資料集格式」、「標註形式」及「標註工具」逐一說明。
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/9/24
在先前兩篇「如何利用可視化工具揭開神經網路背後的祕密」上篇[1]及下篇[2]中已初步介紹如何將卷積神經網路(Convolutional Neural Network, CNN)推論結果可視化及其基本原理。這一次就來聊聊經過可視化處理產生的顯著圖(Saliency Map)或稱熱力圖(Heat Map)、活化圖(Activation Map)究竟是否為人類真正關心的特徵(Features)，或者說這些計算出來較為顯著（重要）的地方是否可以幫助我們解釋模型究竟學會了什麼？
在卷積神經網路可視化工具中，較常見的方式有基於擾動法(Perturbation-based)、反向傳播法(Propagation-based)及活化映射法(Activation-based)，而其中後兩者最主要皆有用到梯度(Gradient)這項基本概念，即希望找出輸入內容造成輸出變化較大的地方，換句話說就是模型權重值影響最大的地方，也是最重要的或特徵所在的地方。
但不幸地是，目前梯度法仍有許多使用上的限制及不足，而可視化所提取出的顯著圖也能未必能完全代表人類視覺上所期望的特徵，因此接下來就分別從「何謂梯度」、「梯度飽和」、「積分梯度」及「遮罩優化」等四個面向來討論如何改善及使顯著圖和視覺特徵上能更佳接近。
很高興這次能和Intel & Sertek & MakerPro共同合作擔任「Intel人工智慧運算」線上系列課程講師，本次主題為「快速掌握機器手臂視覺辨識技術」，共有三小段課程，包括：
這是一項免費課程，只要上網完成註冊及報名就能觀看完整教學影片，完整課程連結 ： https://makerpro.cc/learning/
各位有在玩Intel OpenVINO的人都知道，這項開源推論工具可支援多種作業系統(Windows, Linux, Raspbian, Docker...)、程式語言(C++, Python...)及不同硬體(Intel's CPU, GPU, VPU, FPGA...)，加上很多預訓練好的模型，可以很方便測試人工智慧經常遇到的應用情境。
最常見的用法就是直接在電腦或樹莓派USB埠插上一組Intel神經運算棒(NCS2, VPU)來練習。但如果遇到要教學或臨時要測試時，不容易找到多台裝好OpenVINO的主機或是沒有足夠數量的神經運算棒時，就會變得很不方便。
玩AI的人都知道，Google有佛心的提供免費虛擬主機加上GPU及TPU運算資源給大家，稱為Colab。這個工具不僅幫我們把Jupyter Notebook環境架好，連基本的TensorFlow, OpenCV等常用的工具包都已建置完成，很方便直接進行深度學習的模型開發、測試、訓練及推論。
之前Colab這項免費資源並沒有和Intel OpenVINO有太多連結。最近剛好看到INTEL釋出的一個範例，馬上吸引到我的目光，因為它完美解決了這個問題，直接用Colab虛擬機上的Intel CPU (二顆Xeon)來執行OpenVINO。於是馬上動手測試一下並整理出三個基本範例給大家參考。
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/8/27
2012年Alex Krizhevsky和其指導教授知名圖靈獎得主Geoffrey Everest Hinton以「AlexNet」卷積神經網路(Convolution Neural Network, CNN)贏得大規模視覺辨識挑戰賽(ImagNet Large Scale Visual Recognition Competition, ILSVR)，並以低於第二名10%以上的錯誤率受到極大矚目，從此打開人工智慧及「深度學習」的新紀元。雖然CNN利用多層卷積(Convolution)、池化(Pooling)層及扁平化(Flatten)、全連結(Full Connected)構成的模型（神經網路）有著極佳地分類能力，但沒有人可以理解其背後意義，不像傳統機器學習技術中的決策樹(Decision Tree, DT)或支援向量機(Support Vector Machine, SVM)有著清楚的特徵及物理意義。
很高興今天（2020/9/5）受邀到「青年職涯發展中心暨TCN創客基地南投服務據點」分享「如何在樹莓派上用Python玩轉開源電腦視覺工具OpenCV 」。此次屬於實作型課程，時間較長共四小時，所以分成上、下午進行，簡報部份也分為上、下兩篇。主要大綱如下：（點擊圖片放大）
＊OpenCV簡介及安裝介紹（1小時）
發展歷史、主要元件、安裝介紹、基本影像存取
＊彩色影像處理簡介（1小時）
數位影像原理、灰階影像處理、彩色影像轉換、色彩提取
上篇連結：https://omnixri.blogspot.com/2020/09/20200905tcnpythonopencv.html
＊數位影像濾波及繪圖（1小時）
邊緣偵測、影像平滑/強化、影像縮放、繪圖函數
＊整合範例（1小時）
人臉偵測、I/O訊號處理、圖文標示、影像裁切
下篇連結： https://omnixri.blogspot.com/2020/09/20200905tcnpythonopencv_5.html
另外提供練習用的範例程式，可至下列網址下載：
https://gitlab.com/omnixri/tcn20200905
很高興今天（2020/9/5）受邀到「青年職涯發展中心暨TCN創客基地南投服務據點」分享「如何在樹莓派上用Python玩轉開源電腦視覺工具OpenCV 」。此次屬於實作型課程，時間較長共四小時，所以分成上、下午進行，簡報部份也分為上、下兩篇。主要大綱如下：（點擊圖片放大）
＊OpenCV簡介及安裝介紹（1小時）
發展歷史、主要元件、安裝介紹、基本影像存取
＊彩色影像處理簡介（1小時）
數位影像原理、灰階影像處理、彩色影像轉換、色彩提取
上篇連結：https://omnixri.blogspot.com/2020/09/20200905tcnpythonopencv.html
＊數位影像濾波及繪圖（1小時）
邊緣偵測、影像平滑/強化、影像縮放、繪圖函數
＊整合範例（1小時）
人臉偵測、I/O訊號處理、圖文標示、影像裁切
下篇連結： https://omnixri.blogspot.com/2020/09/20200905tcnpythonopencv_5.html
另外提供練習用的範例程式，可至下列網址下載：
https://gitlab.com/omnixri/tcn20200905
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/8/13
在大數據及人工智慧時代中，人人都知道要有巨量資料才能用來學分析、提取或學習到有效資訊，但你真的知道你的資料集中隱藏著什麼關聯及祕密嗎？比方說統計每個人的身高、體重（二維資料）即可很容易透過二維圖表找出較大的群聚（Cluster）組合，進而用來開發出適合不同族群所需的服飾或相關產品。但當資料維度超過三維時，就很難用可視化圖形表示，這也意味著人們更難直覺地了解巨量資料之間的分佈結構及關連。而這個問題在影像資料上就更為嚴重，以一張100x100灰階影像資料為例，其資料維度就高達一萬維，更不要說高解析彩色照片動輒數百萬到數千萬維。若再加上巨量資料在超高維空間中分佈超稀疏的問題，難以用傳統方式聚類，因此這樣的困境常被稱為「維度災難（Curse of Dimensionality或稱維度詛咒）」[1]。
很高興今天(2020/8/17)受邀到台中國立公共資訊圖書館演講，分享主題為「由人工智慧看台灣產業大未來暨如何引領圖書館邁向智慧新世代」。此次主要分成二個部份，第一部份是介紹AI相關知識及產業，第二部份則介紹未來智慧圖書館如何應用這些AI技術。課程大綱如下所示。
人工智慧與台灣產業
發展歷史、組成要素、主要分類（工作流程）、應用情境（電腦視覺、自然語言、數據分析）、產業發展（醫療、教育、家庭、生活、城市、交通、建築、金融、農業、製造、行銷、零售）、未來趨勢（人工/工人智慧？、未來趨勢）
未來智慧圖書館
圖書館歷史與發展（圖書館演進、影音/文字共享、智慧圖書館）、影像式AI虛擬助理、自然語言智慧檢索、智慧書單推薦系統、機器人維運及互動、未來發展與新趨勢（虛/實？、閱讀/視讀？、書籍/資料集？）
（點擊圖放大）
 |
| Everdrone搭載七台Intel RealSense D435的空拍機 [圖片來源]（點擊圖放大） |
 |
| Jon Tapson (left) and Yung-Hsiang Lu (right) |
 |
| Fig. 1 COVID -19各國確診人數變化圖(2020/1/21~2020/4/8)。（資料來源：[2]）（點擊圖放大） |
 |
| Fig. Intel RealSense D435深度圖取像結果，左圖為848x480正常取像模式，右圖為840x100高速取像模式。(圖片來源：[1])（點擊圖放大） |
 |
| 圖片來源：https://www.youtube.com/watch?v=qzvD1VMxNfc |
 |
| Fig. 1 QT3D QML方式讀取OBJ檔格式靜態3D模型結果。(OmniXR整理製作)（點擊圖放大） |
cvt 1280 720 xrandr --newmode "1280x720_60.00" 74.50 1280 1344 1472 1664 720 723 728 748 -hsync +vsync xrandr --addmode HDMI-1 "1280x720_60.00" xrandr -s 1280x720_60.00
 |
| CES 2020 實境互動相關技術(OmniXRI整理製作) （點擊圖片放大） |
 |
| 資料來源：Swami Chandrasekaran （點擊圖片放大） |
 |
| 資料來源：Weslynn （點擊圖片放大） |