歐尼克斯實境互動工作室(OmniXRI): 11月 2019

2019年11月20日星期三

【AI_Column】如何以YOLOv3訓練自己的資料集─以小蕃茄為例

在人工智慧電腦視覺領域中，最常見的應用包括影像分類、物件偵測、像素級物件影像分割(語義分割及實例分割)，其中又以物件偵測應用範圍最廣。近年來物件偵測的算法(模型)不斷推陳出新，從最早的二階式(R-CNN, Fast R-CNN, Faster R-CNN)高精度算法演變到現在一階式(YOLO, SSD, R-FCN)高效算法。其中又以YOLO(You Only Look Once) [1]系列最受大家喜愛，目前已演進至第三代(以下簡稱YOLOv3)，其主要搭配Microsoft COCO 物件偵測80分類[2]做為預設訓練資料集，如果只需偵測常見物件偵測(如人、動物、車輛等)那麼直接利用YOLO預訓練好的模型及權重值就可應用到實際場域了。不過這80類物件通常很難滿足我們的需求，因此如果我們想應用自己準備的資料集時，那如何收集(取像)、標註、訓練資料集及進行最後的推論就變得非常重要。接下來就以辨識(偵測)小蕃茄為例為大家介紹完整工作流程(如Fig.1所示)。

Fig. 1 建構、標註、訓練及推論自己的資料集工作流程。 (OmniXRI整理製作) (點擊圖片放大)

2019年11月13日星期三

【3D感測器】如何擷取Intel RealSense™串流影像到OpenCV

上次已透過「【3D感測器】Intel RealSense™ SDK無痛安裝指引」[1] 一文幫大家說明如何安裝，這次就幫大家說明如何從RealSense SDK擷取彩色、深度及紅外線串流影像並導入OpenCV中，方便後續開發自己的人機介面及相關計算功能。

Fig.1 Intel RealSense串流影像導入OpenCV Mat示意圖 (OmniXRI整理繪製) (點擊圖片放大)

我想大部份的人想開發一個3D的人機介面可以自由平移、縮放及旋轉視角是有點(大誤！是非常)困難的，所以RealSense SDK提供使用者輕易切換2D(平面)及3D(立體、深度)顯示及操作的介面。這項功能是基於通用3D繪圖引擎OpenGL達成的，雖然很方便操作，但於習慣自己用Visual Studio, QT及其它GUI工具開發人機介面程式的人反而有點不太方便，尤其是重度OpenCV使用者無法透過常用的VideoCapture函式直接取得RealSense各攝影機的串流影像，更是造成一些小困擾。

2019年11月9日星期六

OpenVINO與OpenCV搭配─幹電腦視覺的活一點都不累

上個世紀美國科學家發現一個有趣的現象，許多長期在太空執行任務的男性太空人都會產生頭疼、失眠、噁心、情緒低落等症狀，後來發現只要在團隊中加入女性太空人這個現象就會大幅減低，同時增加工作效率，於是就有「男女搭配、幹活不累」的說法產生。同樣的情況，在電腦視覺開源社群領域以往都單靠OpenCV來解決各種影像處理、電腦視覺等問題，近年來隨著「深度學習」技術興起，許多傳統電腦視覺不好處理的問題(如分類、物件偵測、影像分割等)漸漸地也得到不錯的成果。以往這兩大技術都是各自獨立，OpenCV為整合「深度學習」這項技術2017年8月推出3.3版，大幅提升DNN(Depp Neural Network)模組功能[1]，加入許多常見框架(如Caffe, TensorFlow, Torch7 …)及常見模型(如AlexNet, VGG, ResNet, SqueezeNet … )造福許多開源社群開發者。2018年Intel推出開源電腦視覺推論及神經網路工具包(OpenVINO)更是直接將OpenCV直接整合進去並給予非常靈活的彈性應用，可各自獨立工作，亦可部份整合或緊密整合，充份體現「OpenVINO與OpenCV搭配，幹電腦視覺的活一點都不累」的精神。

依據OpenVINO的官網教學文件[2]，雖有給出OpenVINO和OpenCV各自的範例程式，但對整合測試部份仍沒有太完整的說明。加上之前有一些網友誤會用OpenVINO自帶的OpenCV載入常見框架模型就可以發揮其跨硬體平台(CPU, GPU, FPGA, VPU…)的特性，因此想藉由這篇文章提供大家一些範例程式並幫大家比較一下其中差異及執行效能優劣，希望能讓大家後續使用時能更清楚如何整合應用。