【課程簡報】20191226_RealSense Meetup#3_智能機器手臂之3D感測視覺系統

很高興今天（2019/12/26)受INTEL及MAKERPRO邀約和大家分享「智能機器手臂之3D感測視覺系統」。此次主要分享內容是介紹如何整合RealSense和OpenVINO藉此來完成智能小蕃茄採收機器人系統。雖然這個系統非常陽春且不成熟，不過麻雀雖小但五臟俱全，從資料集建立、訓練、推論及物件深度分析一樣不少，還提供所有資料集及源碼供大家研究，希望有興趣的朋友未來想開發類似系統時能少踩一些坑。

本次簡報主要內容如下：（點擊圖片放大）

• 智能機器手臂之3D感測視覺系統
• 固定式RealSense + 機器手臂
• 移動式RealSense + 機器手臂
• RealSense + XYZ直交型機器手臂
• FBTUG 採果機器人專案
• 採收機器人─立體視覺技術
• 智能機器手臂視覺系統開發流程
• 立體視覺原理
• D415 & D435 規格比較
• 小蕃茄物件及深度偵測實驗平台
• YOLOv3小蕃茄偵測流程
• 小蕃茄取像
• 影像標註
• 小蕃茄物件偵測實驗結果
• 應用注意事項
• Github開源專案
• RealSense LiDARD(光達) L515
• 參考文獻

用AI進行人群計數從此不再各說各話

最近選舉到了，不管是造勢還是遊行場合，台上的主持人為了炒熱氣氛，總是會喊出誇張的人數來滿足與會人士的信心，甚至會質疑其它個人（如某椅子精算師）、媒體或警方以較科學（合理）的方式所計算的結果，造成社會上更多的對立，難道在這個充滿人工智慧的時代沒有更科學的方式來進行計算嗎？有的，今年初有一位網友PULKIT SHARMA寫了一篇「人群計數(Crowd Counting)」的文章幫大家解決了這個難題，不僅給出充份的說明，還提供相關測試數據及模型，有興趣的朋友可以追一下這篇部落格文章「It’s a Record-Breaking Crowd! A Must-Read Tutorial to Build your First Crowd Counting Model using Deep Learning」

【尬場拚人數】罷韓50萬vs.挺韓35萬　雙方均超過「樓地板」20萬人(資料來源：上報)

【課程簡報】20191225中央土木_電腦視覺及人工智慧開源工具OpenCV&OpenVINO簡介

很高興今日(2019/12/25)受中央大學土木系林子軒老師邀約和大家分享「Introduction of OpenCV and Open Source Image Recognition Using Deep Learning」這項主題。由於此次有外籍生一起上課，所以簡報內容全部採用英文。

此次簡報內容主要包括四大項目，更完整內容請參考下面簡報。（點擊圖放大）

• Computer Vision Open Toolkit - OpenCV
• Artificial Intelligence Open Toolkit - OpenVINO
• Computer Vision Project Workflow
• Applications

【OpenVINO™+RealSense™教學】土炮智能機器手臂之視覺系統

現代化工業機器手臂早已成為自動化工廠中不可或缺的最佳幫手，面對大量重複性及需要精密定位的工作，沒了它幾乎寸步難行。傳統的機器手臂需要有專業的工程師預先將工作(運動)路徑輸入(教導)到系統中，手臂才能依序執行指定的動作，但是這樣的作法只適用固定形狀及擺放位置的物件進行取放或加工。近年來隨著電腦視覺及3D(深度)感測技術的進步及高性能平價的計算平台陸續上市，幫機器手臂加上一雙明亮動人的眼睛，使其可以像人一般看到物件的形狀、擺放方式及位置，自動計算完手臂移動路徑及每個軸關節(馬達)運動距離、角度及速度後，便可伸手去拿取及放置到指定位置，已不再是遙不可及的夢想了。

雖然具有視覺能力的智能工業級的機器手臂已從數百萬降至數十萬元，算是相當便宜了，但這仍不是一般人玩的起的，那創客們是不是有機會自己土炮一台呢？這當然是有可能的，現在隨便花個數千元就能輕鬆在購物網站上買到相當不錯的迷你型多軸機器手臂(類手臂型、XYZ直交型、Delta三角錐型等)，還想更省錢的創客們還可買一些小型步進馬達或大扭矩數位舵機、多軸運動控制板加上3D印表機或雷射切割機製作機構就有機會自己做一台機器手臂。那智能視覺部份怎麼辦呢？傳統的雙眼立體視覺(深度)計算及校正原理那麼難懂，沒有讀一堆數學和算法可是搞不定的，那該怎麼辦呢？不用擔心，現在的3D(深度)感測器(如Intel RealSense)已相當平價，約3000~6000元就能取得，不用學那些數學，就像使用網路攝影機一樣簡單，透過USB就能獲得彩色加深度(RGB-D)影像。有了硬體後最後加上開源深度學習(如Intel OpenVINO)、電腦視覺(如OpenCV)及一些加速運算工具(如Intel 神經運算棒)幫忙辨識物件及計算平面(XY)位置後，加上3D感測器提供的深度(Z)資訊，如此便可驅動機器手臂移動到指定空間(XYZ)座標抓取指定物件了。接下來就開始帶著大家了解如何建構「土炮智能機器手臂之視覺系統」。

【視覺型智能機器手臂】

一般常見的智能機器手臂視覺系統有很多做法，舉例來說可將深度攝影機裝在夾爪上方(如Fig. 1a所示)，會隨著機器手臂移動，使用時手臂會先移動到某個位置讓深度攝影機計算待抓取的物件位置，再令手臂移動及抓取物件，這樣的好處是可以取得較理想的視角及較大的物件成像且不易有視線遮擋問題，但缺點是手眼校正系統較為複雜，取放精度會略差。另外一種作法則是反過來，外加一固定架安置深度攝影機(如Fig. 1b所示)，機器手臂取物前要先移開讓深度攝影機可正確計算物件位置，接著再移動取物，若搭配高級結構光投影設備及高解析度攝影機來計算深度則其解析度可達公釐(mm)甚到更小等級。這裡為了讓大家把重點放在如何取得待抓取物的空間座標，所以暫時忽略機器手臂如何製作及控制的說明，僅以示意圖(如Fig. 1c所示)說明機構設計方式。整體概念上採XYZ直交型三軸機器手臂最為簡單易懂且容易實現。Z軸最前方裝上夾爪，而深度攝影機固定於Y軸上方不動。左右移動為X軸，上下移動為Y軸，方便滿足攝影機取像座標系統。而前後移動為Z軸，以符合深度攝影機深度影像輸出結果，越靠近攝影機Z值越小，反之越遠Z值越大。

Fig. 1機器手臂之視覺系統示意圖，(a)專業型機器手配移動式深度攝影機，(b)專業型機器手臂配上置型固定式深度攝影機，(c)土炮型XYZ直交型機器手臂配後置固定式深度攝影機系統概念圖。 (OmniXRI整理製作) (點擊圖放大)

文創新利器4D (Volumetric Capture) 建模與重現

昨天(2019/12/03)很高興參加由文化部主辦的「創IP秀4D」國際論壇暨成果發表會。此次活動最主要就是展現今年度文化部「IP內容實驗室」[1]重金由法國引進的「4DViews」系統如何協助台灣多個文創領域產生新的火花。由於之前我在學校求學時就是以多視點取像、顯示及實境互動為主，但台灣卻只有很少人了解這些技術，所以此次看到台灣有這麼多不同領域相關成果產出，實在有點小激動。

Fig. 1 (a)傳統3D動畫製作流程，(b)肢體及臉部動作補捉系統，(c)4D(容積式)補捉系統。(OmniXRI整理製作) (點擊圖片放大)

【AI_Column】如何以YOLOv3訓練自己的資料集─以小蕃茄為例

在人工智慧電腦視覺領域中，最常見的應用包括影像分類、物件偵測、像素級物件影像分割(語義分割及實例分割)，其中又以物件偵測應用範圍最廣。近年來物件偵測的算法(模型)不斷推陳出新，從最早的二階式(R-CNN, Fast R-CNN, Faster R-CNN)高精度算法演變到現在一階式(YOLO, SSD, R-FCN)高效算法。其中又以YOLO(You Only Look Once) [1]系列最受大家喜愛，目前已演進至第三代(以下簡稱YOLOv3)，其主要搭配Microsoft COCO 物件偵測80分類[2]做為預設訓練資料集，如果只需偵測常見物件偵測(如人、動物、車輛等)那麼直接利用YOLO預訓練好的模型及權重值就可應用到實際場域了。不過這80類物件通常很難滿足我們的需求，因此如果我們想應用自己準備的資料集時，那如何收集(取像)、標註、訓練資料集及進行最後的推論就變得非常重要。接下來就以辨識(偵測)小蕃茄為例為大家介紹完整工作流程(如Fig.1所示)。

Fig. 1 建構、標註、訓練及推論自己的資料集工作流程。 (OmniXRI整理製作) (點擊圖片放大)

【3D感測器】如何擷取Intel RealSense™串流影像到OpenCV

上次已透過「【3D感測器】Intel RealSense™ SDK無痛安裝指引」[1] 一文幫大家說明如何安裝，這次就幫大家說明如何從RealSense SDK擷取彩色、深度及紅外線串流影像並導入OpenCV中，方便後續開發自己的人機介面及相關計算功能。

Fig.1 Intel RealSense串流影像導入OpenCV Mat示意圖 (OmniXRI整理繪製) (點擊圖片放大)

我想大部份的人想開發一個3D的人機介面可以自由平移、縮放及旋轉視角是有點(大誤！是非常)困難的，所以RealSense SDK提供使用者輕易切換2D(平面)及3D(立體、深度)顯示及操作的介面。這項功能是基於通用3D繪圖引擎OpenGL達成的，雖然很方便操作，但於習慣自己用Visual Studio, QT及其它GUI工具開發人機介面程式的人反而有點不太方便，尤其是重度OpenCV使用者無法透過常用的VideoCapture函式直接取得RealSense各攝影機的串流影像，更是造成一些小困擾。

OpenVINO與OpenCV搭配─幹電腦視覺的活一點都不累

上個世紀美國科學家發現一個有趣的現象，許多長期在太空執行任務的男性太空人都會產生頭疼、失眠、噁心、情緒低落等症狀，後來發現只要在團隊中加入女性太空人這個現象就會大幅減低，同時增加工作效率，於是就有「男女搭配、幹活不累」的說法產生。同樣的情況，在電腦視覺開源社群領域以往都單靠OpenCV來解決各種影像處理、電腦視覺等問題，近年來隨著「深度學習」技術興起，許多傳統電腦視覺不好處理的問題(如分類、物件偵測、影像分割等)漸漸地也得到不錯的成果。以往這兩大技術都是各自獨立，OpenCV為整合「深度學習」這項技術2017年8月推出3.3版，大幅提升DNN(Depp Neural Network)模組功能[1]，加入許多常見框架(如Caffe, TensorFlow, Torch7 …)及常見模型(如AlexNet, VGG, ResNet, SqueezeNet … )造福許多開源社群開發者。2018年Intel推出開源電腦視覺推論及神經網路工具包(OpenVINO)更是直接將OpenCV直接整合進去並給予非常靈活的彈性應用，可各自獨立工作，亦可部份整合或緊密整合，充份體現「OpenVINO與OpenCV搭配，幹電腦視覺的活一點都不累」的精神。

依據OpenVINO的官網教學文件[2]，雖有給出OpenVINO和OpenCV各自的範例程式，但對整合測試部份仍沒有太完整的說明。加上之前有一些網友誤會用OpenVINO自帶的OpenCV載入常見框架模型就可以發揮其跨硬體平台(CPU, GPU, FPGA, VPU…)的特性，因此想藉由這篇文章提供大家一些範例程式並幫大家比較一下其中差異及執行效能優劣，希望能讓大家後續使用時能更清楚如何整合應用。

 

Fig. 1 OpenVINO與OpenCV讀取深度學習模型及執行示意圖(OmniXR整理繪製) (點擊圖片放大）

歐尼克斯實境互動工作室部落格及FB成立兩週年

今天是本工作室部落格及FB成立兩週年紀念，感謝大家的支持，今年度新增了61,088個點擊，較去年減少很多，主要是因為今年上半年在忙一個案子，分身乏術，幾乎沒什麼文章產出，在這裡向願意花時間看我部落格的朋友致上歉意。

 

這一年來共寫了45篇部落格文，其中包含公開演講簡報16篇及一次AIGO直播影片。FB部份好友數達到107位，追蹤人數261位，還有更多不認識的朋友按讚，在此都致上最大感謝，因為有了大家的鼓勵才有繼續寫作的動力。

 

留下這些美好記錄，不是為了炫耀，只是覺得能幫助到別人是件快樂的事，幫到越多人就越感到快樂，如果大家不嫌棄就請多多運用本部落格資訊，也順便分享給需要的人，謝謝。

 

首頁及點擊 (點擊圖片放大)

十大點閱率排行榜 (點擊圖片放大)

觀眾來源 (點擊圖片放大)

【課程簡報分享】20191026_2019 Intel OpenVINO™ x Edge AI創意應用自造松_OpenVINO預訓模型使用及應用實例開發

很高興今天(2019/10/26)擔任「2019 Intel OpenVINO™ x Edge AI創意應用自造松」課程講師，分享「OpenVINO預訓模型使用及應用實例開發」。本次課程大綱如下所示，如有任何意見歡迎在下方留言互動。(點擊圖片放大)

OpenVINO版本更新重點
如何使用OpenVINO預訓練(pre-trained)模型
　範例編譯與執行、常見模型演進、資料集MS COCO、
　模型下載器(MD)、模型優化器(MO)、推論引擎(IE)、預訓練模型
Edge AI應用案例開發探討
　土炮自駕車、土炮智能監視系統、土炮體感系統
案例分享(有附影片連結)
　人臉標記、頭部姿態、表情分析、瑜珈教練、手勢辨識、
　麵包自助結帳、人員追蹤、安全帶偵測、道路偵測、工安服裝偵測

參加2019【OpenVINO™技術論壇】心得分享

很高與昨天(2019/10/24)和許多朋友一起參加「【OpenVINO™技術論壇】Edge AI應用落地與開發實務」活動，聽到許多技術及實例分享，感覺收獲良多。其中Intel英特爾物聯網事業群平台研發經理王宗業經理分享的「Intel OpenVINO Toolkit 技術特色與實例」更是點出OpenVINO最新版本功能及未來發展方向，讓使用者能更簡單使用且擁有更多彈性，讓人眼睛一亮，因此藉這個機會把重點摘要一下方便大家學習。

【課程簡報分享】20191023_聯合大學資工_創客也能輕鬆玩轉人工智慧

很高興今日(2019/10/23)受聯合大學資工系李國川教授邀約和學生們分享「創客也能輕鬆玩轉人工智慧」這個主題。此次簡報內容主要大綱如下所示，如有任何想法，歡迎在下方留言交流。（點擊圖片放大）

簡報大綱：

人工智慧技術 
　人工智慧與電腦視覺
　邊緣計算硬體平台
　常見深度學習框架
　開源工具OpenVINO簡介

OpenVINO預訓練模型應用
　土炮自駕車
　土炮智能監控系統
　土炮體感控制系統
　OpenVINO學習資源

創意專題開發
　想法評估與定位
　想法可行性分析與比較
　想法試做和循環
　團隊建置與分工
　概念實作與驗證
　　以OpenQPano為例(發想、硬體、原理、軟體、試錯)
　創意走向新創
　新創競賽與資源

AI實例分享
　日本農夫土炮黃瓜分類(第一代、第三代)

【3D感測器】Intel RealSense™ SDK無痛安裝指引

說到3D感測器Intel RealSense可是歷史優久，Intel早在2014年就已推出相關技術，應用於人機互動、3D掃描重建及3D人臉辨識等各種用途。2018年1月更是大改版推出D400系列(如Fig. 1所示)，並將軟體開發工具包(SDK)更新到2.0，使得能應用到更多不同作業系統(Win7, Win10, Ubuntu, Android, Mac)及硬體平台(PC, MAC, nVidia TX2, Raspberry Pi)上。為了方便大家快速入門，以下就以Win10環境安裝D435為例，帶著大家一步一步完成SDK安裝及3D感測器的韌體更新。

Fig. 1 Intel RealSense D400系列3D感測器 [1] (點擊圖片放大)

【課程簡報分享】20191019_2019 Intel OpenVINO™ x Edge AI創意應用自造松_OpenVINO平台運用要領

很高興今天(2019/10/19)擔任「2019 Intel OpenVINO™ x Edge AI創意應用自造松」課程講師，分享「OpenVINO平台運用要領」。本次課程大綱如下所示，如有任何意見歡迎在下方留言互動。

OpenVINO簡介
  系統架構、系統安裝、程式範例、說明文件、技術論壇、支援硬體、學習資源
安裝步驟
佈署模型
辨識範例操作示範

【課程簡報分享】20191017_磕科讀書會#6_XR新視界實境互動應用與發展趨勢

感謝好友Lanma邀請今日在台灣行雲會磕科讀書會和大家分享「XR新視界實境互動應用與發展趨勢」這個主題。此次的分享少了點技術，多了點應用實例，一共準備了二十多個小短片，讓大家能更輕鬆了解XR未來的可能性。

本次簡報主要內容如下，相關小短片亦附在文章中，有興趣的朋友可以泡個茶慢慢欣賞。

何謂實境互動
  到底有多少R ?  何謂AR/VR/MR/XR  擴增實境分類  寶可夢是AR遊戲嗎？
  Minecraft Earth AR遊戲  FB Horizon VR社交平台
  知名AR/VR動漫 刀劍神域  夏日大作戰
  知名VR電影 一級玩家  創-光速戰記
  知名AR（MR）影集  阿爾罕布拉宮的回憶  銀翼殺手2049

系統架構
  虛擬實境(VR)  擴增實境(AR / MR)  VR主要工作流程  AR(MR)主要工作流程
  VR眼鏡_HTC  MR眼鏡_Microsoft HoloLens
  AR眼鏡_Magic Leap One  Magic Leap One 專利解析

內容開發
  Google AR Core  Apple AR Kit  FB Spark AR  AR引擎

場景落地
  交通導航  醫療輔助  製造維修  營造裝潢  教育學習  日本、美國展會

人才培育
發展趨勢
未來應用

最後再用Google Cardboard VR 360街景和米菲多媒體的MAKAR製作的AR名片讓大家體驗一下VR和AR的使用感受。

以下就是此次簡報，如有任何想法歡迎在下方留言討論。 
（點擊圖片可放大觀賞，相關影片來自Youtube，如有連結失效敬請見諒）

【課程簡報分享】20191004_由人工智慧看臺灣產業大未來

很高興今天(2019/10/4)受主辦單位「行政院人事行政總處公務人力發展學院」及承辦單位「勝典科技」邀約出席「智慧轉型‧產業升級─數位學習新趨體驗與專題演講」活動分享「由人工智慧看臺灣產業大未來」講題及擔任座談與談人討論產業新趨勢。這是我第一次來到南投中興新村的公務人力發展學院並且能和許多公職人員暢談人工智慧趨勢實在非常榮幸，希望以後還有機會參與此類活動。

 此次分享內容包括六大面向，包括人工智慧發展歷史、人工智慧發展趨勢、人工智慧產業鏈、人工智慧實例分享、人工智慧人才培育、人工智慧未來發展。其中實例分享部份共提出十種產業現況及智能化後差異，包括智慧農業、智慧交通、智慧城市、智慧教育、智慧醫療、智慧金融、智慧製造、智慧政府、智慧零售、智慧娛樂。而每項產業亦列舉兩個案例讓大家能更清楚了解其中差異。以下就是本次簡報內容，如有任何意見歡迎留言討論。（點擊圖片放大）

【OpenVINO™教學】土炮體感控制系統

【體感互動時代興起】

2006年11月任天堂推出新一代電玩主機「Wii」，同時搭配具有「重力感測器（或稱線性加速度計）」的搖桿，讓玩電動不再只有香菇頭和按鍵，而是可以透過揮動手把來體驗更仿真的運動類遊戲，如網球、桌球等，從此開啟「體感遊戲」新世代。雖然後續有更多廠商加入，甚至加入了陀螺儀（或稱角加速度器）來偵測手把轉動角度、速度，還有利用地磁感測器來感知玩家面對的方向使得體感遊戲更加逼真，但玩家對於手上握著的那個手把仍感到有些累贅。

2010年11月微軟為了挽救Xbox360的銷售業績推出了「Kinect」，這項劃時代的產品讓玩家從此拋開手把，只需擺動肢體就能操作遊戲中的虛擬人物或物件。這項技術主要結合了一個紅外線雷射發射器（產生光斑）、一個紅外線攝影機及一個普通的彩色攝影機，經過複雜計算後就能得出場景中各項物件的深度（距離）資訊，進而分析出玩家的骨架（頭、手、腳）位置及姿勢，如此即可精準控制遊戲的進行。也正因有這項便宜（約六千多台幣）又好用的工具誕生，且可同時偵測多人（最多六人）的動作，所以有更多的互動遊戲及應用裝置產生。雖然後來微軟及其它廠商陸續推出改良產品，並將市場延伸至簡易型3D物件及室內環境掃描用途，隨著風潮淡去，2017年微軟已正式停止生產這項產品。

好姨說：「為什麼？為什麼？為什麼讓我用到一套這麼好用的體感互動工具，以後我用不到怎麼辦？」（星爺食神經典橋段），各位看倌請不用擔心，我幫大家找到了一個解決方案，只要用使用一組網路攝影機加上Inetl的OpenVINO開源軟體套件包中的human-pose-estimation預訓練模型就可以辦到了。星爺說：「只要有OpenVINO，人人都可是互動之神」。對！你沒聽錯，連Kinect這樣的深度感測器都不用，不管你是用CPU, GPU, VPU (神經運算棒)都可以一次搞定。

Fig. 1 食神橋段 vs. OpenVINO人體姿態估測模型執行結果 (OmniXRI整理繪製) (點擊圖片放大)

【課程簡報分享】Intel RealSense Dev Meetup#1_3D感測可行技術與開發工具剖析

很高興今天(2019/9/19)受Intel和MakerPro邀約參加「Intel RealSense Dev Meetup#1 3D感測新視界─技術前瞻與實務」並和大家分享「3D感測可行技術與開發工具剖析」。此次簡報主要就下列內容進行分享。

深度(3D)感測器發展史、3D感測技術簡介（被動式、主動式、類3D感測、Intel RealSense家族）、3D資料型態（深度圖、 點雲）、3D感測開發工具（OpenCV / PCL、RealSense SDK、RealSense自帶範例）、3D感測應用領域、3D感測應用實例（智慧農業─採收機器人）

此次分享時間較短，所以如有不清楚或想更進一步了解的朋友，歡迎在下方留言互動。（點擊圖片放大）

【OpenVINO™教學】土炮影像實例分割型智慧監控系統

人工智慧與安全監控

近幾年「人工智慧（AI）」相關技術已逐漸進入大家的生活中，不論食衣住行、各行各業只要加上「智慧（智能）」二字馬上就變得厲害起來，而想要實現這些，主要得靠「算力」、「算法」、「資料集」及「領域知識」等四大領域技術的完美整合。幸運地是隨著軟、硬體技術日益成熟及價格快速下降加上開放資料集及預先訓練好的深度學習模型的普及，如今創客（Maker）們想自己動手做（土炮）一些具有人工智慧的創意作品已不再是遙不可及。

去（2018）年五月英特爾（Intel）推出一項免費、跨硬體（CPU、 GPU、FPGA、VPU）、跨深度學習框架（如TensorFlow, Caffe, Mxnet, ONNX等）的開放電腦視覺推論及神經網路（深度學習）優化工具包OpenVINO （Open Visual Inference & Neural Network Optimization Toolkit）後便受到許多關注。小弟當然也不免俗的操作了一波，利用它預訓練好的影像語義分割（Semantic Segmentation）模型進行操作，還寫了一篇「運用 Intel OpenVINO 土炮自駕車視覺系統」[1]分享給大家並獲得不少迴響，所以今年想再接再厲更深入探究還有那些玩法，於是挑選了影像「實例分割（Instance Segmentation）」這項技術來實現「智慧監控系統」。

Fig. 1 (a)影像分類；(b)物件偵測；(c)語義分割；(d)實例分割；[2] (e)實例分割型監控系統[3]。 (OmniXRI整理繪製) (點擊圖片放大)

參觀台北digiBlock AVR+ School心得

很高興2019/8/28(三）參加了一整天的「United XR 2019 亞太創新科技產業高峰會」。早上大會邀請了許多專家學者來分享工作經驗，下午則進行「XR開發者黑客松大賽 XR之星 」頒獎，並和許多得獎團隊互動交流。晚上更加碼邀請AVR+ School及業者來分享，並邀請與會人士一同參觀各項大型設備，實在是收獲滿滿。

目前AVR+ School主要是設在台北市digiBlock台北數位產業園區B棟（台北市大同區承德路三段287號），裡面除了提供AVR相關學習課程外，另有大型實驗驗場域及設備，更協助媒合學生與業界產學及就業。

之前在許多學校及業界參觀時有看過這些大型設備，但一口氣能看到這麼多設備（號稱花了八千萬）實在非常難得，就趁這個機會多拍了幾張照片分享給大家。
（點擊圖片可放大）

背投式曲面（內凹型）顯示屏，可做為大型內容顯示，由數台大型投影機背投無縫拼接而成。可配合做AR/VR效果展示用。

【AIGO直播分享】20190823 AI定義新時代─產業人才的培育與群聚

感謝AIGO、資策會和MakerPro提供這次機會，讓我有機會體驗當直播來賓的機會，並有幸和工業局長官電子資訊組林俊秀組長及最強AI Youtuber Sandy一起同台演出並討論「AI定義新時代─產業人才的培育與群聚」。如果沒看到2019/8/23（五）直播的朋友，可以直接點擊下方影片連結觀看，如果還有其它AI問題還想問的，歡迎留言互動。

 原始影片連結 (AIGO FB)

【課程簡報分享】Coscup2019_OpenQPano開源360度顯示器

很高興昨天(2019/8/18)能在「開源人大會(Coscup) 2019」上和大家分享我的開源專案「OpenQPano開源360度顯示器」，雖然這個項有點硬，但還是感謝現場的朋友耐心聽完我的說明。

COSCUP雖有有現場錄影，但大家都是志工，所以正式影片及相關照片不知何時會釋出，如有最新資訊，會儘快分享給大家。以下就先分享昨天的簡報給大家參考，如有興趣更深入了解的朋友歡迎在下方留言互動。

【課程簡報分享】AI萬能？導入AI的八大迷思剖析

感謝MakerPro主編歐兄的邀約，今天(2019/8/13)很高興在MakerPro研究會中和大家分享前不久寫的一篇文章「從AIGO業界出題看如何成功導入AI 」，並以「AI萬能？導入AI的八大迷思剖析」做為主題，將這篇超長文濃縮成一份二十頁的簡報，希望對大家有幫助。 此次簡報內容包括「何謂AI」、「AI需求分析」、「AI八大迷思」及「如何確認導入AI成效」等四大部份，如有寫的不清楚或不對的地方再煩請大家在下留言區互動。更完整簡報請參考下列內容。 (點擊圖片放大)

【課程簡報分享】AIoT發展現況與台灣機會_國際大廠在AI領域中與新創生態圈的結合

感謝今日(2019/7/18)受工研院黃國忠博士邀請出席「物聯網晶片化整合服務計畫交流會 ─ AIoT-發展現況與台灣機會」研討會並擔任講者分享「國際大廠在AI領域中與新創生態圈的結合」。

此次分享重點包括「AIoT生態系架構」、「AIoT常見應用」、「國內外大廠投入AIoT狀況」(平台/算法/算力提供、 研發中心/人才招募/培育、 創業/競賽/加速器)及AIoT落地方向。更完整簡報請參考下列內容。 (點擊圖片放大)

從AIGO業界出題看如何成功導入AI

前不久因為有感台灣推動人工智慧(以下簡稱AI)落地方向不明，剛好看到工業局及資策會正在推動的AIGO活動「業界出題、人才解題」，於是隨手整理了廠商出的76個實際需求問題寫了一篇「從AIGO業界出題內容看台灣AI如何落地」(非業配文)，收到不少迴響。最近AIGO又開始第二梯次出題，出了整整100題，於是激起我再寫第二篇的動力(依然不是業配文)，想就個人觀點和大家談談一般人對AI的迷思、如何確認導入AI成效及未來該如何出題才能得到快速有效的解題方案。

Fig. 1 AIGO官網畫面(圖片來源：https://aigo.org.tw) (點擊圖片放大)

【課程簡報分享】OpenVINO邊緣計算論壇_運用OpenVINO開發自駕車視覺系統

很高興今天(2019/6/26)受邀擔任「OpenVINO邊緣計算論壇」講者分享關於如何「運用OpenVINO開發自駕車視覺系統」。

本次簡報主要內容包括：自駕車相關產品、能力簡介、常見配備、資料集、學習資源(MIT小鴨城、開源社群驢車、亞馬遜DeepRacer、ROS TurtleBot)，並簡單說明OpenVINO框架、硬體加速資源、邊緣計算相關產品、模型優化、推論引擎、工作流程及預訓練模型，再以OpenVINO自帶範例說明車輛/行人偵測、車牌偵測/辨識、車輛屬性及街景語義分割等應用，最後再舉三個延伸應用例(AWS送貨機器人、導航輪椅及自動巡邏機器人)讓大家能更清楚了解自駕車發展的更多可能性。

以下就是本次簡報，如有任何想法歡迎在下方留言討論。 (點擊圖片放大)

Computex 2019 3D感測即將成為下一世代實境互動新利器

這幾年隨著微軟XBOX KINECT、華碩Xction、HTC EVO 3D手機、iPhone X 3D人臉解鎖等產品上市逐漸讓大家了解到3D(深度)感測器已從傳統工業用途轉成民生用途，不再是動輒上百萬、遙不可及的技術。

目前3D(深度)感測技術大致分為光飛行時間(雷射單點掃描)、雙(多)目立體視覺及結構光(光斑)編碼立體視覺(更進一步說明可參考[1])。而主要應用領域除場景、物件3D建模、尺寸量測、生物辨識外，骨架、手勢時序辨識也已逐漸變成人機(實境)互動的主要技術。

由於3D(深度)感測技術各有優缺，加上開發人員專業背不同，所以各廠家著重的技術可能從光學、硬體晶片(算力)、智能軟體(算法)到單純採用特定感測器工具(SDK)開發應用程式皆有。此次Computex有不少廠商提出各種解決方案，應用於智慧零售、智慧製造、智慧城市及人機(實境)互動等場域。以下就簡單介紹一下各廠商此次展出的內容。

3D(深度感測器 (a)(b)鈺立微電子 ,(c)LUCID, (d)智能品光機電, (e)伍碩, (f)立普思, (g)盛泰光學, (h)中央光電 (點擊圖片放大)

Computex 2019 INTEL在邊緣計算推廣火力全開

Computex 2019於5/28正式展開，和去年一樣，INTEL在外貿協會台北國際會議中心(TICC)一樓有專區展出，主攻邊緣計算部份，晶片部份主推神經運算棒二代(NCS2)那個主晶片VPU(Myriad X)，而軟體部份則主推自家深度學習開源包OpenVINO。

Computex 2019 INTEL VPU相關產品對照表 (點擊圖片放大)

【課程簡報分享】真理大學_AI發展與新創機會

很高興今天(2019/5/27)受真理大學資工系陳炯良老師邀約和大學部學生分享「AI發展與新創機會」，希望藉著這次機會能提供學生們更健康的創業想法。

此次簡報大致分為兩大部份，包括：

AI發展
何謂人工智慧、技術範籌與能力、應用領域與方法、開發環境與工具、雲端與邊緣計算

新創機會
想法評估及試作、團隊建置與分工、市場分析與佈局、新創競賽與資源、實例需求與解題

歡迎如有任何建議可在下方留言交流。(點擊圖片放大)

台灣的商湯在那裡？

2019/5/15大陸最大的人工智慧電腦視覺獨角獸「商湯科技(SenseTime)」一口氣推出了11項產品，包括智慧城市、教育、醫療、零售及擴增實境(增強現實)五大領域。在智慧城市部份涵蓋了公安、交通、地產、銀行、社區、空間及場館，其中包含雲端、邊緣及前端計算能力。在教育部份除之前創辦人湯曉鷗教授編輯的知名AI教材「人工智能基礎(高中版)」外，此次更推出教育機器人及智能小車(SenseRover Mini)。智慧醫療部份則將重點放在遠端三維數據分析及後處理。智慧零售部份則向Amazon GO致敬，從線上消費場景數據感知、理解、分析到決策都有。最後則是SenseAR引擎2.0的發佈，使得擴增實境應用能支持更多AR眼鏡、多人互動。[1]

【課程簡報分享】AIGO社群交流會#2_從OpenCV改版談開源影像辨識深度學習新玩法

很高興今天(2019/5/21)受AIGO主辦單位資策會及協辦單位MAKERPRO邀約，讓我有機會和大家分享「從OpenCV改版談開源影像辨識深度學習新玩法」。

本次演講主要包括：
OpenCV簡介
OpenCV發展歷程
OpenCV模組簡介
執行平台及硬體加速方案
OpenCV深度學習模組
OpenCV與深度學習框架
OpenCV深度學習應用實例
    影像分類、物件偵測、語義分割、影像著色、骨架姿態、文字偵測、人臉辨識

以下就是本次演講簡報，如有任何建議歡迎留言交流。(點擊圖片放大)

台灣耐能(Kneron)自製AI晶片KL520產品發表會

去(2018)年COMPUTEX只展出FPGA版本，期待了一年多，傳說中台灣自行研發性價比最高的AI晶片「耐能Kneron KL520」選在今天(5/20)發表了。會場展出多項已導入客戶端的產品，包含研揚UP BOARD上的加速運算模組板(全科用此產品開發人臉辨識系統)，奇景(Himax)結構光3D感測器，鈺立(鈺創子公司)雙目立體視覺等。晶片不只提供極佳的功耗算力比(350OPS，300~500mW)，且內建2顆Arm Cortex M4，加上豐富的IO介面，可用於許多邊緣計算(視覺、語音、數據流)應用。同時支援多種深度學習框架(TensorFlow, Caffe, ONNX, Keras)及模型，不過不支援OpenCV。

目前看來最有機會推到一般新創或創客開發方式的應該是研揚的Up Board M.2加速板，它的介面和之前研揚出的Movidius加速板完全相容，不過據說目前研揚還在測試中，可能要下半年才會推出。

另外未來為推廣到智能攝影機領域，有可能開發安控業常使用38x38mm的板子，推出時程預計下年。至於會不會推出類出類似樹莓派的產品，可能就隨緣了。

另外有個很好玩的事，出席給的袋子中除了文宣外，還給了一隻直徑七公分的放大鏡，實在不懂要做啥用??知道的人再麻煩幫我解個謎。

ps. 這不是業配文，如Kneron有興趣找我做測試，推廣給社群，歡迎不吝指教！

 

如何讓Nvidia Jetson Nano能順利執行OpenCV4.1.0中CUDA相關函式

2015年在好友Edwin Huang贊助下拿到Nvidia最早的嵌入式開發板Jetson TK1，第一次感受到算力如此強大、價格如此實惠的平台，於是藉著這塊開發板開始了我的深度學習(雙關語)之旅。在當時Cuda, Cudnn, OpenCV整合的並不好，官方提供的套件也問題多多，加上為了讓深度學習框架Caffe能順利執行，光安裝環境竟花了快一個月才解決，坑多到有如月球表面，深怕一出狀況就要重新來過，為此還寫了足足八張A4紙的安裝說明文件。

Fig.1 Nvidia Jetson Nano (點擊圖片放大)

Alasdair Allan邊緣計算AI開發板效能比較文摘要

最近AI開發板掀起一陣大混戰，每個人都說自家的廠商算力有多高，CP值沒得比，但到底實情如何，只能各說各話。有位網友Alasdair Allan發表了一篇比較文，把目前最火的三個方案樹莓派加Intel神經計算棒、NVIDIA Jetson Nano及Google Coral做了完整實驗數據比較，結果各打五十大板，沒有一家能到達號稱的最高效率，真不知是廠商在特定(優化)條件下執行還是作者的測試方法不公平(??)，還是這些廠商有什麼隱藏祕技未公開？

這篇文章非常長，測試方法非常完整，在這裡簡單幫大家摘要一下，有興趣的朋友請直接參考原文

Benchmarking Edge Computing

Comparing Google, Intel, and NVIDIA accelerator hardware

https://medium.com/@aallan/benchmarking-edge-computing-ce3f13942245?fbclid=IwAR30AHHQoUF8HOPNQyYqNv0LDpdJOhkOqEbb9MmpsAr8qhYkk-k9X4O4GK8

以下內容、圖片都出自上述連結。而這篇文章最可愛的地方就是文後最後一句話"This post is sponsored by Coral from Google."，作者拿了Google的贊助雖然結論是Google Coral比較優，但文中仍保留很多意見，沒有一面倒幫Google多講一些好話，淨說老實話，看來Google還是滿大方的。

七種測試平台：
1. 樹莓派3B加Movidius(Intel)神經計算棒一代
2. 樹莓派3B+加英特爾神經計算棒二代
3. NVIDIA Jetson Nano
4. 樹莓派3B+
5. Google Coral USB加速器
6. Google Coral 開發板
7. 蘋果MacBookPro (Intel Core i7)

(點擊圖片放大)

NVIDIA Jetson Nano學習筆記

最近大家都在開箱AI神器NVIDIA Jetson Nano，在好友James Wu的贊助下，我也跟了一波流行。開箱文部份我想網上已有很多人分享過了，我就不獻醜了，等我試出一些內容後再和大家分享。這裡就把我在網上收集到精采的內容和大家分享一下，如果有更多的好文章，也請大家不吝指教，謝謝。

虛擬助理再進化真人尺寸虛擬警衛大變身

之前曾寫過幾篇文章介紹過「虛擬(偶像)助理」(AI智能虛擬助理介紹Gatebox/HoloBox/MxR Tube、 【AI_Column】影像式AI虛擬助理真的要來了嗎？（上）、 【AI_Column】影像式AI虛擬助理真的要來了嗎？（下）) ，最近又看到日本把這項技術延伸到真人尺寸的虛擬警衛，不禁讓人對未來有更大的想像。

此次由SECOM(安保和警衛)、AGC(顯示器和虛擬機器人)、DBA（DeNA）(安全角色草案及語音合成)及 NTT DoCoMo(5G 及訪客語音辨識) 等 4 家公司合作聯手打造出「虛擬警衞系統」，主要提供真人尺寸的男生警衛「阿衛」和女生警衛「小愛」，可以協助「警戒監視」、「接待(自動應答)」、及「緊急對應」等功能。這項技術結合影像辨識，可分析來者穿著是否異常(戴安全帽遮臉)，對於身高較矮的小朋友虛擬警衛也會蹲下對話。亦搭載語音辨識及語音合成(對話內容)來處理自然語言對答。遇到緊急狀況時也可變身為緊告標示並通知真人到場處理，大幅減少警衛人力負擔。

圖片來源(點擊放大)

從AIGO業界出題內容看台灣AI如何落地

人工智慧(AI)時代來臨 

2012年「AlexNet」完勝號稱影像分類領域最難的挑戰賽「ImageNet LSVRC」，成績大幅領先第二名近10%，正確率達85%，從此「深度學習」重新將機器學習分支中的「類神經網路」推向人工智慧(Artificial Intelligence, 以下簡稱AI)殿堂。在算法、算力及資料集的加持下，使得這幾年在影像、聲音、數據分析有越來越接近人類辨識能力的水準，「深度學習」功不可沒，因此2019年電腦領域最高榮譽的圖靈獎毫無疑問地頒發給深度學習三大推手Geoffrey Hinton、Yoshua Bengio和Yann LeCun。 

2017年科技部喊出「AI元年」口號並於2018年起成立四大「AI 創新研究中心」，台大負責生技醫療、核心技術、清大負責智慧製造、交大負責智慧服務、成大則負責生技醫療。同年初「台灣人工智慧學校」在學界及業界大力支持下順利成立，至今已有四個分校，培育數千位AI人才，學員遍佈各個產業，由此可知產官學研無一不重視這個可能影響未來的重大技術。 

話說在這樣的氛圍下，好像國父常說的大同世界老有所終(產業AI化)、壯有所用(AI產業化)、幼有所長(滿街AI人才)的美好世界就要到來，但實際狀況是每個人都害怕被這波潮流給淘汰或淹沒，所以紛紛加入AI浪潮中隨波逐流，人云亦云，好像不學一下AI就會馬上失業，而產業界搞不清楚到底AI能帶給自己什麼好處，好像什麼工作加上AI就萬無一失，給一堆巨量或微量的資料AI就能告訴我下一步怎麼做一樣，但目前AI的能力真得能解決所有問題嗎？AI人才所學真的能滿足這些需求嗎？ 

人工智慧(AI)如何落地 

為了讓AI能落地，AI人才能發揮所長，不只是練練絕世大招，說的一口好算法及程式，各單位無不火力全開。科技部積極推動學界將AI技術成立新創公司，並推向國際。台灣人工智慧學校在純教學外，亦推出「移地解題」方案，讓廠商有機會利用AI解決業界痛點、讓學員(或自家派訓員工)有實際題目能發揮解題，同時能人才培訓後也能有新的工作機會。各大AI中心也積極推廣產學合作，使得AI能更貼近產業，不再只是發表論文，空有理論而無法落地。而在這波AI落地風潮中，由經濟部工業局主導、資策會推動的「AIGO」應該是最大規模「產業出X人才解題」的媒合活動。去(2018)年度成功募集到50道題目，共有33組團隊提出46案解題方案，不過由於時程較趕，九月才開始，所以出題業界及解題人才都無法充份交流，最後僅產出21個實際落地方案。

Fig. 1 AIGO官網畫面[1] (點擊圖放大)

 

樹莓派(Pi3+)安裝Ubuntu Mate 18.04心得

上一次用Ubuntu Mate在Pi 3B上跑是好幾年前的事了，當時只是為了偷懶，想讓桌機的Ubuntu和樹莓派都能用相同環境開發程式，但後來發覺Ubuntu Mate跑起來不但吃力，在看YOUTUBE時非常卡，且直播類型的內容(如新聞台)幾乎沒辦法看。但換回樹莓派官方的Raspbian就非常順，YOUTUBE也能看直播，後來才知道是因為是Ubuntu Mate並沒有支援硬體(GPU:VideoCore IV)。

這兩天Ubuntu Mate釋出最新的18.04版(https://ubuntu-mate.org/raspberry-pi/)號稱已可支援GPU硬體解壓縮，包含FFMPEG, VLC播放器都有支援，讓我又想試一下，沒想到結果和預期的還是有點不同，只好暫時擺著了。

此次釋出的版本分別有32bit/64bit獨立版本，我選了64bit版測試，首先下載好影像檔再燒到16GB SD卡上，放到 Pi3A+上執行，沒想到竟然開機後沒多久就出現失敗訊息，上Ubuntu官網上仔細一看才發覺自己看漏了，人家有說雖然可支援Pi3A+，但因記憶體(512MB)太少，要在其它板子(Pi3B or Pi3B+)上裝好再移過來，所以只好乖乖換到Pi3B+上安裝，過程還算順利。

裝好後急忙連到YOUTUBE測試一下之前沒法看直播新聞問題，大致上是可以播，但覺得還是有點小卡，打開工作管理監看程式看一下系統資源使用狀況，大吃一驚，四個CPU及記憶體(1GB另加128MB SWAP)都快被吃光，看來以瀏覽器(內建Firefox)執行時GPU可能還是沒被好好發揮。當把瀏覽器關掉後，CPU及記憶體馬上回復較正常的狀況。雖然CPU和記憶體已釋放出來了，但以視窗方式操作，反應總是會慢半拍，甚至要等個幾秒才能啟動程式，實在有點小失望。

測完Pi3B+後想再回頭試一下Pi3A+，此次可以順利開機執行到桌面部份，但仍因記憶體使用過於飽和，有很多程式開不起來，我想這個版本還是不適合Pi3A+上執行。

如果有那個朋友有興趣試一下，並且有比較好的結果，再煩請告知我那裡沒做好，先謝謝了。

Nvidia Jetson Nano真的比Google Edge TPU厲害嗎?

最近Nvidia推出Jetson Nano AI開發板，瞬間刷爆各大人工智慧社群版面，害得我本來整理好了十幾個AI開發板的文章頓時失去貼出的動力，因為Jetson Nano的低價(US$99)及高性能(472GFlops)輾爆所有開發板，包括Coral Google Edge TPU。

Fig. 1 三大AI開發板 (點擊圖片放大)

樹莓派(Pi 3+)安裝OpenCV 4 / QT5填坑心得

前年底(2017/12)個人開始了第一個開源項目「OpenQCam」，在這個項目中整合了最小的樹莓派Pi Zero W和一組SPI介面2.2吋QVGA(320x240)解析度的LCD加上二個實體按鍵和二個LED，並以OpenCV(2.4.9)寫了一個簡單的範例，完成了一個簡易型開源相機。去年底樹莓派推出了最新的Pi 3 A+、Pi 3 B+及Raspbian(2018-11-13)，OpenCV也推出4.0(純C++版)並加強深度學習的支援。雖然樹莓派已可支援Tensoflow (1.9版以上)解決部份深度學習推論工作，但遇到傳統電腦視覺和深度學習問題要整合時，OpenCV或許更為合適，不過可惜的是目前OpenCV在樹莓派上只能使用CPU無法使用GPU加速計算。

Fig. 1 Pi 3A+ / 4” LCD / HDMI連結組合 (點擊圖片放大)

AI晶片如何評比效能

這幾年人工智慧迅速發展，大家都說自家的晶片計算能力最強，但始終沒有一個標準。去年中在安卓手機上出現了以Android NN SDK(安卓作業系統8.1以上才有支援)開發的AI Benchmark APP才開始有了較公平的比較方式，在這樣的評測平台下，不管晶片中有CPU、GPU、NPU、DSP或其它加速IC，只要有提供支援NN SDK的驅動程式，此時就能在同樣的程式及測試條件下下進行比較，就像大家在比較顯示卡能力時，OpenGL就成了大家公認的評估基準。這款AI Benchmark提供了九種測試情境涵蓋常見AI應用及算法，包括影像中的物件偵測/分類(MobileNet V2, Inception V3)、名人人臉辨識(Inception ResNet V1)、影像去模糊(SRCNN 9-5-5)、影像超解析度(VGG 19, SRGAN)、影像語義分割(ICNet)、圖像增強(ResNet 12)、記憶體限制(SRCNN 9-5-5)等，並提供數十種手機的跑分結果方便大家進行比較，有興趣的朋友可以參考 http://ai-benchmark.com/tests.html 。

AI Benchmark APP (點擊圖片放大)

【課程簡報分享】逸凡科技企業內訓_AI如何結合大數據改變未來世界

很高興今天(2019/1/21)受邀到逸凡科技分享AI入門知識，協助大家建立基本觀念。本次課程內容主要針對非工程人員，所以已避開許多數學及理論的介紹，希望藉由此次的課程能讓大家更進一步了解「人工智慧」與其相關應用。以下就是本次簡報內容，如有任何意見可在討論區留言，謝謝! 【點擊圖片可放大觀賞】