【課程簡報分享】AIGO社群交流會#2_從OpenCV改版談開源影像辨識深度學習新玩法

很高興今天(2019/5/21)受AIGO主辦單位資策會及協辦單位MAKERPRO邀約，讓我有機會和大家分享「從OpenCV改版談開源影像辨識深度學習新玩法」。

本次演講主要包括：
OpenCV簡介
OpenCV發展歷程
OpenCV模組簡介
執行平台及硬體加速方案
OpenCV深度學習模組
OpenCV與深度學習框架
OpenCV深度學習應用實例
    影像分類、物件偵測、語義分割、影像著色、骨架姿態、文字偵測、人臉辨識

以下就是本次演講簡報，如有任何建議歡迎留言交流。(點擊圖片放大)

台灣耐能(Kneron)自製AI晶片KL520產品發表會

去(2018)年COMPUTEX只展出FPGA版本，期待了一年多，傳說中台灣自行研發性價比最高的AI晶片「耐能Kneron KL520」選在今天(5/20)發表了。會場展出多項已導入客戶端的產品，包含研揚UP BOARD上的加速運算模組板(全科用此產品開發人臉辨識系統)，奇景(Himax)結構光3D感測器，鈺立(鈺創子公司)雙目立體視覺等。晶片不只提供極佳的功耗算力比(350OPS，300~500mW)，且內建2顆Arm Cortex M4，加上豐富的IO介面，可用於許多邊緣計算(視覺、語音、數據流)應用。同時支援多種深度學習框架(TensorFlow, Caffe, ONNX, Keras)及模型，不過不支援OpenCV。

目前看來最有機會推到一般新創或創客開發方式的應該是研揚的Up Board M.2加速板，它的介面和之前研揚出的Movidius加速板完全相容，不過據說目前研揚還在測試中，可能要下半年才會推出。

另外未來為推廣到智能攝影機領域，有可能開發安控業常使用38x38mm的板子，推出時程預計下年。至於會不會推出類出類似樹莓派的產品，可能就隨緣了。

另外有個很好玩的事，出席給的袋子中除了文宣外，還給了一隻直徑七公分的放大鏡，實在不懂要做啥用??知道的人再麻煩幫我解個謎。

ps. 這不是業配文，如Kneron有興趣找我做測試，推廣給社群，歡迎不吝指教！

 

如何讓Nvidia Jetson Nano能順利執行OpenCV4.1.0中CUDA相關函式

2015年在好友Edwin Huang贊助下拿到Nvidia最早的嵌入式開發板Jetson TK1，第一次感受到算力如此強大、價格如此實惠的平台，於是藉著這塊開發板開始了我的深度學習(雙關語)之旅。在當時Cuda, Cudnn, OpenCV整合的並不好，官方提供的套件也問題多多，加上為了讓深度學習框架Caffe能順利執行，光安裝環境竟花了快一個月才解決，坑多到有如月球表面，深怕一出狀況就要重新來過，為此還寫了足足八張A4紙的安裝說明文件。

Fig.1 Nvidia Jetson Nano (點擊圖片放大)

Alasdair Allan邊緣計算AI開發板效能比較文摘要

最近AI開發板掀起一陣大混戰，每個人都說自家的廠商算力有多高，CP值沒得比，但到底實情如何，只能各說各話。有位網友Alasdair Allan發表了一篇比較文，把目前最火的三個方案樹莓派加Intel神經計算棒、NVIDIA Jetson Nano及Google Coral做了完整實驗數據比較，結果各打五十大板，沒有一家能到達號稱的最高效率，真不知是廠商在特定(優化)條件下執行還是作者的測試方法不公平(??)，還是這些廠商有什麼隱藏祕技未公開？

這篇文章非常長，測試方法非常完整，在這裡簡單幫大家摘要一下，有興趣的朋友請直接參考原文

Benchmarking Edge Computing

Comparing Google, Intel, and NVIDIA accelerator hardware

https://medium.com/@aallan/benchmarking-edge-computing-ce3f13942245?fbclid=IwAR30AHHQoUF8HOPNQyYqNv0LDpdJOhkOqEbb9MmpsAr8qhYkk-k9X4O4GK8

以下內容、圖片都出自上述連結。而這篇文章最可愛的地方就是文後最後一句話"This post is sponsored by Coral from Google."，作者拿了Google的贊助雖然結論是Google Coral比較優，但文中仍保留很多意見，沒有一面倒幫Google多講一些好話，淨說老實話，看來Google還是滿大方的。

七種測試平台：
1. 樹莓派3B加Movidius(Intel)神經計算棒一代
2. 樹莓派3B+加英特爾神經計算棒二代
3. NVIDIA Jetson Nano
4. 樹莓派3B+
5. Google Coral USB加速器
6. Google Coral 開發板
7. 蘋果MacBookPro (Intel Core i7)

(點擊圖片放大)

NVIDIA Jetson Nano學習筆記

最近大家都在開箱AI神器NVIDIA Jetson Nano，在好友James Wu的贊助下，我也跟了一波流行。開箱文部份我想網上已有很多人分享過了，我就不獻醜了，等我試出一些內容後再和大家分享。這裡就把我在網上收集到精采的內容和大家分享一下，如果有更多的好文章，也請大家不吝指教，謝謝。

虛擬助理再進化真人尺寸虛擬警衛大變身

之前曾寫過幾篇文章介紹過「虛擬(偶像)助理」(AI智能虛擬助理介紹Gatebox/HoloBox/MxR Tube、 【AI_Column】影像式AI虛擬助理真的要來了嗎？（上）、 【AI_Column】影像式AI虛擬助理真的要來了嗎？（下）) ，最近又看到日本把這項技術延伸到真人尺寸的虛擬警衛，不禁讓人對未來有更大的想像。

此次由SECOM(安保和警衛)、AGC(顯示器和虛擬機器人)、DBA（DeNA）(安全角色草案及語音合成)及 NTT DoCoMo(5G 及訪客語音辨識) 等 4 家公司合作聯手打造出「虛擬警衞系統」，主要提供真人尺寸的男生警衛「阿衛」和女生警衛「小愛」，可以協助「警戒監視」、「接待(自動應答)」、及「緊急對應」等功能。這項技術結合影像辨識，可分析來者穿著是否異常(戴安全帽遮臉)，對於身高較矮的小朋友虛擬警衛也會蹲下對話。亦搭載語音辨識及語音合成(對話內容)來處理自然語言對答。遇到緊急狀況時也可變身為緊告標示並通知真人到場處理，大幅減少警衛人力負擔。

圖片來源(點擊放大)

從AIGO業界出題內容看台灣AI如何落地

人工智慧(AI)時代來臨 

2012年「AlexNet」完勝號稱影像分類領域最難的挑戰賽「ImageNet LSVRC」，成績大幅領先第二名近10%，正確率達85%，從此「深度學習」重新將機器學習分支中的「類神經網路」推向人工智慧(Artificial Intelligence, 以下簡稱AI)殿堂。在算法、算力及資料集的加持下，使得這幾年在影像、聲音、數據分析有越來越接近人類辨識能力的水準，「深度學習」功不可沒，因此2019年電腦領域最高榮譽的圖靈獎毫無疑問地頒發給深度學習三大推手Geoffrey Hinton、Yoshua Bengio和Yann LeCun。 

2017年科技部喊出「AI元年」口號並於2018年起成立四大「AI 創新研究中心」，台大負責生技醫療、核心技術、清大負責智慧製造、交大負責智慧服務、成大則負責生技醫療。同年初「台灣人工智慧學校」在學界及業界大力支持下順利成立，至今已有四個分校，培育數千位AI人才，學員遍佈各個產業，由此可知產官學研無一不重視這個可能影響未來的重大技術。 

話說在這樣的氛圍下，好像國父常說的大同世界老有所終(產業AI化)、壯有所用(AI產業化)、幼有所長(滿街AI人才)的美好世界就要到來，但實際狀況是每個人都害怕被這波潮流給淘汰或淹沒，所以紛紛加入AI浪潮中隨波逐流，人云亦云，好像不學一下AI就會馬上失業，而產業界搞不清楚到底AI能帶給自己什麼好處，好像什麼工作加上AI就萬無一失，給一堆巨量或微量的資料AI就能告訴我下一步怎麼做一樣，但目前AI的能力真得能解決所有問題嗎？AI人才所學真的能滿足這些需求嗎？ 

人工智慧(AI)如何落地 

為了讓AI能落地，AI人才能發揮所長，不只是練練絕世大招，說的一口好算法及程式，各單位無不火力全開。科技部積極推動學界將AI技術成立新創公司，並推向國際。台灣人工智慧學校在純教學外，亦推出「移地解題」方案，讓廠商有機會利用AI解決業界痛點、讓學員(或自家派訓員工)有實際題目能發揮解題，同時能人才培訓後也能有新的工作機會。各大AI中心也積極推廣產學合作，使得AI能更貼近產業，不再只是發表論文，空有理論而無法落地。而在這波AI落地風潮中，由經濟部工業局主導、資策會推動的「AIGO」應該是最大規模「產業出X人才解題」的媒合活動。去(2018)年度成功募集到50道題目，共有33組團隊提出46案解題方案，不過由於時程較趕，九月才開始，所以出題業界及解題人才都無法充份交流，最後僅產出21個實際落地方案。

Fig. 1 AIGO官網畫面[1] (點擊圖放大)

 

樹莓派(Pi3+)安裝Ubuntu Mate 18.04心得

上一次用Ubuntu Mate在Pi 3B上跑是好幾年前的事了，當時只是為了偷懶，想讓桌機的Ubuntu和樹莓派都能用相同環境開發程式，但後來發覺Ubuntu Mate跑起來不但吃力，在看YOUTUBE時非常卡，且直播類型的內容(如新聞台)幾乎沒辦法看。但換回樹莓派官方的Raspbian就非常順，YOUTUBE也能看直播，後來才知道是因為是Ubuntu Mate並沒有支援硬體(GPU:VideoCore IV)。

這兩天Ubuntu Mate釋出最新的18.04版(https://ubuntu-mate.org/raspberry-pi/)號稱已可支援GPU硬體解壓縮，包含FFMPEG, VLC播放器都有支援，讓我又想試一下，沒想到結果和預期的還是有點不同，只好暫時擺著了。

此次釋出的版本分別有32bit/64bit獨立版本，我選了64bit版測試，首先下載好影像檔再燒到16GB SD卡上，放到 Pi3A+上執行，沒想到竟然開機後沒多久就出現失敗訊息，上Ubuntu官網上仔細一看才發覺自己看漏了，人家有說雖然可支援Pi3A+，但因記憶體(512MB)太少，要在其它板子(Pi3B or Pi3B+)上裝好再移過來，所以只好乖乖換到Pi3B+上安裝，過程還算順利。

裝好後急忙連到YOUTUBE測試一下之前沒法看直播新聞問題，大致上是可以播，但覺得還是有點小卡，打開工作管理監看程式看一下系統資源使用狀況，大吃一驚，四個CPU及記憶體(1GB另加128MB SWAP)都快被吃光，看來以瀏覽器(內建Firefox)執行時GPU可能還是沒被好好發揮。當把瀏覽器關掉後，CPU及記憶體馬上回復較正常的狀況。雖然CPU和記憶體已釋放出來了，但以視窗方式操作，反應總是會慢半拍，甚至要等個幾秒才能啟動程式，實在有點小失望。

測完Pi3B+後想再回頭試一下Pi3A+，此次可以順利開機執行到桌面部份，但仍因記憶體使用過於飽和，有很多程式開不起來，我想這個版本還是不適合Pi3A+上執行。

如果有那個朋友有興趣試一下，並且有比較好的結果，再煩請告知我那裡沒做好，先謝謝了。

Nvidia Jetson Nano真的比Google Edge TPU厲害嗎?

最近Nvidia推出Jetson Nano AI開發板，瞬間刷爆各大人工智慧社群版面，害得我本來整理好了十幾個AI開發板的文章頓時失去貼出的動力，因為Jetson Nano的低價(US$99)及高性能(472GFlops)輾爆所有開發板，包括Coral Google Edge TPU。

Fig. 1 三大AI開發板 (點擊圖片放大)

樹莓派(Pi 3+)安裝OpenCV 4 / QT5填坑心得

前年底(2017/12)個人開始了第一個開源項目「OpenQCam」，在這個項目中整合了最小的樹莓派Pi Zero W和一組SPI介面2.2吋QVGA(320x240)解析度的LCD加上二個實體按鍵和二個LED，並以OpenCV(2.4.9)寫了一個簡單的範例，完成了一個簡易型開源相機。去年底樹莓派推出了最新的Pi 3 A+、Pi 3 B+及Raspbian(2018-11-13)，OpenCV也推出4.0(純C++版)並加強深度學習的支援。雖然樹莓派已可支援Tensoflow (1.9版以上)解決部份深度學習推論工作，但遇到傳統電腦視覺和深度學習問題要整合時，OpenCV或許更為合適，不過可惜的是目前OpenCV在樹莓派上只能使用CPU無法使用GPU加速計算。

Fig. 1 Pi 3A+ / 4” LCD / HDMI連結組合 (點擊圖片放大)

AI晶片如何評比效能

這幾年人工智慧迅速發展，大家都說自家的晶片計算能力最強，但始終沒有一個標準。去年中在安卓手機上出現了以Android NN SDK(安卓作業系統8.1以上才有支援)開發的AI Benchmark APP才開始有了較公平的比較方式，在這樣的評測平台下，不管晶片中有CPU、GPU、NPU、DSP或其它加速IC，只要有提供支援NN SDK的驅動程式，此時就能在同樣的程式及測試條件下下進行比較，就像大家在比較顯示卡能力時，OpenGL就成了大家公認的評估基準。這款AI Benchmark提供了九種測試情境涵蓋常見AI應用及算法，包括影像中的物件偵測/分類(MobileNet V2, Inception V3)、名人人臉辨識(Inception ResNet V1)、影像去模糊(SRCNN 9-5-5)、影像超解析度(VGG 19, SRGAN)、影像語義分割(ICNet)、圖像增強(ResNet 12)、記憶體限制(SRCNN 9-5-5)等，並提供數十種手機的跑分結果方便大家進行比較，有興趣的朋友可以參考 http://ai-benchmark.com/tests.html 。

AI Benchmark APP (點擊圖片放大)