【課程簡報】20220731_Coscup開源人年會_爭什麼，把AI和MCU摻在一起做tinyML就對了

很高興這是第二次受Coscup開源人年會邀請，此次要和大家分享的是最近幾年大家一直都在談的智慧物聯網(AI + IoT, AIoT)要如何把人工智慧或機器學習整合到邊緣元件「單晶片」上。本次分享是屬於初階入門的課程，會用較輕鬆的口氣及加上一些星爺電影「食神」中的搞笑橋段來加以說明，希望大家能更容易了解。最後也附上一些學習資源及參考連結，方便大家可以自我加強學習。如果有任何想法歡迎在留言區討論。

(點擊圖片可放大)

【心得筆記】Saving 95% of your edge power with Sparsity to enable tinyML

Jon Tapson (left) and Yung-Hsiang Lu (right)

tinyML昨天(2020/6/16)邀請了GrAI Matter Labs首席科學家(CSO) Jon Tapson進行演講，講題是"Saving 95% of your edge power with Sparsity to enable tinyML"，主要是介紹如何在邊緣計算上節省95%的算力及電源卻還能達到更高計算（推論）速度同時保持計算精度。

有了Neuralet 開源社交距離偵測軟體再也不會有1968誤報了

最近新冠肺炎(COVID-19)疫情升溫，為保持社交距離及遠離人群較多熱點，所以交通部推出「1968」熱點警示APP，但利用車流偵測作為警示，準度連部份縣市首長都跳出來抱怨，難道就沒有在不侵犯個人隱私的情況下有更客觀更科學的作法嗎？

前不久知名AI專家吳恩達教授的Landing.ai團隊為了解決目前新冠肺炎(COVID-19)疫情而推出一個可以偵測社交距離的成果[1]，雖然沒有明確說明是用了何種技術及表現如何，但從展示影片中大概可以推估可能是用了類似YOLO之類的物件偵測人的位置，再以外框盒的中心去量測兩兩之間的距離（像素），若太近則出現紅色警示，猜想還可能有做了簡單的距離（透視投影）校正，以修正較前景及後景物件實際距離接近但成像上差距不同問題。

【課程簡報分享】Intel RealSense Dev Meetup#1_3D感測可行技術與開發工具剖析

很高興今天(2019/9/19)受Intel和MakerPro邀約參加「Intel RealSense Dev Meetup#1 3D感測新視界─技術前瞻與實務」並和大家分享「3D感測可行技術與開發工具剖析」。此次簡報主要就下列內容進行分享。

深度(3D)感測器發展史、3D感測技術簡介（被動式、主動式、類3D感測、Intel RealSense家族）、3D資料型態（深度圖、 點雲）、3D感測開發工具（OpenCV / PCL、RealSense SDK、RealSense自帶範例）、3D感測應用領域、3D感測應用實例（智慧農業─採收機器人）

此次分享時間較短，所以如有不清楚或想更進一步了解的朋友，歡迎在下方留言互動。（點擊圖片放大）

【OpenVINO™教學】土炮影像實例分割型智慧監控系統

人工智慧與安全監控

近幾年「人工智慧（AI）」相關技術已逐漸進入大家的生活中，不論食衣住行、各行各業只要加上「智慧（智能）」二字馬上就變得厲害起來，而想要實現這些，主要得靠「算力」、「算法」、「資料集」及「領域知識」等四大領域技術的完美整合。幸運地是隨著軟、硬體技術日益成熟及價格快速下降加上開放資料集及預先訓練好的深度學習模型的普及，如今創客（Maker）們想自己動手做（土炮）一些具有人工智慧的創意作品已不再是遙不可及。

去（2018）年五月英特爾（Intel）推出一項免費、跨硬體（CPU、 GPU、FPGA、VPU）、跨深度學習框架（如TensorFlow, Caffe, Mxnet, ONNX等）的開放電腦視覺推論及神經網路（深度學習）優化工具包OpenVINO （Open Visual Inference & Neural Network Optimization Toolkit）後便受到許多關注。小弟當然也不免俗的操作了一波，利用它預訓練好的影像語義分割（Semantic Segmentation）模型進行操作，還寫了一篇「運用 Intel OpenVINO 土炮自駕車視覺系統」[1]分享給大家並獲得不少迴響，所以今年想再接再厲更深入探究還有那些玩法，於是挑選了影像「實例分割（Instance Segmentation）」這項技術來實現「智慧監控系統」。

Fig. 1 (a)影像分類；(b)物件偵測；(c)語義分割；(d)實例分割；[2] (e)實例分割型監控系統[3]。 (OmniXRI整理繪製) (點擊圖片放大)

Computex 2019 INTEL在邊緣計算推廣火力全開

Computex 2019於5/28正式展開，和去年一樣，INTEL在外貿協會台北國際會議中心(TICC)一樓有專區展出，主攻邊緣計算部份，晶片部份主推神經運算棒二代(NCS2)那個主晶片VPU(Myriad X)，而軟體部份則主推自家深度學習開源包OpenVINO。

Computex 2019 INTEL VPU相關產品對照表 (點擊圖片放大)

【課程簡報分享】AIGO社群交流會#2_從OpenCV改版談開源影像辨識深度學習新玩法

很高興今天(2019/5/21)受AIGO主辦單位資策會及協辦單位MAKERPRO邀約，讓我有機會和大家分享「從OpenCV改版談開源影像辨識深度學習新玩法」。

本次演講主要包括：
OpenCV簡介
OpenCV發展歷程
OpenCV模組簡介
執行平台及硬體加速方案
OpenCV深度學習模組
OpenCV與深度學習框架
OpenCV深度學習應用實例
    影像分類、物件偵測、語義分割、影像著色、骨架姿態、文字偵測、人臉辨識

以下就是本次演講簡報，如有任何建議歡迎留言交流。(點擊圖片放大)

台灣耐能(Kneron)自製AI晶片KL520產品發表會

去(2018)年COMPUTEX只展出FPGA版本，期待了一年多，傳說中台灣自行研發性價比最高的AI晶片「耐能Kneron KL520」選在今天(5/20)發表了。會場展出多項已導入客戶端的產品，包含研揚UP BOARD上的加速運算模組板(全科用此產品開發人臉辨識系統)，奇景(Himax)結構光3D感測器，鈺立(鈺創子公司)雙目立體視覺等。晶片不只提供極佳的功耗算力比(350OPS，300~500mW)，且內建2顆Arm Cortex M4，加上豐富的IO介面，可用於許多邊緣計算(視覺、語音、數據流)應用。同時支援多種深度學習框架(TensorFlow, Caffe, ONNX, Keras)及模型，不過不支援OpenCV。

目前看來最有機會推到一般新創或創客開發方式的應該是研揚的Up Board M.2加速板，它的介面和之前研揚出的Movidius加速板完全相容，不過據說目前研揚還在測試中，可能要下半年才會推出。

另外未來為推廣到智能攝影機領域，有可能開發安控業常使用38x38mm的板子，推出時程預計下年。至於會不會推出類出類似樹莓派的產品，可能就隨緣了。

另外有個很好玩的事，出席給的袋子中除了文宣外，還給了一隻直徑七公分的放大鏡，實在不懂要做啥用??知道的人再麻煩幫我解個謎。

ps. 這不是業配文，如Kneron有興趣找我做測試，推廣給社群，歡迎不吝指教！

 

Alasdair Allan邊緣計算AI開發板效能比較文摘要

最近AI開發板掀起一陣大混戰，每個人都說自家的廠商算力有多高，CP值沒得比，但到底實情如何，只能各說各話。有位網友Alasdair Allan發表了一篇比較文，把目前最火的三個方案樹莓派加Intel神經計算棒、NVIDIA Jetson Nano及Google Coral做了完整實驗數據比較，結果各打五十大板，沒有一家能到達號稱的最高效率，真不知是廠商在特定(優化)條件下執行還是作者的測試方法不公平(??)，還是這些廠商有什麼隱藏祕技未公開？

這篇文章非常長，測試方法非常完整，在這裡簡單幫大家摘要一下，有興趣的朋友請直接參考原文

Benchmarking Edge Computing

Comparing Google, Intel, and NVIDIA accelerator hardware

https://medium.com/@aallan/benchmarking-edge-computing-ce3f13942245?fbclid=IwAR30AHHQoUF8HOPNQyYqNv0LDpdJOhkOqEbb9MmpsAr8qhYkk-k9X4O4GK8

以下內容、圖片都出自上述連結。而這篇文章最可愛的地方就是文後最後一句話"This post is sponsored by Coral from Google."，作者拿了Google的贊助雖然結論是Google Coral比較優，但文中仍保留很多意見，沒有一面倒幫Google多講一些好話，淨說老實話，看來Google還是滿大方的。

七種測試平台：
1. 樹莓派3B加Movidius(Intel)神經計算棒一代
2. 樹莓派3B+加英特爾神經計算棒二代
3. NVIDIA Jetson Nano
4. 樹莓派3B+
5. Google Coral USB加速器
6. Google Coral 開發板
7. 蘋果MacBookPro (Intel Core i7)

(點擊圖片放大)

NVIDIA Jetson Nano學習筆記

最近大家都在開箱AI神器NVIDIA Jetson Nano，在好友James Wu的贊助下，我也跟了一波流行。開箱文部份我想網上已有很多人分享過了，我就不獻醜了，等我試出一些內容後再和大家分享。這裡就把我在網上收集到精采的內容和大家分享一下，如果有更多的好文章，也請大家不吝指教，謝謝。

AI晶片如何評比效能

這幾年人工智慧迅速發展，大家都說自家的晶片計算能力最強，但始終沒有一個標準。去年中在安卓手機上出現了以Android NN SDK(安卓作業系統8.1以上才有支援)開發的AI Benchmark APP才開始有了較公平的比較方式，在這樣的評測平台下，不管晶片中有CPU、GPU、NPU、DSP或其它加速IC，只要有提供支援NN SDK的驅動程式，此時就能在同樣的程式及測試條件下下進行比較，就像大家在比較顯示卡能力時，OpenGL就成了大家公認的評估基準。這款AI Benchmark提供了九種測試情境涵蓋常見AI應用及算法，包括影像中的物件偵測/分類(MobileNet V2, Inception V3)、名人人臉辨識(Inception ResNet V1)、影像去模糊(SRCNN 9-5-5)、影像超解析度(VGG 19, SRGAN)、影像語義分割(ICNet)、圖像增強(ResNet 12)、記憶體限制(SRCNN 9-5-5)等，並提供數十種手機的跑分結果方便大家進行比較，有興趣的朋友可以參考 http://ai-benchmark.com/tests.html 。

AI Benchmark APP (點擊圖片放大)

Intel無人機Falcon 8+成功協助檢查美國老舊橋樑

大家都知道橋樑安全非常重要，但大家可能很難想像，這樣的工作常需要仰賴人力垂吊的方式進行目視檢查，這樣的作業模式不僅非常耗時、危險，有時還要阻斷交通才能施行，而且很難追蹤相同位置的狀況變化，因此就有人想到利用無人機來協助檢查橋樑的狀況，包括金屬鏽蝕、裂縫、傾斜等問題。

左圖：無人機檢查橋樑，右圖：傳統人力垂吊檢查橋樑 (點擊圖片放大)

神經計算棒大比拼

Movidius成立於2005年，專注於低功耗電腦視覺計算晶片開發，2016年正式被Intel收購。他們最著名的產品就是USB神經計算棒(Neural Compute Stick, NCS)，又稱為VPU(Vision Processor Unit)，其中主要晶片代號為Myriad 2(MA2x5x)。這項產品主要的特點就是USB型式，可插在執行Linux(Ubuntu)的桌上型電腦或嵌入式系統，尤其可支援創客最愛用的樹莓派，使其可以加速執行深度學習推論工作。

Intel Movidius NCS 2 (點擊圖片放大)

OpenCV 4.0千呼萬喚始出來

有在玩電腦(機器)視覺的朋友對開源電腦視覺函式庫「OpenCV」一定不陌生，從2000年發展至今已超過十八個年頭，中間歷經多次重大變革及分支，從2.2版開始支援C++，2.4版開始支援CUDA, OpenCL等加速工具，2.4.9版後本來進到3.0版停止支援C語言只支援C++，但許多仍在使用C語言的伙伴仍不離不棄，繼續將部份新增功能加入，於是劇情就展開成兩條支線，目前已來到2.4.13.6版，後續是否能繼續發展，實在令人擔憂。而3.0.0版於2015年正式推出，加入許多深度學習的工具，3.3版後更加入更多深度學習框架及算法如Caffe、Yolo等。最近(2018/11/20)正式推出4.0版更是讓人眼睛一亮，在深度學習部份有了重大改革，實在值得好好花點時間研究。

OpenCV演進歷史。OmniXRI Jack整理製作 (點擊圖片放大)

【龍華資管專題演講】智慧商務-談開源的影像辨識玩法_課程簡報分享

很高興今天(2018/11/22)受龍華科大資管系馬芳資老師邀請到校和同學們分享「智慧商務─談開源的影像辨識玩法」。

此次主要分享內容首先介紹「無人商店」、「智慧零售」實際做法及所需技術，包括Amazon GO、7-11 X-Store、全家科技概念店、研華(Advantech)門店客流分析、創意引晴(Viscovery)、深智科技(NexRetail)、盾心(UmboCV)及商湯(SenseTime)等公司產品。接著說明人工智慧的基石、實施步驟和大數據之間的關連。再來介紹OpenCV, OpenVINO等開源影像辨識工具。最後介紹Amazon, Microsoft, Google提供的雲端AI服務、邊緣計算的平台及分享一個「老闆偵測器」的人臉辨識應用例給大家。希望藉由本次的分享，能讓同學們能更加了解如何應用這些工具來完成「智慧商務」。

※點擊圖片可放大觀看

【AI_Column】運用Intel OpenVINO土炮自駕車視覺系統

這兩年人工智慧當道，無人自動駕駛汽車技術也隨之興起，我想超過四十歲的大叔們心中最完美的自駕車莫過於1980年代電視影集「霹靂遊俠」中李麥克開的那台「伙計」了。

「伙計」擁有高度人工智慧，不但可以自動駕駛，遇到狀況也會自動閃避，還可以輕鬆和人對話解決各種問題，李麥克拿起手表還可呼叫「伙計」開到指定地方，簡直就是現代人工智慧自駕車及語音助理的最佳範本！

不過自駕車這項技術聽起來就很難，那Maker們有沒有機會自己土砲一台呢？

1980年代經典電視影集「霹靂遊俠」李麥克和人工智慧自駕車「伙計」（圖片來源）(點擊圖片放大)

如何移植Movidius神經計算棒到Pi Zero W

最近人工智慧(AI)當道，對於想學習及實作的Maker來說，樹莓派加上Intel Movidius神經計算棒(Neural Compute Stick,以下簡稱NCS)大概是最容易取得且最經濟的平台了。目前除了可直買到USB3.0版的NCS外，另外Google有提供AIY Vision Kit(Pi Zero W + Vision Bonnet)，主要使用Pi Zero W及使用了和NCS相同計算晶片Intel Movidius MA2450的Vision Bonnet擴充板，舊的版本還得自己安裝一堆環境，新的1.1版買來組裝一下就可用了。加上最近Intel最近大力推廣它的OpenVINO，讓自家的CPU, GPU, FPGA, VPU(NCS主要晶片)能更容易跨平台，更適合開發AI終端(邊緣)應用裝置及程式。

Pi Zero W + Movidius Neural Compute Stick

【輔大-人人皆MAKER講座】開源的影像辨識玩法-從入門到進階_課程簡報

很高興今日(2018/10/17)受輔大創新造發展中心執行長王福堂助理教授邀請擔任「人人皆Maker講座」講師，分享「開源的影像辨識玩法─從入門到進階」。

此次主要簡報內容主要包括下列幾個項目，完整簡報請參考下方。

• 認識影像辨識系統
• 電腦視覺開源工具介紹：OpenCV、OpenVINO
• 電腦視覺與人工智慧：常見視覺分析問題、深度學習與解決方案、應用場域
• Maker如何玩影像辨識：入門 ─ 樹莓派、中階 ─ Intel神經計算棒、進階 ─ NVIDIA TX2、跨階 ─ 安卓手機+NNAPI
• Maker創作經驗分享：OpenQCam 迷你相機、OpenQSignage 數位胸牌、OpenQPano 360度顯示器

※若看不清楚圖片內容，可點擊圖片放大至原始解析度觀看。

用AI來分類樂高積木

大家都有玩樂高積木的經驗，每次想找某一種形狀的積木時，總是要在一大堆積木中翻箱倒櫃才能找到，就不能玩完後自動歸類嗎？「科技始終來自於人(惰)性」，所以有人就做了一個樂高積木自動分撿器(LEGO Sorter)。

圖片來源 (圖片點擊後放大)

【視覺進化論】AI視覺運算硬體加速可行方案評析＿課程簡報

很高興本次受邀參加「AI視覺進化論─智慧視覺運算技術論壇」分享「AI視覺運算加速可行方案評析」。

本次主要內容包括四大部份，視覺問題分析及算法簡介(影像分類、物件偵測、語義分割、實例分割)、視覺運算開源工具及開放規格(OpenCV、OpenVX、OpenCL、OpenVINO)、視覺運算硬體加速方案(CPU, GPU, FPGA, ASIC, SoC)及OpenVINO支援項目(加速硬體、推論引擎、系統平台、預訓模型)介紹。相關簡報如下所示，如有任何筆誤或不清楚的地方，歡迎於下方留言交流。

<<如看不清楚簡報內容，可點擊圖片放大至原始解析度觀看。>>