2021年12月23日 星期四

【課程簡報】2021223_嘉義大學資訊管理系_邊緣智慧裝置發展趨勢與開發應用

很高興今天受嘉義大學資訊管理系張宏義主任的邀請,和大家分享「邊緣智慧裝置發展趨勢與開發應用」 這個主題,讓學生們更了解除了一般大型AI應用外,在新興的邊緣智慧裝置又有什麼新的發展及如何開發這類的專題,主要包括AIoT, tinyML, OpenVINO等。此次分享大綱如下所示,更完整內容請參考下列投影片。

  • 邊緣智慧技術簡介
    • 雲端與邊緣智慧
    • 邊緣智慧發展趨勢
    • 智慧物聯網AIoT
    • 元宇宙人機互動
  • tinyML(MCU AI)技術簡介
    • 何謂tinyML
    • 單晶片(MCU)技術演進
    • 小型AI專案開發流程差異
    • tinyML開發工具及平台
  • 邊緣智慧裝置常見應用
    • 語音喚醒詞(語音命令)
    • 手勢動作辨識
    • 異常偵測(感測器等級)
    • 影像分類/物件偵測
  • 快速邊緣智慧原型開發
    • 創意專題製作
    • 開放資料集及模型
    • Intel OpenVINO簡介
    • Intel DevCloud簡介
    • 線上學習資源
 (點擊圖片放大顯示)

2021年11月30日 星期二

【課程簡報】20211130_開南大學健康產業管理學系_人工智慧與健康產業的發展趨勢與落地應用

很高興今天受開南大學健康產業管理學系李盛安老師的邀請,在教師成長研習活動中和大家分享「人工智慧與健康產業的發展趨勢與落地應用」 這個主題,讓大家了解AI在健康產業中扮演的角色、發展現況、落地案例及未來前景,並給出許多自行發展相關產品的資源及採購資源,主要涵蓋Edge AI, AIoT, 感測技術, tinyML, OpenVINO等技術。更完整的大綱及簡報如下所示。 

  • 人工智慧技術簡介
    • 主流技術介紹
    • 主要系統架構
    • 專案發展流程
  • 智慧健康產業發展趨勢
    • 傳統與智慧型比較
    • 感測技術發展趨勢
    • 通訊技術整合應用
    • 雲端邊緣運算核心
  • 智慧健康落地應用
    • 智能健康監控及預測
    • 遠距照護及輔助診療
    • 智能運動分析及復建
  • 快速創意原型到商品
    • 開放資料集及模型
    • 開源硬體及軟體
    • 元件採購及配套工具
    • 概念實作與社群支援

 (點擊圖片放大顯示)

2021年11月24日 星期三

【課程簡報】20211124_宜蘭大學資工_邊緣智慧裝置發展趨勢與開發應用

很高興今天受宜蘭大學資訊工程系黃朝曦、邱鈺鈞老師的邀請,和大家分享「邊緣智慧裝置發展趨勢與開發應用」 這個主題,讓學生們更了解除了一般大型AI應用外,在新興的邊緣智慧裝置又有什麼新的發展及如何開發這類的專題,主要包括AIoT, tinyML, OpenVINO等。此次分享大綱如下所示,更完整內容請參考下列投影片。

  • 邊緣智慧技術簡介
    • 雲端與邊緣智慧
    • 邊緣智慧發展趨勢
    • 智慧物聯網AIoT
    • 元宇宙人機互動
  • tinyML(MCU AI)技術簡介
    • 何謂tinyML
    • 單晶片(MCU)技術演進
    • 小型AI專案開發流程差異
    • tinyML開發工具及平台
  • 邊緣智慧裝置常見應用
    • 語音喚醒詞(語音命令)
    • 手勢動作辨識
    • 異常偵測(感測器等級)
    • 影像分類/物件偵測
  • 快速邊緣智慧原型開發
    • 創意專題製作
    • 開放資料集及模型
    • Intel OpenVINO簡介
    • Intel DevCloud簡介
    • 線上學習資源

 (點擊圖片放大顯示)

2021年11月22日 星期一

刀劍神域第二季第一集「解釋擴增實境與現實世界情報量之差異」影片段

元宇宙興起,但早在2014/7/15「刀劍神域第二季GGO第一集」中就已告訴大家擴增實境(或完全潛行)和現實的差異就在情報(感測資訊)量的多寡,當有一天五感都能達到一定輸入量時,那真實和虛擬世界合而為一的日子就不遠了。

 

 影片來源:巴哈姆特,影像版權屬原公司所有,這裡僅供技術說明使用,請勿移作它用。

 

2021年11月8日 星期一

歐尼克斯實境互動工作室部落格及FB成立四週年

從2017/11/8成立至今已滿四年了,又是到了自我檢視的時候了。感謝過去一年間大家的支持,點閱次數已累積327,966次,較去年新增9萬多次,新增貼文30篇,其中有一篇是參加iThome連續30天發文的鐵人賽的總整理,內含31篇貼文。

另外今年上半年在台科大擔任兼任助理教授,有公開所有課程章節簡報35份,所以實際上發文較去年來的多了許多。另外今年受疫情影響,只有12場公開演講(含線上),希望明年能分享更多內容給大家,更希望能和大家面對面一起聊聊。

去(2020)年5月2日,我成立了台灣第一個專門討論小型AI應用、邊緣智能運算相關應用的Facebook社團「Edge AI Taiwan邊緣智能交流區」,至今已有3,385位同好加入,較去年新增了2,231位,每月活躍數約有八成,日活躍數約有三到五成,實在非常感謝。今年更把重點從單板微電腦的AI應用,延伸至MCU等級AI應用的tinyML,希望能有更多同好一起來玩。目前為了維護這個社團每日至少更新一到兩則訊息,也花費不少時間收集資訊,間接也導致寫部落格長文時間減少,實在分身乏術,敬請見諒。

以下幾張貼圖就是過去一年的成果,感謝大家的點閱、按讚,讓我有繼續寫下去的動力,如果覺得部落格或FB社團中的內容還用得上,歡迎多多分享給需要的人,謝謝!


2021年部落格點擊數統計,累計至327,966次

2021年10月25日 星期一

iThome 2021 (13屆) 鐵人賽【arm platforms組】完賽記錄 ─ 爭什麼,把AI和MCU摻在一起做tinyML就對了!


tinyML是一個號稱以電池供電、毫瓦(mW)等級就能執行小型AI應用的新概念,而它正迅速崛起,讓更多邊緣裝置或感測器瞬間變聰明,不再依賴雲端就能實現智慧物聯網(AI+IoT=AIoT),其中最重要的核心便是單晶片(MCU),而能夠支援tinyML技術且使用最廣的就是Arm Cortex-M系列產品。 透過本次鐵人賽挑戰希望讓大家一口吃下這顆爆漿瀨尿牛丸(tinyML)就能享受牛肉丸(MCU)的鮮美、瀨尿蝦(AI)的甘甜,更讓大家在享受美食時同時了解它如何製作及開發出更適合自己口味的新丸子。 接下來就跟著小弟史蒂芬周一起進入tinyML的世界吧。

[Day 01] 在享受tinyML這道美食之前
[Day 02] 什麼是tinyML?
[Day 03] tinyML開發板介紹
[Day 04] 深度學習與神經網路
[Day 05] tinyML與卷積神經網路(CNN)
[Day 06] tinyML的重要推手Arm Cortex-M MCU
[Day 07] 如何作出一盤好吃的AI專案
[Day 08] tinyML開胃菜Arduino IDE上桌(上)
[Day 09] tinyML開胃菜Arduino IDE上桌(下)
[Day 10] tinyML整合開發平台介紹
[Day 11] 讓tinyML聽見你的呼喚
[Day 12] tinyML開發框架(一):TensorFlow Lite Micro初體驗(上)
[Day 13] tinyML開發框架(一):TensorFlow Lite Micro初體驗(下)
[Day 14] tinyML開發框架(二):Arm CMSIS 簡介
[Day 15] 在Arduino IDE中用Arm CMSIS 牛刀小試一下
[Day 16] TFLM + BLE Sense + MP34DT05 就成了迷你智慧音箱(上)
[Day 17] TFLM + BLE Sense + MP34DT05 就成了迷你智慧音箱(下)
[Day 18] 今晚我想來點tinyML加Arm不加香菜
[Day 19] tinyML開發好幫手─雲端一站式平台Edge Impulse簡介
[Day 20] Edge Impulse + BLE Sense實現喚醒詞辨識(上)
[Day 21] Edge Impulse + BLE Sense實現喚醒詞辨識(中)
[Day 22] Edge Impulse + BLE Sense實現喚醒詞辨識(下)
[Day 23] 讓tinyML感受你的律動
[Day 24] Edge Impulse + BLE Sense實現手勢動作辨識(上)
[Day 25] Edge Impulse + BLE Sense實現手勢動作辨識(下)
[Day 26] [Edge Impulse + BLE Sense也能感受彩色的人生
[Day 27] Edge Impulse + BLE Sense實現影像分類(上)
[Day 28] Edge Impulse + BLE Sense實現影像分類(下)
[Day 29] tinyML應用實例分享
[Day 30] 從此人人都可以是tinyML食神
[Day 31] 番外篇─如何將OV7670 + BLE Sense連到Edge Impulse取像

2021/09/16起至2021/10/15 挑戰連續更新30天,順利完賽!
2021/10/22 補發行[Day 31]

更多iThome 2021年(第13屆)鐵人賽介紹詳見 https://ithelp.ithome.com.tw/2021ironman/event
完整鐵人賽發表文章清單詳見 https://ithelp.ithome.com.tw/users/20141396/ironman/4855

追加註記:2021/12/6 iThome 正式公告得獎作品名單,本作品獲得【arm platforms組】冠軍,感謝大家的支持,才讓這個作品得以完成。



2021年10月2日 星期六

【課程簡報】2021002_中央工學院_Edge AI如何應用於智慧感測及預測

很高興今天(2021/10/02)再次受到中央大學土木工程系林子軒老師邀約,在【設計思考與智慧物聯網應用】這門課程和同學們分享「Edge AI如何應用於智慧感測及預測」,此次課程大致上和2021/5/15的內容相同,但增加了許多新的資訊,希望能幫助同學有更深一層的認識。

此次課程主要分為四部份,包括

  • AIoT簡介
  • Edge AI簡介
  • tinyML簡介
  • 振動分析與預測

如有任何問題歡迎於下方留言區交流互動。(點擊圖片放大)

2021年9月9日 星期四

當智慧物聯網(AIoT)遇上微型機器學習(tinyML)是否會成為台灣單晶片(MCU)供應鏈下一個新商機!?

 

神說要有光,於是萬物都上網了,物聯網(Internet of Thing, IoT)隨即誕生,新產品如果沒有「IoT+」或「+IoT」就好像跟時代脫了節。接下來人工智慧(Artificial Intelligence, AI)興起,於是星爺說:「爭什麼爭,把兩樣摻在一起做瀨尿蝦牛丸不就得了,笨蛋!」,因此智慧物聯網「AI + IoT = AIoT」就理所當然變成最佳的行銷術語了。不過本來只要把各種感測器(Sensor)偵測到的信號利用超便宜的單晶片微處理器(Single Chip Microprocessor或Micro Control Unit, MCU)(以下簡稱MCU)加上通訊模組就能把資料送上雲端進行儲存及各種智能分析、預測。但隨著雲端通訊、儲存及計算費用的增加,資料隱私及計算結果反應速度的不足,於是大家就把目光重新拉回那個吃苦耐勞又便宜的MCU上,期望在不上網的情況下,在本地端(邊緣)就能完成邊緣智能(以下簡稱Edge AI)的運算,所以微型機器學習基金會(tinyML.org)這個國際組識因運而生,提供大家更多的解決方案。接下來就讓我們來進一步了解AIoT、MCU及tinyML的機會在哪裡,要如何整合才能變成下一個明星產業。

2021年8月14日 星期六

【課程簡報】20210814 Arm DevTalks 2021_Edge AI的最後一哩路:Embedded ML

很高興第一次和Arm合作推廣Edge AI (Embedded ML) 這個議題,很感謝MakerPRO和Arm的熱情邀約,讓我有機會在「Arm DevTalks 2021」中分享「Edge AI的最後一哩路:Embedded ML」這個主題。此次受限時間,所以簡報重點會放在嵌入式單晶片(MCU)上,至於系統級晶片(SoC)或說單板微電腦部份就暫時略過。此次簡報主要大綱如下:

  • 邊緣智能Edge AI簡介 
  • Embedded ML & tinyML
  • 嵌入式智能常見應用
  • 常見開發板及規格比較
  • 開發流程及工具平台
  • 案例展示─Edge Impulse 手勢辨識
  • 機會與挑戰
  • 學習資源

本簡報所有引用連結請參考:【tinyML】學習資源整理 https://omnixri.blogspot.com/2021/08/tinyml.html

(點擊圖片放大)

2021年8月9日 星期一

【tinyML】學習資源整理

 


tinyML基金會贊助商(點撃圖放大)

微型機器學習(tinyML)被廣泛定義為一個快速發展的機器學習技術和應用領域,包括硬件、算法和應用軟體,能夠以極低的功耗執行設備上的傳感器數據分析,通常在 mW 範圍及以下,從而實現各種常時在線(Always On)的用例和針對電池供電的設備。

更多資訊可參考【tinyML基金會】官方網站。

為了方便大家查找(其實是我記不住啦),這裡整理了關於tinyML的相關資訊,歡迎多加利用。

2021年7月19日 星期一

【Intel OpenVINO™教學】佈署AI從此不再為性價比頭疼─Intel DevCloud讓你試了再買

歐尼克斯實境互動工作室 許哲豪 2021/07/01


俗話說「男怕入錯行,女怕嫁錯郎」,從這句話可看出,大家對於要投入大量時間、精力及金錢的場景通常都會考慮再三,尤其有「選擇困難症」的朋友就更是要失眠好幾天還不一定能有最終的決定。為了減輕「選擇困難症」帶來的麻煩,「免費試用」就變成一個賣家和買家雙贏的作法。小到我們常去的大賣場有很多試吃、試用的體驗,大到婚宴、旅遊業這類高單價、一次性活動也開始提供虛擬實境(Virtual Reality, VR)服務,讓你先體驗一下花錢及享受的快感,就能更清楚及勇敢地把錢花在刀口上。

那對於「人工智慧(Artificial Intelligence, AI)」這樣要花大錢且有著很高不確定成果效益的領域,難道要花一堆錢買一堆設備來佈署測試,沒有「先試再買」的服務嗎?Intel 聽到大家的期望了,所以推出了免費雲端開發平台「Intel DevCloud for the Edge」[1](以下簡稱DevCloud)這項服務,讓大家不只能夠在上面使用預載的「Intel OpenVINO Toolkit」[2](以下簡稱OpenVINO)進行AI推論程式開發及測試,還有一堆不同排列組合的硬體(如CPU, iGPU, VPU, FPGA等)可以協助評估佈署後效能,讓使用者可更精準地採購所需設備,才不會發生殺雞卻用了火箭筒超規格的窘境。

接下來就讓我們從「DevCloud系統架構及工作流程」、「支援環境及硬體」、「系統安裝」、「開發者主頁面及範例集」、「檔案管理介面」、「程式運行介面」、「直接運行方式」及「派工運行及佈署評估」等幾個方面來深入了解一下這項免費工具究竟如何幫助我們以最好的性價比來開發及佈署。

2021年7月15日 星期四

【課程簡報】Edge AI社聚#7-機器視覺xAI的新應用與技術挑戰

很高興今天(2021/7/15)受MakerPro & Intel邀約在「Edge AI社聚#7」和大家分享「機器視覺 x AI的新應用與技術挑戰」這個主題,本次重點會放在「智慧製造」中的機器視覺相關應用,簡報大綱如下所示=, 如有任何問題,歡迎下方交流區留言討論。

  • 機器視覺簡介
    • 系統架構
    • 建置類型
  • 傳統 MV AOI vs. 現代 AI CV
    • 基本定義
    • 常見應用
  • 開源工具及範例
    • OpenCV
    • Intel OpenVINO & DevCloud
  • 未來挑戰及展望

 (點擊圖片放大)

2021年5月31日 星期一

如何以Google Colab及Yolov4-tiny來訓練自定義資料集─以狗臉、貓臉、人臉偵測為例

之前曾寫過「使用Google Colaboratory免費資源學AI,正是時候! [A]」、「如何以YOLOv3訓練自己的資料集─以小蕃茄為例 [B]」獲得許多點閱及迴響,但隨著AI工具及版本不斷演進,導致這些範例已有部份無法順利運作。為了讓新手入坑能快速體驗自定義資料集的「物件偵測」智能應用,且不用頭疼開發環境建置及硬體算力,於是重新寫了這篇文章分享給大家。

在這個範例中將採用雲端、免費的Google Colab CPU+GPU運算資源及內建的Jupyter Notebook加上Python開發環境,搭配最常見的Darknet及Yolov4-tiny物件偵測框架,來完成自定義物件的模型訓練及物件偵測的推論。本文將著重在實作,而略過算法的原理說明,有興趣深入了解的朋友請自行參閱[1]。接下來就從【資料集建置與標註】、【Darknet安裝與Yolov4-tiny測試】、【自定義資料集訓練】、【訓練及推論實驗結果】依序為大家作進一步說明,完整範例程式請參考下方連結。

https://github.com/OmniXRI/Yolov4-tiny_Colab_User_Datasets

2021年5月15日 星期六

【課程簡報】20210515_中央工學院_Edge AI如何應用於智慧感測及預測

很高興今天(2021/5/15)受到中央大學土木工程系林子軒老師邀約,在【設計思考與智慧物聯網應用】這門課程和同學們分享「Edge AI如何應用於智慧感測及預測」,此次修課同學包括有土木、太空、企管、經濟、資工、資管、機械和歷史系,大多都不具寫程式背景,所以此次儘量使用較淺顯的方式來說明AIoT及Edge AI相關應用,希望能幫助同學有更深一層的認識。

此次課程主要分為四部份,包括

  • AIoT簡介
  • Edge AI簡介
  • tinyML簡介
  • 振動分析與預測

如有任何問題歡迎於下方留言區交流互動。(點擊圖片放大)

2021年4月15日 星期四

【Intel OpenVINO™教學】小孩才作選擇,AI推論速度及準確度我全都要─OpenVINO Post-Training Optimization Tool簡介


身為一個人工智慧(AI)從業人員,好不容易費盡千辛萬苦訓練好一個模型並且得到不錯的推論準確度後,總會遇到客戶抱怨「這個模型太大塞不進我的硬體,這個推論的速度不能再快一些嗎?」。當換了一個較小、速度快一點的模型後,又被抱怨「這個推論的準確度不能再高一點嗎?」。此時腦中總會想起星爺的電影「九品芝蔴官」豹子頭的那句經典台詞「我全都要」,難道就沒有折衷一點的辦法,讓我在AI推論速度、準確度和模型大小都能滿足嗎?

INTEL OpenVINO聽到大家的心聲了,於是推出了「Post-Training Optimization Tool (以下簡稱POT)」來幫助大家,在不用重新訓練模型的情況下,只需執行幾個簡單的命令,模型瞬間縮小,且在僅僅損失一點點推論準確度情況下就能得到1.1到3.3倍左右推論速度的提升。而POT究竟用了何種方式才能達成這個結果,接下來就從「何謂量化(Quantization)」、「量化算法(Quantization Algorithms)」、「使用DL Workbench快速優化」、「安裝POT相依套件」幫大家作一些簡單說明,最後再用一個「影像分類MobileNet模型優化」實際案例說明其執行方式及優化結果,希望能讓大家有更愉快的AI落地開發體驗。

2021年4月9日 星期五

【課程簡報】20210409_東南資科_創新應用實務03_OpenCV彩色影像處理

很高興今天受東南科技大學資訊科技系謝昌勳老師邀約擔任業師,和同學們分享「看見新世界─OpenCV彩色影像處理」,此次主要分享重點如下。

  • 色彩空間簡介
  • 彩色影像分離
  • 色彩提取
  • 影像平滑與銳化
  • 卷積與邊緣提取
  • 影像直方圖強化
  • 基本繪圖函數

完整課程範例:https://github.com/OmniXRI/tnu_opencv

(點擊圖片放大)

 

2021年3月26日 星期五

【課程簡報】Edge AI研究會#01_Edge AI影像辨識技術發展觀察

很高興今天(2021/03/26)和大家一起分享關於「Edge AI影像辨識技術發展觀察」這個主題,並且和大家有深度交流,面對面討論了許多問題。

此次重點放在Edge AI的技術發展及影像辨識相關問題,大綱如下。

  • Edge AI 技術發展
    • 算法優化
    • 算力提升
    • 資料標註
    • 領域知識
  • Edge AI影像辨識
    • 離網推論
    • 巨量連網
    • 即時反應
    • 開發部署

 (點擊圖放大)

【課程簡報】20210326_東南資科_創新應用實務02_OpenCV初體驗

很高興今天受東南科技大學資訊科技系謝昌勳老師邀約擔任業師,和同學們分享「走進電腦視覺─OpenCV初體驗」,此次主要分享重點如下。

  • 線上Python開發環境
    • Google Colab
    • Jupyter Notebook
  • 開源電腦視覺OpenCV
    • OpenCV簡介
    • 基本功能操作
    • 數位影像原理
    • 灰階影像處理
    • 範例程式練習 

完整課程範例:https://github.com/OmniXRI/tnu_opencv

(點擊圖片放大)

2021年3月19日 星期五

【課程簡報】20210319_東南資科_創新應用實務01_Github建站

很高興今天受東南科技大學資訊科技系謝昌勳老師邀約擔任業師,和同學們分享創新應用實務相關實務經驗,此次主要分享重點如下。

資訊創新應用開發
  創意與發想
  實作與驗證
GitHub
  何謂 GitHub
  如何建立靜態網站
Markdown
  基本語法
  進階語法

(點擊圖片放大)

2021年3月12日 星期五

【Intel OpenVINO™教學】不用寫程式也能輕鬆上手AI模型分析、優化、佈署─DL Workbench圖形化介面工具簡介


有看過或玩過「神奇寶貝(寶可夢)」的朋友都知道,訓練家們要依怪獸的屬性(火系、草系、電系等)給予適當的培訓,再挑選合適的對象及不斷的對戰磨煉才能有好的戰鬥表現。同樣地,AI模型訓練師也是如此,依據不同的應用場景(影像分類、物件偵測、影像分割等),挑選適合在指定的硬體(CPU, GPU, VPU, FPGA等)上推論的模型,並反覆調整合適的超參數,如此才能有好的成果。

由於這樣的調參工作需要耗費大量的時間及精力才能完成,傳統上只靠一堆數字報表來分析調整方向,所以非常仰賴專業工程師的能力才能完成。因此Intel OpenVINO Toolkit(以下簡稱OpenVINO)在2019 R3版之後提供了一項非常方便的網頁式圖形化介面工具「DL Workbench」(Deep Learning Works Benchmark),讓不會寫程式、非專業的工程師也能輕易上手進行模型選用、下載、校正、參數調整、效能比較、瓶頸分析、優化及打包佈署到目標硬體平台上。

接下來就從「如何安裝DL Workbench」、「DL Workbench工作流程」作簡單說明,最後再以「實際案例操作:SSD物件偵測」完整說明AI模型的分析、優化及佈署的步驟。

2021年2月25日 星期四

【課程簡報】Edge AI社聚#1 身份辨識防疫技術交流 ─ Edge AI人臉辨識技術剖析

很高興今日(2021/2/25)受邀在「Edge AI 社聚」和大家分享關於邊緣智能上人臉辨識相關技術。此次從傳統算法介紹到目前人工智慧算法,並分別解釋相關辨識基準,主要包括下列項目,希望能幫助大家能快速進入「人臉辨識」這個領域

  • 人臉辨識應用
  • 人臉辨識技術
  • 人臉辨識發展
  • 人臉資料集
  • 人臉辨識基準
  • 開源辨識工具
另外文末附上14個常見人臉特徵點(Facial Landmarks)資料集載點,可自行參考。

 (以下圖點擊後放大)

2021年2月20日 星期六

【Intel OpenVINO™教學】GStreamer串流影片智能分析不再慢吞吞─看Intel OpenVINO DL Stream如何加速影片推論

 

隨著人工智慧興起,利用「深度學習」技術來進行電腦視覺工作已是很普遍的應用,如影像分類、物件偵測等。通常只需將單張影像送入訓練好的模型中進行推論即可得到輸出結果,但當遇到視訊檔案或串流影片時,逐格(by Frame)影像分析就變得很沒效率,因為影格間時間差距過短(通常為1/30 ~ 1/60秒),場景中的物件位移量(變形量)可能過小,導致影格間得到幾乎相同的計算結果(物件位置、尺寸及分類),浪費計算資源,也讓系統看起來反應過慢。

為了使視訊檔案及串流影片在分析上能加快反應,Intel OpenVINO Toolkit(以下簡稱OpenVINO)整合了GStreamer、OpenCV並提供DL Streamer - GStreamer Video Analytics (GVA) Plugin,讓使用者可以更彈性的設定,使其在影片(連續影像)分析上更具效率。接下來就幫大家介紹「什麼是串流影片?什麼是GStreamer?」、「如何安裝OpenVINO DL Streamer環境」、「串流影片分析及優化流程」,最後再以一個即時追蹤車輛、行人的範例來介紹如何使用命令列操作,希望能幫大家對DL Streamer有更多認識。

2021年2月11日 星期四

【Raspberry Pi Pico 開箱實作教學 #02】 OLED SSD1327 I2C MicroPython驅動程式開發與測試


在上一篇[1]已初步介紹如何安裝Raspberry Pi Pico (以下簡稱Pi Pico) MicroPython開發環境及基本數位輸出入(GPIO)、類比輸出入(ADC, PWM)用法。這一次就介紹如何自己寫一個OLED的驅動程式做為後續文字及圖形內容(GUI)顯示的介面。實驗用電路如Fig. 1所示。

 

Fig. 1 Pi Pico測試用電路板接線圖。(OmniXRI Feb. 2021設計/繪圖)(點擊圖放大)


大家會好奇為什麼要自己寫OLED驅動程式呢?因為目前Pi Pico不像Arduino,IDE就自帶各種I2C, SPI, UART, 8080介面的溫控、光電、運動、顯示等各種模組驅動程式及範例。而這些模組的供應商目前雖然有提供MicroPython驅動程式,但可能只有支援到Pyboard, ESP8266, ESP32, WiPy等這些常用的開發板,並不保證所有的驅動程式都能被Pi Pico直接使用。相信不久的將來這些模組供應商會很快提供相對應的驅動程式,所以想要用這些模組的朋友只能自己動手解決了。

2021年2月8日 星期一

【Raspberry Pi Pico 開箱實作教學 #01】 MicroPython開發環境安裝與GPIO數位/類比測試


在星爺電影食神中,唐牛說:「瀨尿牛丸彈性十足,還可用來打乓乒球,好玩又有噱頭!我都忍不住買了一碗!」,我想這正是我手上拿著Raspberry Pi Pico(以下簡稱Pi Pico)的心情,怎麼能不跟一波風潮呢。(ps.天竺鼠車車表示不服)

Pi Pico是一款有Arm Cortex-M0雙核心(133MHz)、264KB SRAM及2MB Flash的一款單晶片(MCU),關於規格介紹的文章已充斥網上了,這裡就不多說明了,可以參考一下官網說明[1]或者陸向陽大大的文章[2]。

為了能快點試試這小傢伙究竟有多好玩,趁著周末無聊,就順手焊了一塊板子方便測試,其中包括了兩個輸出的LED(可數位或類比輸出)、兩個按鍵輸入,一個半可變電阻可調的類比輸入,最後再搭上一塊I2C介面的OLED顯示器,電路接線圖如Fig. 1所示,實體照片如Fig. 2所示。(ps. 不要問我為什麼不用麵包板,因為我喜歡享受焊板子的手感)

 

Fig. 1 Pi Pico測試用電路板接線圖。(OmniXRI Feb. 2021設計/繪圖)(點擊圖放大)


Fig. 2 Pi Pico測試用電路板實體照片。(OmniXRI Feb. 2021設計/製作)(點擊圖放大)

2021年1月28日 星期四

支援Intel十一代Tiger Lake UP3工業電腦參考名單

 

圖片來源

未來Intel十一代CPU(Tiger Lake UP3)將整合自家GPU Xe,未來在AI領域的模型練訓上效能將大幅提升,若再配合OpenVINO使用,會比單用CPU(AVX指令集、MKL加速函式庫)或VPU(神經運算棒NCS)進行AI推論的速度高出許多。目前OpenVINO 2021.1版已可支援Tiger Lake。

十一代Tiger Lake主要有下面幾款 [wiki] [Intel]

  • Intel® Core™ i7-1185G7E
  • Intel® Core™ i7-1165G7E
  • Intel® Core™ i5-1145G7E
  • Intel® Core™ i5-1135G7E
  • Intel® Core™ i3-1125G4E
  • Intel® Core™ i3-1115G4E
  • Intel® Pentium Gold® 7505
  • Intel® Celeron® 6305E

其中Tiger Lake UP3 i7 / i5 自帶GPU為Iris Xe,分別有96 / 80個執行單元(EUs),而其它自帶的GPU為UHD Graphics,有48個執行單元。

接下來整理了已上市(或快上市)嵌入式機種(不含筆電類型)或模組板,共有8家公司(研華、研揚、凌華、新漢、威強電、安富利、瑞傳、超微),14款產品,如有疏漏煩請於留言區交流補充,謝謝!

(點擊型號文字可連結至各產品官網介紹)

2021年1月26日 星期二

從CES 2021看實境互動技術未來發展

 

一年一度的消費性電子展(CES 2021)最近(2021/1/11-14)剛結束,今年在Covid-19疫情攪局下全部都改為線上展出,雖然各大廠有推出許多精采的產品介紹影片,但總覺得少了一點味道。台灣方面在科技部領軍下,集結了31個單位100個新創公司共同參與,並在「台灣科技新創基地(TTA)」的協助下打造了一個VR線上展覽館

不過對於想在PC上使用一般網頁瀏覽器來體驗TTA這個VR線上展覽館的朋友要有點心理準備,因為這個介面是極度不友善的,體驗感受極差,想仔細看一下廠商提供的資料,不論是影片或靜態資料都會一直不斷的被移動(場景水平旋轉),且無法將想看的資料放大到全螢幕,根本很難閱讀。另外當畫面移到某個正在播放影片時,卻沒有將沒出現在畫面正中央的但還在播放的影片聲音靜音,導致有多組聲音一起在播放,實在難以聽清楚在介紹的內容。或許下次應該考慮同步多提供一般2D網頁式操作介面,再由使用者自行選擇是使用VR設備或普通電腦操作會更理想些。

整體看下來,本次CES可能是去年受疫情影響,各廠家研發進度感覺上有點落後,因此亮點並不多。為方便大家理解此次展會在「實境互動(Reality Interaction」領域中有何值得關注的產品。

一般來說實境互動包含取得真實世界資訊(如3D掃描、建模等)、顯示(疊合)虛擬世界物件到真實世界(如VR, AR, MR, XR顯示眼鏡或裸視3D顯示器等)、人機互動(如手勢、頭部姿態、眼睛注視、運動感測器、力回饋設備等)等技術整合而得。接下來就針對這三大領域的新品幫大家作一些簡單盤點,如有遺漏的地方再煩請多多在留言區交流並提供相關資訊。(註:產品排列順序不代表任何意義)

2021年1月22日 星期五

【Intel OpenVINO™教學】如何利用Docker快速建置OpenVINO開發環境

 

2012年Alex Krizhevsky利用卷積神經網路(Convolutional Neural Network, CNN) AlexNet以15.3% Top5錯誤率遠甩第二名好幾條街(26.1%),贏得ImageNet大規模視覺辨識挑戰賽(ILSVRC)首獎,從此開啟人工智慧、神經網路、深度學習的新世代。自此各個廠商也紛紛推出自家的開發工具,搶食人工智慧這塊大餅。

2018年5月INTEL有鑑於邊緣智能(Edge AI)設備的硬體效能遠低於雲端機房,且不同硬體、開發工具間存在嚴重差異,造成工程師學習上極大的困擾,因此推出開放(免費)電腦視覺推論及神經網路(深度學習)優化工具包「OpenVINO」(Open Visual Inference & Neural Network Optimization Toolkit)」[1][2]。

OpenVINO整合了OpenCV, OpenCL等開源電腦視覺及加速運算函式庫,並可運行在多種作業系統(Windows, Linux),輕鬆搭配自家各種不同硬體加速運算平台(Inetl CPU, GPU, FPGA, VPU, GNA),且支援各種常見AI開發框架(TensorFlow, Caffe, MXNet, ONNX, KALDI)訓練出的模型及參數,更有提供模型的優化工具使運算效能及模型大小得到更佳的輸出,最重要的是工程師只需寫一次程式就能在不同平台上執行,大大降低學習及佈署的負擔。

早先OpenVINO的版本彈性雖然較大,但安裝程序冗長,一不小心容易造成步驟缺失導致系統無法正確運行。為解決這項問題,OpenVINO也有推出Docker安裝方式,輕鬆搞定安裝及執行問題,且可有效隔離不同版本及其它開發環境。接著就簡單說明「什麼是Docker?和虛擬機VM有何不同?」、「如何安裝Docker工作環境」及「如何使用Docker安裝OpenVINO」,最後再以一個範例來說明「如何利用公開模型mobilenet執行影像分類」。

2021年1月19日 星期二

Github上OpenVINO最受歡迎的前20名開源項目

 

最近剛好盤點了一下Github上關於OpenVINO最受歡迎項目,截至2021/1/19止,在Github上使用"OpenVINO"關鍵字進行檢索,共有1,154項,以下就依獲得星星(star)數量簡單列出前20名。

這20名中其中,Intel官方(包括openvinotoolkit, NervanaSystems, movidius)就佔了7項,而Daniil-Osokin貢獻了3項(第7,14,19名),PINTO0309(第9,10,13名)。而就非官方貢獻者,台灣灼灼科技(DT42)第4名則是排在最前面。

另外個人雖然也有貢獻了幾個OpenVINO的開源項目,但目前還排在非常後面,最好的一項也才27顆星,希望未來能有機會再創作幾個有趣的專案分享給大家,這次就先排在第21項,當作是對自己的期許吧!

【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考! Edge AI Taiwan 邊緣智能交流區 全像顯示與互動交流區 台科大(NTUST) 人工智慧與邊緣運算實務 開南大學...