2022年12月29日 星期四

有了TinyML加持MCU也能開始玩電腦視覺了

說到使用小型邊緣智能(Edge AI)開發板來完成「影像分類(Image Classification)」或「物件偵測(Object Detection)」,大概第一個會想到的是樹莓派加Intel神經運算棒(NCS2)或者Nvidia Jetson Nano系列或者Google Coral吧?但如果想在單晶片(MCU)上玩影像處理甚至TinyML影像辨識有沒有機會呢?先說結論當然是可以,舉例來說單板微電腦(如Arm Cortex-A系列)就像機車,而單晶片(如Arm Cortex-M系列)就像腳踏車,同樣是提供移動服務,但要讓腳踏車跑得像機車那麼快,可能人會先累垮,甚至跑不贏。不過如果只是要到500公尺外的超市買東西,那這兩種交通工具差別可能就沒這麼大。因此在使用MCU進行電腦視覺前要先確認好需求,以免有過多的幻想,無法達成工作目標。接下來的文章將為大家介紹有自帶攝影機模組或有保留擴充界面的MCU TinyML開發板,方便想從事微型電腦視覺AI應用的朋友有更完整的選擇。

1. 在單晶片上運行電腦視覺應用

在電腦視覺中,影像辨識所需耗費的算力是非常龐大的,在加速處理的思路上可分為從硬體及軟體(算法、模型)下手,大致可分為下列幾種作法:

  • 降低影像色彩數及解析度
  • 降低每秒處理影格數(Frames, FPS)
  • 增加晶片工作時脈(Clock, MHz)
  • 增加單位時間平行運算能力(如SIMD, Vector指令集、多核)
  • 選擇複雜度(如層數、寬度、網路結構)較低的模型
  • 對模型進行推論速度、儲存空間、記憶體使用優化(量化、減枝、壓縮、蒸餾等)

在前一篇「MCU攜手NPU讓tinyML邁向新里程碑」中已有幫大家介紹過各種MCU+NPU的硬體加速計算方式,但由於MCU儲存程式碼、模型網路結構、權重參數的FLASH容量及計算過程所需的SRAM記憶體容量非常少,所以第一件事是要把模型縮到塞得進MCU中,才有資格談模型加速運算及維持推論精度,尤其在電腦視覺應用中更是首先必須要解決的問題。

傳統AIoT的應用開發,MCU重點在擷取多種感測器信號及加上通訊將資料傳到雲端,並不直接在MCU上進行AI相關運算,所以工作時脈不用太快,只要數十MHz就足夠,而Flash、SRAM有個數KB到數十KB就夠用了,甚至連像ARM MBED或RTOS這樣的MCU作業系統都不用。

隨著微型攝影機模組(Camera Module)的普及,越來越多的有線、無線網路攝影機(IP Cam)方案被提出,AIoT的應用也開始加入了影像監控的領域。為解決影像基本處理及編解碼,因此單晶片也開始提高工作時脈到數百MHz、增加Flash、SRAM到數百KB到數MB,甚至加入數位信號處理器(Digital Signal Processor, DSP),使得有足夠能力可以運作微型作業系統或MicroPython這類的開發環境。不過此時若想在擷取到的串流影音上進行AI相關應用時,幾乎都還是送回雲端處理。

最近隨著各種微型攝影機模組(如I/O Bus, MIPI, SPI界面)越來越容易取得,支援TinyML技術的硬體逐漸成熟,相關開發工具(如TensorFlow Lite for Microcontroller, CMSIS-NN)和平台(如Edge Impulse, SensiML)也逐漸普及,因此在沒有網路及雲端服務下,在MCU上直接跑微型電腦視覺AI應用也開始變得沒這麼困難。接下來就市售20款開發板分成三大類依序幫大家介紹,而開發工具、平台、模型優化等就留待下次再幫大家介紹。

TinyML Vision MCU Boards

2022年12月25日 星期日

【課程簡報】20221226_開南健管系_健康資料處理與分析_week16_工作坊2

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(111年度第一學期)協助的課程為「健康資料處理與分析」,此次為第16週,課程內容為「工作坊2」,預計帶著大家操作如何設計一個創意專題。課程大綱如下:

16.1 Intel DevCup 2022案例分享
16.1.1 糖尿病風險預測
16.1.2 電動輪椅路況辨識
16.1.3 羽球虛擬教練
16.1.4 顏面神經失調復建
16.1.5 兒童發燒監測
16.1.6 長者安養運動

16.2 簡報內容及技巧
16.2.1 簡報內容重點
16.2.2 簡報技巧

16.3 分組討論及導引

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

2022年12月18日 星期日

【課程簡報】20221219_中華資工_AIoT與tinyML生態系國際發展趨勢與國產IC未來方向

很高興今天(2022/12/19)受到中華大學資訊工程學系陳建宏老師邀約,和同學們談談「AIoT與tinyML生態系國際發展趨勢與國產IC未來方向」這個才在上個月「台灣IC智造年會」上分享過的主題,主要包括下列三個子項,希望能對同學們有所幫助。

  • 如何建構tinyML生態系
    • 硬體
    • 軟體
    • 平台
    • 服務
    • 社群
  • tinyML國際發展趨勢
    • Platform
    • Hybird-Core
    • AutoML
    • MLOps
    • On Device Learning
  • 國產IC投入現況與未來方向
    • 晶片、開發板到應用例
    • 開源、社群到新創
    • 產業、聯盟到國際化

以下就是此次活動簡報。(點擊圖放大) 

2022年12月12日 星期一

【課程簡報】20221212_開南健管系_健康資料處理與分析_week14_工作坊1

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(111年度第一學期)協助的課程為「健康資料處理與分析」,此次為第14週,課程內容為「工作坊1」,預計帶著大家操作如何設計一個創意專題。課程大綱如下:

14.1 創意專題規畫與實踐
 14.1.1 創意專題開發
 14.1.2 想法評估與定位
 14.1.3 可行性分析與比較
 14.1.4 想法試做和循環

14.2 應用情境與導入技術
 14.2.1 應用情境
 14.2.2 導入技術
 14.2.3 常見分析工具─精實畫布

14.3 分組討論及導引
 創意專案參考網站
 14.3.1 Intel DevCup 2021
 14.3.2 Intel OpenVINO Cases
 14.3.3 Hackster.io Projects
 14.3.4 Arduino Projects

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

ps. 簡報下方簡報日期及內容筆誤,應更正為2022/12/12,健康資料處理與分析工作坊1。

2022年12月4日 星期日

【課程簡報】20221205_開南健管系_健康資料處理與分析_week13_資料訓練與預測

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(111年度第一學期)協助的課程為「健康資料處理與分析」,此次為第13週,課程內容為「健康資料應用─資料訓練與預測」,課程大綱如下:

13.1 邊緣智慧應用開發流程
    13.1.1 人工智慧及常見應用
    13.1.2 雲端與邊緣智慧
    13.1.3 人工智慧開發流程
    13.1.4 Intel OpenVINO
    13.1.5 Google MediaPipe
13.2 智慧健康照護與管理實例分享
    13.2.1 人工智慧與健康照護
    13.2.2 影像取像技術
    13.2.3 案例分享
13.3 智慧運動分析與管理實例分享
    13.2.1 人工智慧與健康照護
    13.2.2 影像取像技術
    13.2.3 案例分享

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

2022年11月30日 星期三

【課程簡報】20221130_北科自動化所_從智慧製造邁向元宇宙

很高興今天(2022/11/30)受到臺北科技大學自動化科技研究所蔡孟伸老師邀約,和同學們在「車輛所/自動所/能源所111學年度第1學期聯合學術研討會」聊聊「智慧製造」與「元宇宙」之間的關連,並透過一些實際案例讓同學們更能體會從發想、實作到落地中間所需運用的技術。以下就是本次分享的大綱。

  • 工業4.0與智慧製造
  • 工業智聯網
  • 工業元宇宙
    • 邊緣智能
    • 延伸實境
    • 數位孿生

其中還分享了數個案例,包括

  • Bosch智能感測器
  • 智穎智能射出機
  • 日月光5G智慧無人工廠
  • 凌華AMR + 友嘉智慧工廠
  • Nvidia數位孿生+BMW
  • 微軟Hololens+台達電

完整簡報如下所示。(點擊圖片放大)

2022年11月28日 星期一

【課程簡報】20221128_臺北商大_資訊與決策科學研究所_深度學習應用於智慧零售影像分析之趨勢

很高興今天(2022/11/28)受到臺北商業大學資訊與決策科學研究所廖文華所長邀約,和同學們在「深度學習」這門課程聊聊「電腦視覺」與「智慧零售」之間的關連,並透過一些實際案例讓同學們更能體會從發想、實作到落地中間所需運用的技術。以下就是本次分享的大綱。

 1. 人工智慧與智慧零售
 2. 深度學習與電腦視覺
 3. 智慧零售影像分析技術
 4. 應用實例分享

  • FootfallCam人流分析
  • Amazon Just Walk Out
  • 工研院AI智慧商店
  • 日本全家超商自動補貨
  • 創意引晴自助結帳
  • 擴增實境(AR)應用(完美移動、光禾感知)
  • 日本虛擬店員(Lawaon, Gatebox)

完整簡報如下所示。(點擊圖片放大)

2022年11月17日 星期四

【課程簡報】20221117_南開科大_自動化工程系_智慧製造與可程式控制器應用

很高興今天(2022/11/17)受到南開科大USR中心蔡名桂主任和自動化工程系李清一老師的邀約,和自動化工程系大四學生分享一下「智慧智造與可程式控制器應用」。主要內容包括下列項目。

  • 工業4.0 與智慧製造
  • 工業控制器
    • 控制器類型
    • 控制語言類型
    • 通訊界面類型
  • 程序控制思維
  • 智慧製造應用實例

以下就是此次的簡報分享。(點擊圖放大)

2022年11月10日 星期四

【課程簡報】20221110_台灣IC智造年會_AIoT與tinyML生態系 國際發展趨勢與國產IC未來方向

很高興今天(2022/11/10)受資策會物聯網智造基地邀約,在「台灣IC智造年會」和大家談談「AIoT與tinyML生態系國際發展趨勢與國產IC未來方向」這個主題,主要包括下列三個子項。

  • 如何建構tinyML生態系
    • 硬體
    • 軟體
    • 平台
    • 服務
    • 社群
  • tinyML國際發展趨勢
    • Platform
    • Hybird-Core
    • AutoML
    • MLOps
    • On Device Learning
  • 國產IC投入現況與未來方向
    • 晶片、開發板到應用例
    • 開源、社群到新創
    • 產業、聯盟到國際化

這個主題在2022/10/14「物聯網智造基地─國產IC線上分享會」曾和大家分享過,不過上次時間有限只能針對三個子項的前一項講的較多。此次分享時間依舊不足,所以會針對後兩個子項做更完整分享。 如果沒有跟到前面活動的朋友可以參考文末影片連結 00:17:30 ~ 00:48:00處,完整簡報連結

以下就是此次活動簡報。(點擊圖放大)

2022年11月8日 星期二

【課程簡報】20221108_南開科大_自動化工程系_智慧製造與工業感測技術

很高興今天(2022/11/08)受到南開科大USR中心蔡名桂主任和自動化工程系李清一老師的邀約,和自動化工程系大三學生分享一下「智慧智造與工業感測技術」。主要內容包括下列項目。

  • 工業4.0與智慧製造
    • 智慧製造應用
      • 異常偵測
      • 瑕疵檢測
      • 路徑規畫
      • 行為分析
      • 排程管理
      • 數位孿生
  • 工業物聯網簡介
  • 常見工業感測技術
  • 產業感測應用
    • 傳統機器視覺
    • 人工智慧機器視覺
    • 自動輸送帶感測
    • 機器手臂感測
    • AGV / AMR感測
    • 肥皂盒技術迷失
  • 應用實例分享
    • 手工具缺件智慧檢測
    • 工業物聯網
    • 異常偵測
    • 智慧組裝
    • 智慧路徑加工
    • 自主移動機器人

以下就是此次的簡報分享。(點擊圖放大) 

2022年11月7日 星期一

歐尼克斯實境互動工作室部落格成立五週年

從2017/11/8創建這個部落格至今已滿五年了,又是到了自我檢視的時候了。感謝過去一年間大家的支持,點閱次數已累積382,658次,較去年新增5萬4千多次,新增貼文31篇。相較去年貼文數沒有太多增加,今年主要都是長文,所以寫起來頗花時間。而點閱數明顯下降了3萬多次,不知道是寫的內容太冗長大家看不下去,還是寫的主題不夠吸引人,還是內容不夠精彩,總之自己要多多創作才是。

今年花在經營Facebook社團「Edge AI Taiwan邊緣智能交流區」(2020/5/2成立)的時間較多,每天都要安排一些最新資訊及相關專題製作分享,雖然得到的回應(按讚及留言)不算太熱烈,但是日活量(潛水)也都還保持在1000~2000人,所以也不完全算是我每天對著空氣在講話😅。隨著手邊工作量日益增加,不知這樣耗時且無私付出的工作還能撐多久,就只能隨緣了。

以下就是過去一年的成果,感謝大家的點閱、按讚,讓我有繼續寫下去的動力,如果覺得部落格或FB社團中的內容還用得上,歡迎多多分享給需要的人,謝謝!

 

2022/11/7 部落格累積點擊數量382,658次

2021/118-2022/11/7 部落格瀏覽數量統計

2021/11/8-2022/11/7 Top 1 ~ Top 5文章及點擊數

2021/11/8-2022/11/7 Top 6 ~ Top 10文章及點擊數


2022年11月1日 星期二

【課程簡報】20221031_開南健管系_健康資料處理與分析_week08_穿戴式及健康照護感測器

很榮幸這學期受到開南大學健康產業管理學系范靜媛主任及李盛安老師邀約擔任「智慧健康系列課程」計畫協同主持人,並擔任部份課程講師。本學期(111年度第一學期)協助的課程為「健康資料處理與分析」,此次為第八週,課程內容為「健康資料收集與處理─穿戴式及健康照護感測器介紹」,課程大綱如下:

8.1 智慧物聯網
8.1.1 物聯網工作流程
8.1.2 智慧物聯網架構
8.1.3 感測器分類
8.1.4 感測器簡介

8.2 穿戴式感測器
8.2.1 穿戴式感測器類型及作用

8.3 健康照護感測器
8.3.1 健康照護感測器類型及作用

8.4 資料收集方式
8.4.1 常見感測器模組
8.4.2 常見物聯網開發板
8.4.3 資料收集工具

8.5 資料清洗及標註
8.5.1 資料清洗
8.5.2 資料標註工具

以下就是此次課程簡報,提供大家參考。(點擊圖放大)

2022年10月25日 星期二

5G智慧物聯網(AIoT)加速邊緣智能(Edge AI)的發展

在20世紀時大家上網只為了查詢資訊,到了21世紀雲端計算(Cloud Computing)、物聯網(Internet of Thing, IoT)及各種長短距離通訊技術興起,於是大家就能更方便將各種感測器的資訊傳送到遠端,也能讓使用者透過各種行動通訊裝置遠端遙控家電等致動元件。

以往本地(裝置)端上會有一個單晶片(MCU)來接收各種感測器信號,如溫度、濕度、氣壓、照度、電壓、電流、PM2.5、振動等感測器。這些感測器有些是以類比信號輸入,有些會使用I2C, UART, SPI等有線數位通訊方式接入MCU,甚至有些會採藍牙(Bluetooth, BT), ZigBee等無線通訊方式傳入。

在沒有網路或通訊不良情況下,會先利用本身的快閃記憶體(Flash)或隨機記憶體(SRAM)暫存這些定時收集到的資訊。當恢復通訊時就能以有線乙太網(Ethernet)或無線網路(如WiFi, LoRa, SigFox, NBIoT等)甚至是一般手機的3G/4G/5G通訊模組將資訊傳至遠端的雲端服務器中。此時使用者透過行動通訊裝置(如手機、平板電腦等)或一般桌機、筆電上運行的瀏覽器程式,就能從雲端服務器中取得資訊,了解目前遠端的狀況。當然這裡也可反過來,送出控制命令,傳到一直在監聽命令的MCU中,此時便可依命令去控制燈具、馬達及各式家電的電源開關,甚至可傳送數值控制可調的家電,如冷氣溫度、電燈亮度等。如Fig. 1所示就能看出智慧物聯網的基本架構。

 

Fig. 1 智慧物聯網(AIoT)架構圖[1]。(OmniXRI整理製作) (點擊圖放大)

2022年10月21日 星期五

【課程簡報】20221021_研華線上論壇_邊緣AI應用快速部署挑戰

很高興今天(2022/10/21)受到研華及MakerPRO邀約擔任「實現企業邊緣AI轉型關鍵解密」線上論壇講者,和大家分享「邊緣AI應用快速部署挑戰」 這個主題。此次主要針對下列三個子題進行分享,希望能帶給大家一些幫助。

  • AI應用開發流程
  • 開發與部署挑戰
  • 維運週期管理

以下就是今日簡報內容。(點擊圖放大)

2022年10月18日 星期二

MCU攜手NPU讓tinyML邁向新里程碑

去(2021)年9月時小弟曾寫過一篇「當智慧物聯網(AIoT)遇上微型機器學習(tinyML)是否會成為台灣單晶片(MCU)供應鏈下一個新商機!?」[1]。其中對通用型單晶片(Micro Controller Unit, MCU) 的歷史及台灣投入現狀有完整的整理。同時也清楚說明了智慧物聯網(Artificial Intelligence + Internet of Thing, AIoT) 微型機器學習(Tiny Machine Learning, tinyML) 的概念及兩者間的關係。文中也提出MCU等級的AI應用開發流程及台灣廠商面臨的機會與挑戰。但是,一年過去了,台灣方面廠商似乎沒有太多動靜,相較於對岸及國際上如火如荼的開展,不免有些感嘆。於是再次動筆寫下這一年觀察到的趨勢,整理了5大技術、40個產品和11家模型自動優化(AutoML)平台分享給大家,希望能引起更多人關注。也期望台灣廠商能更重視這個新興市場,投入更多資源,以免錯失下一個黃金十年。

2022年10月14日 星期五

【課程簡報】國產IC線上分享會─AIoT與tinyML生態系國際發展趨勢與國產晶片未來方向

很高興今天(2022/10/14)受資策會物聯網智造基地及益師傅的邀約,在「國產IC線上分享會」和大家談談「AIoT與tinyML生態系國際發展趨勢與國產晶片未來方向」這個主題。此次會分成三個子題,如下所示,而此次重點又會放在建構生態系上,而後兩項未能完整說明部份則會在2022/11/10的「台灣IC智造年會─智造匯壇」實體活動中再和大家補充說明。

  • 如何建構tinyML生態系
  • tinyML國際發展趨勢
  • 國產IC投入現況與未來方向

 以下就是此次活動簡報。(點擊圖放大)

2022年10月6日 星期四

【課程簡報】20221005_南開科大_自動化工程系_從自動化到智動化

很高興今天(2022/10/05)受到南開科大USR中心蔡名桂主任和自動化工程系蔡建皇老師的邀約,和自動化工程系大四學生分享一下個人如何從一個電子小白踏入自動化產業,再轉型成為智慧製造的產業顧問的心路歷程。雖然簡報沒幾頁,但卻是個人從事第一線工作精彩的經驗分享。讓同學們不管是想升學或就業都有一些不一樣的想法。

以下就是此次的簡報分享。(點擊圖放大)

2022年10月4日 星期二

免費開源串流媒體分析工具Intel OpenVINO DL Streamer讓你也能成為智能影音分析大師

時光飛逝,轉眼2022年也過了四分之三,Intel OpenVINO Toolkit (以下簡稱OpenVINO) 2022.1版也在今年作出不少重大變革,其中一項重要又實用的功能「Deep Learning Streamer (以下簡稱DL Streamer)」也有許多更新。假若各位看過小弟在2018年寫過的「【Intel OpenVINO™教學】GStreamer串流影片智能分析不再慢吞吞─看Intel OpenVINO DL Stream如何加速影片推論」[1],相信應該會對這項工具有一些初步認識。如果您是剛入門的朋友,也不用太擔心,透過本文依序從「什麼是DL Streamer」、「認識DL Streamer架構」、「如何安裝DL Streamer」、「DL Streamer小試身手」及「DL Streamer表現分析」等小節的介紹,相信應該能更快速、深入了解OpenVINO這項好用的工具。

2022年9月22日 星期四

如何在Windows安裝Linux(WSL2+Ubuntu)及Docker來執行OpenVINO和DL Streamer

以往想在Microsoft Windows上運行Liunx(如Ubuntu),可能要透過VMware或Virtualbox這類虛擬化工具來安裝,不過除非你使用的是付費的進階版本,不然通常是無法調用本機端的GPU(不管NVIDIA或INTEL內顯、外顯)資源。後來微軟也看到這個商機於是在2016年順勢在Win10上推出適用於Linux的子系統(Windows Subsystem for Linux, WSL),讓使用者可輕易使用Linux作業系統的核心功能,包括常見的Ubuntu, openSUSE, Debian, Kali等。2019年推出WSL2時,除了一般Liunx基本的命令列工具(如Bash)外,甚至也可以運行圖形化視窗界面(如X Window)。如此一來就能讓使用者在Windows和Linux兩種作業系統上任意切換,不用再安裝其它虛擬化工具了。

隨著Win11上市,WSL2亦有較大幅度的更新,直接就能從Windows APP Store下載,除了Ubuntu 18.04.5 LTS, 20.04.5 LTS, 22.04.1 LTS可選擇外,另外還有Debian, Kali, fedora remix等多種環境。同時也開始對本地端的GPU有明顯的支援,包括NVIDIA及INTEL(含內顯HD Graphics, Xe,外顯Iris Xe系列),這樣對開發AI應用程式有很大的幫助,就可以使用像TensorFlow, PyTorch這類框架來進行模型訓練及使用像Nvidia TensorRT, Intel OpenVINO這樣的推論工具加速運算。

接下來就帶著大家一步一步把開發環境架設起來。如果你的電腦已經是安裝Ubuntu桌面圖形使用者介面(Desktop GUI)系統,只是想安裝Intel OpenVINO, Docker和DL Streamer來練習,那麼可以略過下面第1, 2, 3, 7節的說明。

2022年9月9日 星期五

如何在Google Colab上使用本地端Webcam即時運行OpenCV自定義影像處理函式


 之前曾寫過一篇「如何在Colab上顯示雲端硬碟(Google Drive)上的影像和視頻」解決了在Google Colab上顯示靜態影像(如bmp, jpg, png等)和動態視訊(如mp4等)的問題,這樣方便OpenCV處理後的顯示問題,但這些作法並無法解決直接讀取本地端網路攝影機(Webcam)連續影像取像及即時自定義影像處理顯示問題。

一般使用Google Colab時可以透過JavaScript程式和本地端網路攝影機連接,取得串流影像後透過網頁元件即可顯示。但目前Colab提供的「程式碼片段」範例僅可以連結本地端網路攝影機進行連續取像及顯示,且只能取得最後一張影像後,再以靜態方式(如OpenCV, PIL等)進行處理及顯示,無法於取像過程進行自定義影像處理。所以經過一番查找終於得到如何解決讀取網路攝影機連續影像及同時執行自定義影像處理方案,提供大家參考,完整範例程式可參考下列網址:

https://github.com/OmniXRI/Colab_Webcam_OpenCV

本範例 Colab_Webcam_OpenCV.ipynb 共提供二種模式解決方案。

模式一:使用網路攝影機連續取像並顯示,按下取像鍵後才使用OpenCV進行自定義影像處理及顯示結果。

模式二:使用網路攝影機連續取像並顯示,在取像過程同時執行OpenCV自定義影像處理及顯示結果。

2022年9月5日 星期一

在Colab上安裝Python虛擬環境及OpenVINO 2022.1填坑心得

之前寫過一篇「使用PyPi (pip install) 安裝Intel OpenVINO 2022.1填坑心得」,主要是說明如何在Windows上Anaconda環境(相當於虛擬環境)上安裝OpenVINO Python開發者環境。但很不幸地,這個方法移到Google Colab上似乎又不管用了。於是經過一連串實驗,終於找到一個工作流程,可以順利執行,提供給大家參考。

完整範例可參考下列網址。

https://colab.research.google.com/github/OmniXRI/Colab_Install_OpenVINO_2022/blob/main/Install_OpenVINO2022_on_Colab_Python_Virtual_Envirment.ipynb

其主要步驟如下:

  1. 建立Python環境
  2. 透過PyPI安裝OpenVINO到虛擬環境中
  3. 編寫openvino runtime和opencv測試碼
  4. 在虛擬環境中執行測試程式

 

2022年8月31日 星期三

有了OpenVINO 2022 PrePostProcessor APIs影像推論就更有效率了


在上一篇「OpenVINO 2022大改版讓Edge AI玩出新花樣」[1]中,在最後一小節「5. Preprocessing API」已幫大家簡單提到一些重點。本篇文章將更進一步介紹其應用程式介面(Application Programming Interface, API)基本原理和使用方式,並簡單比較和傳統使用OpenCV進行影像處理方式的差異及如何提升運作效率,讓大家後續使用OpenVINO運行影像類邊緣智能應用時能更有效率。接下來分別從如何「安裝工作環境」、「影像前處理」、「推論後處理」及「新舊版本比較」等幾大面向為大家作更完整說明。 

2022年8月16日 星期二

使用PyPi (pip install) 安裝Intel OpenVINO 2022.1填坑心得

source : Intel OpenVINO Document

最近剛好在實驗在Win10環境下,若不使用C/C++,不安裝Intel OpenVINO 2022.1 Windows標準版安裝程式(w_openvino_toolkit_p_2022.1.0.643_offline.exe)[1]是否可以只安裝Python開發環境?先說結論,可以,但有坑要填。以下就讓我慢慢道來。

2022年8月1日 星期一

OpenVINO 2022大改版讓Edge AI玩出新花樣


一般採用深度學習(Deep Learning, DL)方式的人工智慧(Artificial intelligence, AI)應用,在開發時須經過資料收集標註、模型選用訓練及最後部署到指定硬體進行推論工作。在訓練模型參數過程需經過數千到數萬次的推論才能使得參數最後收歛到足夠高的推論精度,而這項工作是須要耗費大量算力,所以通常會選用算力較高的硬體裝置(如GPU, TPU, FPGA)來完成。當完成訓練後,推論只需執行一次便可得到結果,明顯可看出算力需求的差異。若推論時仍採用訓練時的裝置,雖可得到極佳的推論效能及無痛移轉部署,但所需的硬體成本也會連帶提升數十到數百倍,更不要說硬體裝置龐大的體積及功耗,所以很難適用到大部份的邊緣智能(Edge AI)應用。通常邊緣智能應用有獨立性(不連網)、低延時、高隱私、低成本、低功耗及大量部署的特性,換句話說,其硬體效能可能就像腳踏車、機車,遠遠不如訓練模型用有如高鐵甚至飛機般高效能的硬體。因此如何將訓練好的模型經過適當的優化、減量及部署到不同的可推論硬體裝置就變成另一項重要課題。

2022年7月31日 星期日

【課程簡報】20220731_Coscup開源人年會_爭什麼,把AI和MCU摻在一起做tinyML就對了

很高興這是第二次受Coscup開源人年會邀請,此次要和大家分享的是最近幾年大家一直都在談的智慧物聯網(AI + IoT, AIoT)要如何把人工智慧或機器學習整合到邊緣元件「單晶片」上。本次分享是屬於初階入門的課程,會用較輕鬆的口氣及加上一些星爺電影「食神」中的搞笑橋段來加以說明,希望大家能更容易了解。最後也附上一些學習資源及參考連結,方便大家可以自我加強學習。如果有任何想法歡迎在留言區討論。

(點擊圖片可放大)

2022年7月29日 星期五

中光電智能感測CoreMaker-01開箱測試_如何配合SensiML建立自定義tinyML語音控制命令辨識


在介紹文章開始之前,首先感謝ideas Hatch、物聯網智造基地執行單位財團法人資訊工業策進會免費提供【國產IC智造工具包】之【中光電智能感測 CoreMaker-01】開發板進行測試。此篇文章為入門者起手式,後續如果大家想更了解如何應用於各種智能感測應用,歡迎持續追蹤系列文章。

2022年5月31日 星期二

【心得筆記】Edge Impulse EON Tuner AutoML工具介紹

去(2021)年10月Edge Impulse推出EON Tuner AutoML工具時還沒有認真研究,最近花了一點時間把先前的介紹影片看完並簡單摘要了一下,覺得這項工具對不懂AI的MCU工程師有很大的幫助,相對於手動設定瞎猜調整參數來說,簡單、快速地解決了模型選用及優化工具,想更了解這項工具到底有什麼用途的朋友可參考一下這段影片「AI Tech Talk from Edge Impulse: EON Tuner: AutoML for real-world embedded devices

 

 
影片來源:YOUTUBE,如遭刪除敬請見諒!

2022年5月2日 星期一

慶祝「Edge AI Taiwan 邊緣智能交流區」成立兩週年

今天(2022/5/2)是「Edge AI Taiwan 邊緣智能交流區兩週年紀念日,目前成員數已接近四千大關(3,993位成員),日活躍人數平均約在700-1500,感謝各位社團成員長期以來的支持。

這個社團主要關注小型AI的應用(最好是能用電池驅動的),每天至少會提供一到兩則相關新聞、開源技術資訊、公開教學文檔影片、免費課程活動等資訊。大家常會公開或私訊詢問各種AI相關問題,由於個人時間及能力有限,也只能盡力回覆,難免不如人意,敬請見諒,也歡迎高手能出手相助,協助回覆。

經長期觀察,發現潛水的朋友大約佔了九成五以上,如果對於邊緣智能這個議題有興趣的朋友,也請不吝多多貼文交流,分享自身實作經驗或撰寫的文章,如有問題也可公開詢問,相信會讓這個社團更加活躍。感恩!


會員人數:3,993 (2022/5/2)

 

會員地區分佈統計(2022/5/2)

2021/5/1 - 2022/4/30 瀏覽人數統計

2022年4月29日 星期五

如何在Google Colab上安裝Intel OpenVINO 2021 / 2022 版


先前曾整理過一些OpenVINO的範例,使其能在Google Colab及Intel DevCloud上執行,方便線上實驗用。步驟非常簡單,只需使用APT Install的方式就能完成安裝。但隨著OpenVINO 2022版的更新,發現原來使用2021的方式已無法使用,經重新確認INTEL OpenVINO官網說明,發現已有一些內容已被調整過。

為了使大家能方便使用及更清兩種版本的差異,這裡幫大家整理好兩個版本的OpenVINO安裝範例,希望能幫助到大家。點擊連結可自動以Google Colab開啟。

OpenVINO 2021

OpenVINO 2022 

 

參考文獻

OmniXRI Github - Colab_DevCloud_OpenVINO_Samples https://github.com/OmniXRI/Colab_DevCloud_OpenVINO_Samples

2022年4月8日 星期五

【課程簡報】20220408_宜蘭資工_元宇宙與實境互動技術演進

很高興今日受到宜蘭大學資訊工程系黃朝曦老師邀約,在線上和同學們分享「元宇宙與實境互動技術演進」這個主題。此次主要分為二大部份,包括「元宇宙」及「實境互動」,展開後會更進一步說明,希望透過短短兩個小時能讓大家快速了解那些是未來趨勢,那些是流於新聞炒作。

簡報大綱:

  • 何謂元宇宙
    • 資訊傳遞與Web 3.0
    • 數位資產與NFT
    • 社群發展與DAO
  • 元宇宙如何互動
    • 人機互動
    • 虛擬 vs. 實境
    • 元宇宙互動

(點擊圖放大)

2022年3月22日 星期二

【課程簡報】20220322_2022邊緣運算關鍵技術挑戰剖析

很高興今天(2022/3/22)受Intel, Sertek, MakerPRO邀約和大家分享「2022邊緣運算關鍵技術挑戰剖析」這個主題,本次大綱如下:

  • 邊緣智慧及相關應用
    • 邊緣智慧分類
    • 新興技術
    • tinyML相關應用
    • tinyML相關產品
  • 邊緣計算關鍵技術
    • 算力提升
    • 推論優化
    • 開源模型
    • 快速開發
  • Edge AI 未來挑戰
    • 部署維運
    • 邊緣協作與聯邦學習
    • 裝置端學習

 (點擊圖片放大)


2022年3月18日 星期五

使用Google Colab執行Github中的ipynb程式


 有時在Github上找到一些不錯的Google Colab 或 Jupyter Notebook (*.ipynb)格式的範例程式,想要分享給朋友,結果還要請朋友先下載程式到本機端硬碟,再上傳到雲端硬碟(Google Drvie)上,最後再以Colaboratory (Google Colab)開啟並執行,實在有點麻煩。

最近學到一個小技巧,其實Colab有支援直接開啟Github中的*.ipynb檔案的功能。假設有個檔案在下面路徑:

https://github.com/OmniXRI/colab_openvino/blob/master/Colab_OpenVINO_mobilenet_v1.ipynb

只要把路徑名稱中的「github.com」換成「colab.research.google.com/github」,其餘不變,如下所示,即可直接以Colab Jupyter Notebook方式執行程式,方便許多。

https://colab.research.google.com/github/OmniXRI/colab_openvino/blob/master/Colab_OpenVINO_mobilenet_v1.ipynb

以後直接以上列方式產生的網址傳給朋友就能直接使用了,不過要記得開網頁前還是要登錄自己的Google帳號,不然網頁會出現警告訊息。

如果想要修改開啟的程式,通常是要再點擊主選單上的「檔案」─「在雲端硬碟中儲存副本」,把原始碼複製到自己的雲端硬碟中,才能取得修改內容及存檔的權限。


【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考! Edge AI Taiwan 邊緣智能交流區 全像顯示與互動交流區 台科大(NTUST) 人工智慧與邊緣運算實務 開南大學...