網頁

2019年12月26日 星期四

【課程簡報】20191226_RealSense Meetup#3_智能機器手臂之3D感測視覺系統

很高興今天(2019/12/26)受INTEL及MAKERPRO邀約和大家分享「智能機器手臂之3D感測視覺系統」。此次主要分享內容是介紹如何整合RealSense和OpenVINO藉此來完成智能小蕃茄採收機器人系統。雖然這個系統非常陽春且不成熟,不過麻雀雖小但五臟俱全,從資料集建立、訓練、推論及物件深度分析一樣不少,還提供所有資料集及源碼供大家研究,希望有興趣的朋友未來想開發類似系統時能少踩一些坑。

本次簡報主要內容如下:(點擊圖片放大)
  • 智能機器手臂之3D感測視覺系統
  • 固定式RealSense + 機器手臂
  • 移動式RealSense + 機器手臂
  • RealSense + XYZ直交型機器手臂
  • FBTUG 採果機器人專案
  • 採收機器人─立體視覺技術
  • 智能機器手臂視覺系統開發流程
  • 立體視覺原理
  • D415 & D435 規格比較
  • 小蕃茄物件及深度偵測實驗平台
  • YOLOv3小蕃茄偵測流程
  • 小蕃茄取像
  • 影像標註
  • 小蕃茄物件偵測實驗結果
  • 應用注意事項
  • Github開源專案
  • RealSense LiDARD(光達) L515
  • 參考文獻


用AI進行人群計數從此不再各說各話

最近選舉到了,不管是造勢還是遊行場合,台上的主持人為了炒熱氣氛,總是會喊出誇張的人數來滿足與會人士的信心,甚至會質疑其它個人(如某椅子精算師)、媒體或警方以較科學(合理)的方式所計算的結果,造成社會上更多的對立,難道在這個充滿人工智慧的時代沒有更科學的方式來進行計算嗎?有的,今年初有一位網友PULKIT SHARMA寫了一篇「人群計數(Crowd Counting)」的文章幫大家解決了這個難題,不僅給出充份的說明,還提供相關測試數據及模型,有興趣的朋友可以追一下這篇部落格文章「It’s a Record-Breaking Crowd! A Must-Read Tutorial to Build your First Crowd Counting Model using Deep Learning

【尬場拚人數】罷韓50萬vs.挺韓35萬 雙方均超過「樓地板」20萬人(資料來源:上報)

2019年12月25日 星期三

【課程簡報】20191225中央土木_電腦視覺及人工智慧開源工具OpenCV&OpenVINO簡介

很高興今日(2019/12/25)受中央大學土木系林子軒老師邀約和大家分享「Introduction of OpenCV and Open Source Image Recognition Using Deep Learning」這項主題。由於此次有外籍生一起上課,所以簡報內容全部採用英文。

此次簡報內容主要包括四大項目,更完整內容請參考下面簡報。(點擊圖放大)
  • Computer Vision Open Toolkit - OpenCV
  • Artificial Intelligence Open Toolkit - OpenVINO
  • Computer Vision Project Workflow
  • Applications

2019年12月20日 星期五

【OpenVINO™+RealSense™教學】土炮智能機器手臂之視覺系統

現代化工業機器手臂早已成為自動化工廠中不可或缺的最佳幫手,面對大量重複性及需要精密定位的工作,沒了它幾乎寸步難行。傳統的機器手臂需要有專業的工程師預先將工作(運動)路徑輸入(教導)到系統中,手臂才能依序執行指定的動作,但是這樣的作法只適用固定形狀及擺放位置的物件進行取放或加工。近年來隨著電腦視覺及3D(深度)感測技術的進步及高性能平價的計算平台陸續上市,幫機器手臂加上一雙明亮動人的眼睛,使其可以像人一般看到物件的形狀、擺放方式及位置,自動計算完手臂移動路徑及每個軸關節(馬達)運動距離、角度及速度後,便可伸手去拿取及放置到指定位置,已不再是遙不可及的夢想了。

雖然具有視覺能力的智能工業級的機器手臂已從數百萬降至數十萬元,算是相當便宜了,但這仍不是一般人玩的起的,那創客們是不是有機會自己土炮一台呢?這當然是有可能的,現在隨便花個數千元就能輕鬆在購物網站上買到相當不錯的迷你型多軸機器手臂(類手臂型、XYZ直交型、Delta三角錐型等),還想更省錢的創客們還可買一些小型步進馬達或大扭矩數位舵機、多軸運動控制板加上3D印表機或雷射切割機製作機構就有機會自己做一台機器手臂。那智能視覺部份怎麼辦呢?傳統的雙眼立體視覺(深度)計算及校正原理那麼難懂,沒有讀一堆數學和算法可是搞不定的,那該怎麼辦呢?不用擔心,現在的3D(深度)感測器(如Intel RealSense)已相當平價,約3000~6000元就能取得,不用學那些數學,就像使用網路攝影機一樣簡單,透過USB就能獲得彩色加深度(RGB-D)影像。有了硬體後最後加上開源深度學習(如Intel OpenVINO)、電腦視覺(如OpenCV)及一些加速運算工具(如Intel 神經運算棒)幫忙辨識物件及計算平面(XY)位置後,加上3D感測器提供的深度(Z)資訊,如此便可驅動機器手臂移動到指定空間(XYZ)座標抓取指定物件了。接下來就開始帶著大家了解如何建構「土炮智能機器手臂之視覺系統」。

【視覺型智能機器手臂】


一般常見的智能機器手臂視覺系統有很多做法,舉例來說可將深度攝影機裝在夾爪上方(如Fig. 1a所示),會隨著機器手臂移動,使用時手臂會先移動到某個位置讓深度攝影機計算待抓取的物件位置,再令手臂移動及抓取物件,這樣的好處是可以取得較理想的視角及較大的物件成像且不易有視線遮擋問題,但缺點是手眼校正系統較為複雜,取放精度會略差。另外一種作法則是反過來,外加一固定架安置深度攝影機(如Fig. 1b所示),機器手臂取物前要先移開讓深度攝影機可正確計算物件位置,接著再移動取物,若搭配高級結構光投影設備及高解析度攝影機來計算深度則其解析度可達公釐(mm)甚到更小等級。這裡為了讓大家把重點放在如何取得待抓取物的空間座標,所以暫時忽略機器手臂如何製作及控制的說明,僅以示意圖(如Fig. 1c所示)說明機構設計方式。整體概念上採XYZ直交型三軸機器手臂最為簡單易懂且容易實現。Z軸最前方裝上夾爪,而深度攝影機固定於Y軸上方不動。左右移動為X軸,上下移動為Y軸,方便滿足攝影機取像座標系統。而前後移動為Z軸,以符合深度攝影機深度影像輸出結果,越靠近攝影機Z值越小,反之越遠Z值越大。

Fig. 1機器手臂之視覺系統示意圖,(a)專業型機器手配移動式深度攝影機,(b)專業型機器手臂配上置型固定式深度攝影機,(c)土炮型XYZ直交型機器手臂配後置固定式深度攝影機系統概念圖。 (OmniXRI整理製作) (點擊圖放大)

2019年12月4日 星期三

文創新利器4D (Volumetric Capture) 建模與重現

昨天(2019/12/03)很高興參加由文化部主辦的「創IP秀4D」國際論壇暨成果發表會。此次活動最主要就是展現今年度文化部「IP內容實驗室」[1]重金由法國引進的「4DViews」系統如何協助台灣多個文創領域產生新的火花。由於之前我在學校求學時就是以多視點取像、顯示及實境互動為主,但台灣卻只有很少人了解這些技術,所以此次看到台灣有這麼多不同領域相關成果產出,實在有點小激動。

Fig. 1 (a)傳統3D動畫製作流程,(b)肢體及臉部動作補捉系統,(c)4D(容積式)補捉系統。(OmniXRI整理製作) (點擊圖片放大)