【課程簡報】20191226_RealSense Meetup#3_智能機器手臂之3D感測視覺系統

很高興今天（2019/12/26)受INTEL及MAKERPRO邀約和大家分享「智能機器手臂之3D感測視覺系統」。此次主要分享內容是介紹如何整合RealSense和OpenVINO藉此來完成智能小蕃茄採收機器人系統。雖然這個系統非常陽春且不成熟，不過麻雀雖小但五臟俱全，從資料集建立、訓練、推論及物件深度分析一樣不少，還提供所有資料集及源碼供大家研究，希望有興趣的朋友未來想開發類似系統時能少踩一些坑。

本次簡報主要內容如下：（點擊圖片放大）

• 智能機器手臂之3D感測視覺系統
• 固定式RealSense + 機器手臂
• 移動式RealSense + 機器手臂
• RealSense + XYZ直交型機器手臂
• FBTUG 採果機器人專案
• 採收機器人─立體視覺技術
• 智能機器手臂視覺系統開發流程
• 立體視覺原理
• D415 & D435 規格比較
• 小蕃茄物件及深度偵測實驗平台
• YOLOv3小蕃茄偵測流程
• 小蕃茄取像
• 影像標註
• 小蕃茄物件偵測實驗結果
• 應用注意事項
• Github開源專案
• RealSense LiDARD(光達) L515
• 參考文獻

【OpenVINO™+RealSense™教學】土炮智能機器手臂之視覺系統

現代化工業機器手臂早已成為自動化工廠中不可或缺的最佳幫手，面對大量重複性及需要精密定位的工作，沒了它幾乎寸步難行。傳統的機器手臂需要有專業的工程師預先將工作(運動)路徑輸入(教導)到系統中，手臂才能依序執行指定的動作，但是這樣的作法只適用固定形狀及擺放位置的物件進行取放或加工。近年來隨著電腦視覺及3D(深度)感測技術的進步及高性能平價的計算平台陸續上市，幫機器手臂加上一雙明亮動人的眼睛，使其可以像人一般看到物件的形狀、擺放方式及位置，自動計算完手臂移動路徑及每個軸關節(馬達)運動距離、角度及速度後，便可伸手去拿取及放置到指定位置，已不再是遙不可及的夢想了。

雖然具有視覺能力的智能工業級的機器手臂已從數百萬降至數十萬元，算是相當便宜了，但這仍不是一般人玩的起的，那創客們是不是有機會自己土炮一台呢？這當然是有可能的，現在隨便花個數千元就能輕鬆在購物網站上買到相當不錯的迷你型多軸機器手臂(類手臂型、XYZ直交型、Delta三角錐型等)，還想更省錢的創客們還可買一些小型步進馬達或大扭矩數位舵機、多軸運動控制板加上3D印表機或雷射切割機製作機構就有機會自己做一台機器手臂。那智能視覺部份怎麼辦呢？傳統的雙眼立體視覺(深度)計算及校正原理那麼難懂，沒有讀一堆數學和算法可是搞不定的，那該怎麼辦呢？不用擔心，現在的3D(深度)感測器(如Intel RealSense)已相當平價，約3000~6000元就能取得，不用學那些數學，就像使用網路攝影機一樣簡單，透過USB就能獲得彩色加深度(RGB-D)影像。有了硬體後最後加上開源深度學習(如Intel OpenVINO)、電腦視覺(如OpenCV)及一些加速運算工具(如Intel 神經運算棒)幫忙辨識物件及計算平面(XY)位置後，加上3D感測器提供的深度(Z)資訊，如此便可驅動機器手臂移動到指定空間(XYZ)座標抓取指定物件了。接下來就開始帶著大家了解如何建構「土炮智能機器手臂之視覺系統」。

【視覺型智能機器手臂】

一般常見的智能機器手臂視覺系統有很多做法，舉例來說可將深度攝影機裝在夾爪上方(如Fig. 1a所示)，會隨著機器手臂移動，使用時手臂會先移動到某個位置讓深度攝影機計算待抓取的物件位置，再令手臂移動及抓取物件，這樣的好處是可以取得較理想的視角及較大的物件成像且不易有視線遮擋問題，但缺點是手眼校正系統較為複雜，取放精度會略差。另外一種作法則是反過來，外加一固定架安置深度攝影機(如Fig. 1b所示)，機器手臂取物前要先移開讓深度攝影機可正確計算物件位置，接著再移動取物，若搭配高級結構光投影設備及高解析度攝影機來計算深度則其解析度可達公釐(mm)甚到更小等級。這裡為了讓大家把重點放在如何取得待抓取物的空間座標，所以暫時忽略機器手臂如何製作及控制的說明，僅以示意圖(如Fig. 1c所示)說明機構設計方式。整體概念上採XYZ直交型三軸機器手臂最為簡單易懂且容易實現。Z軸最前方裝上夾爪，而深度攝影機固定於Y軸上方不動。左右移動為X軸，上下移動為Y軸，方便滿足攝影機取像座標系統。而前後移動為Z軸，以符合深度攝影機深度影像輸出結果，越靠近攝影機Z值越小，反之越遠Z值越大。

Fig. 1機器手臂之視覺系統示意圖，(a)專業型機器手配移動式深度攝影機，(b)專業型機器手臂配上置型固定式深度攝影機，(c)土炮型XYZ直交型機器手臂配後置固定式深度攝影機系統概念圖。 (OmniXRI整理製作) (點擊圖放大)

【AI_Column】如何以YOLOv3訓練自己的資料集─以小蕃茄為例

在人工智慧電腦視覺領域中，最常見的應用包括影像分類、物件偵測、像素級物件影像分割(語義分割及實例分割)，其中又以物件偵測應用範圍最廣。近年來物件偵測的算法(模型)不斷推陳出新，從最早的二階式(R-CNN, Fast R-CNN, Faster R-CNN)高精度算法演變到現在一階式(YOLO, SSD, R-FCN)高效算法。其中又以YOLO(You Only Look Once) [1]系列最受大家喜愛，目前已演進至第三代(以下簡稱YOLOv3)，其主要搭配Microsoft COCO 物件偵測80分類[2]做為預設訓練資料集，如果只需偵測常見物件偵測(如人、動物、車輛等)那麼直接利用YOLO預訓練好的模型及權重值就可應用到實際場域了。不過這80類物件通常很難滿足我們的需求，因此如果我們想應用自己準備的資料集時，那如何收集(取像)、標註、訓練資料集及進行最後的推論就變得非常重要。接下來就以辨識(偵測)小蕃茄為例為大家介紹完整工作流程(如Fig.1所示)。

Fig. 1 建構、標註、訓練及推論自己的資料集工作流程。 (OmniXRI整理製作) (點擊圖片放大)

無人化自動農場的時代即將到來了嗎?

台灣缺電問題一直是大家頭疼的問題，所以只好大家都「用愛發電」。現實中農業缺工問題更是日趨嚴重，國外有一家新創公司「Iron Ox」竟效仿台灣也來「用愛種菜」(GROWN BY ROBOTS WITH LOVE)，推廣無人自動化種植及採收工廠，雖然還不到完全不用人力，但已明顯節省了許多人力。

IRON OX 搬運機器人ANGUS (點擊圖放大)

FBTUG FramHarvestBot專案設計解析_活動簡報

很高興今天(2018/10/13)受哈爸(FBTUG創辦人)及MakerPRO邀約至南科AI ROBOT自造基地分享最近參與的FBTUG子專案FarmHarvestBot的相關設計介紹。本次分享內容主要包括如何產生一個最小可行產品(MVP)概念，再從採收機器人的系統架構、硬體架構、軟體架構進行簡介，接著是分享網路上收集到的大量影片整理分類後所得的設計重點，分別從視覺、夾爪及機器手臂三大區塊作進一步說明。以下就是此次活動簡報，若有任何問題歡迎隨時在下方留言交流。

※若看不清楚圖片內容，可點擊圖片放大至原始解析度觀看。

採收機器人_機器手臂篇

接連寫了「採收機器人_視覺篇」、「採收機器人_夾爪篇」後，大家應該對不同農作物的採收方式有了基本概念，接下來要繼續為大家整理採收機器人的機器手臂相關資訊。

一般所謂「機器手臂」可分為狹義的和廣義的定義。前者具有類似人類手臂、關節、手掌和手指的機器手臂，和後者只要具有能從有限空間中任意兩點進行移動、取放物件的機構裝置，不管外形和移動方式都可算是機器手臂。

常見機器手臂類型可分為下列幾大類。

採收機器人_夾爪篇

最近在FarmBot Taiwan User Group (FBTUG)總召哈爸(許武龍)的號召下，各路高手紛紛跳坑，希望有機會發展出開源小型蔬果(蕃茄、甜椒、小黃瓜、咖啡豆等等)的採收機器人，以改善農民缺工問題及提升農業自動化技術。

採收機器人(HarvestBot)主要包含幾大部份，自走車(導航、定位)、機器視覺(果實空間XYZ位置、果實成熟度)、機器手臂(含爪子摘取、置放)及系統整合控制等部份。上一篇「採收機器人_視覺篇」已初步整理了一些影片，這次再接再厲把關於採收時夾爪的設計整理如下，希望能提供大家一些參考，相關說明僅個人透過影片觀察而得，若有說明不對的地方再請大家不吝指教。

採收機器人_視覺篇

最近在FarmBot Taiwan User Group (FBTUG)總召哈爸(許武龍)的號召下，各路高手紛紛跳坑，希望有機會發展出開源小型蔬果(蕃茄、甜椒、小黃瓜等)的採收機器人，以改善農民缺工問題及提升農業自動化技術。

採收機器人(HarvestBot)主要包含幾大部份，自走車(導航、定位)、機器視覺(果實空間XYZ位置、果實成熟度)、機器手臂(摘取、置放)等。在陳志弘大哥努力收集資訊下得到許多精彩的影片，希望藉此增加大家的認知，方便討論後續的設計方向。為了讓大家能更清楚相關技術，接著就先為大家介紹關於視覺部份，相關說明僅透過影片觀察而得，若有說明不對的地方再請大家不吝指教。

一、歐盟甜椒採收器人計畫 (Sweet Pepper Harvesting Robot) (2018)

這裡採用單攝影機方式，安裝在機器手臂爪子上，配合四盞高速閃光燈輪流快閃及機器手臂左右移動，來確認甜椒位置及是否完全成熟，主要是觀察色彩是否已大部份都已變黃色來決定。拍攝時會由下往上，左右搖擺鏡頭(夾爪)來檢查所有甜椒狀況。

(影片來源：Youtube)

計畫官網：http://www.sweeper-robot.eu/