2018年8月28日 星期二

採收機器人_視覺篇

最近在FarmBot Taiwan User Group (FBTUG)總召哈爸(許武龍)的號召下,各路高手紛紛跳坑,希望有機會發展出開源小型蔬果(蕃茄、甜椒、小黃瓜等)的採收機器人,以改善農民缺工問題及提升農業自動化技術。

採收機器人(HarvestBot)主要包含幾大部份,自走車(導航、定位)、機器視覺(果實空間XYZ位置、果實成熟度)、機器手臂(摘取、置放)等。在陳志弘大哥努力收集資訊下得到許多精彩的影片,希望藉此增加大家的認知,方便討論後續的設計方向。為了讓大家能更清楚相關技術,接著就先為大家介紹關於視覺部份,相關說明僅透過影片觀察而得,若有說明不對的地方再請大家不吝指教。

一、歐盟甜椒採收器人計畫 (Sweet Pepper Harvesting Robot) (2018)

這裡採用單攝影機方式,安裝在機器手臂爪子上,配合四盞高速閃光燈輪流快閃及機器手臂左右移動,來確認甜椒位置及是否完全成熟,主要是觀察色彩是否已大部份都已變黃色來決定。拍攝時會由下往上,左右搖擺鏡頭(夾爪)來檢查所有甜椒狀況。


(影片來源:Youtube)


 

二、Panasonic小蕃茄採收機器人 (2017)

這裡採用可前後移動單攝影機,上方配有一組閃光燈,據官方說明可偵測色彩、形狀和位置。從影片來看只向前取像一次,退回待命位置後即可以採收同一串上不同位置的小蕃茄,猜想有可能是前後各拍一張影像再計算蕃茄的深度。


(影片來源:Youtube) 

 (影片來源:Youtube)

三、東京機器人展iREX_採草莓機器人 (2011)

這台機器人為XYZ三軸直交型,只有搭配一台攝影機在夾爪下方,感覺上只針對草莓位置(平面)定位,但深度部份好像並不是以攝影機定位,而是走固定行程。


(影片來源:Youtube)


四、Octinion採草莓機器人 (2017)

這種是用於採高架式草莓,自走車會逐步向前,下方可看到三組鏡頭,方向並非像一般雙目立體視覺採平行置放式,而是採匯聚式,方便獲取多視角資訊,不僅可計算出草莓位置及高度,更可判定是否完全成熟,不會一面紅一面不紅。


(影片來源:Youtube) 


五、Circumstance實驗室採大蕃茄機器人 (2016)

這組機器人採用標準型固定式雙目立體視覺方式做為大蕃茄位置及深度判定。攝影機上方配置一盞高亮度的光源,以利取得較清楚的影像,不易產生影子。另外側面搭配一組普通彩色攝影機,以利確認採收到的蕃茄是否正確落入籃子中。



(影片來源:Youtube) 


除了上述介紹的單目(移動)、雙目及多目立體攝影方式可獲得物件位置及深(高)度外,目前有許多市售深度感測器(如Microsoft Kinect, Intel RealSense, Asus Xtion...)也提供非常便捷的彩色影像(RGB)加上深度影像(D)同時輸出,只需USB介面接到電腦上即可,由於自帶專用晶片(ASIC)計算深度資訊,所以只需耗費CPU很少計算資源,應該是未來智慧農業機器人必備之週邊。

歡迎繼續閱讀「採收機器人_夾爪篇」

※若看不清楚圖片內容,可點擊圖片放大至原始解析度觀看。

本文歡迎轉發(貼)及非商業用途使用,若有引用部份文章或圖片時煩請註明出處、作者:「歐尼克斯實境互動工作室 作者:Jack Hsu」及本文網址,謝謝!

沒有留言:

張貼留言

【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考! Edge AI Taiwan 邊緣智能交流區 全像顯示與互動交流區 台科大(NTUST) 人工智慧與邊緣運算實務 開南大學...