空拍機一次裝七台Intel RealSense D435根本是炫富吧？

Intel最近和空拍機知名廠商Envrdrone一起合作了一個專案，用了6+1台（六台環景360度加一台向下）Intel RealSense D435裝在空拍機上，用於載送AED到指定位置作為急救心臟病患者使用。AED(Automated External Defibrillator)，又稱為「自動體外心臟電擊去顫器」，是一台能夠自動偵測傷病患心律脈搏、並施以電擊使心臟恢復正常運作的儀器。

Everdrone搭載七台Intel RealSense D435的空拍機 [圖片來源]（點擊圖放大）

快來感受一下Intel RealSense D435每秒取像300張的高速攝影體驗吧

之前使用Intel RealSense D435時就對它的全局式快門(Global Shutter)表現就感覺不錯，在848x480解析度下可以達到每秒90張取像速度(Frame per Second, FPS)，在鏡頭移動時取像不易模糊，較一般網路攝影機(Webcam)只有30FPS加上滾動式快門(Rolling Sutter)明顯好上許多。

最近看到Intel發出了更新文，只要把韌體更新一下就能讓D435原本的90FPS取像速度瞬間提升到300FPS，讓我瞬間HIGH了起來，不過冷靜看完全文[1]介紹後，雖然感覺有幫助，還是有點小失望，因為它用了在高級工業影像感測器中常會用到的局部掃描(Partial Scan)概念，而非真的全面提升取像速度。

什麼是局部掃描呢？這是一種為了不增加資料傳送頻寬卻可提高取像速度的作法。舉例來說，如果原來每秒可以傳送480條線影像資料90次，但現在只取其中100條線的資料傳送出來，其它就不要了，那理論上傳送速度就可提升4.8倍，變成每秒傳送100線資料432次。不過實際上要扣掉一些傳送封包及資料傳輸同步問題，所以會速度會再減少一些。所以此次D435的高速攝影模式就是運用這種概念，把848x480 90FPS變成840x100 300FPS，如Fig. 1所示。

Fig. Intel RealSense D435深度圖取像結果，左圖為848x480正常取像模式，右圖為840x100高速取像模式。(圖片來源：[1])（點擊圖放大）

從CES 2020看實境互動發展

CES 2020 消費性電子展這兩天(1/7~1/10)在美國拉斯維加斯熱鬧展開，台灣除了經常性參展的廠商外，科技部還率領了82家科技新創公司一起共襄盛舉，期望台灣的新創能量能被更多人看到，此次果然不負眾望，有十三個團隊獲得創新大獎，更多新聞可以參考「【CES 2020】科技部 TTA 82 家科技新創進軍 CES，勇奪 13 項新創大獎」。

CES 2020 實境互動相關技術(OmniXRI整理製作) （點擊圖片放大）

此次CES各廠商無不絞盡腦汁把最新技術端上檯面，希望能吸引到更多目光。個人雖然沒能親臨現場（因為沒有乾爹幫忙），但也很認真的把各家新聞及YOUTUBE上的採訪影片看了個遍。接下來就把個人最關注的「實境互動」領域相關的資訊整理一下，讓有興趣的朋友也能順便了解一下相關技術的最新發展。

【課程簡報】20191226_RealSense Meetup#3_智能機器手臂之3D感測視覺系統

很高興今天（2019/12/26)受INTEL及MAKERPRO邀約和大家分享「智能機器手臂之3D感測視覺系統」。此次主要分享內容是介紹如何整合RealSense和OpenVINO藉此來完成智能小蕃茄採收機器人系統。雖然這個系統非常陽春且不成熟，不過麻雀雖小但五臟俱全，從資料集建立、訓練、推論及物件深度分析一樣不少，還提供所有資料集及源碼供大家研究，希望有興趣的朋友未來想開發類似系統時能少踩一些坑。

本次簡報主要內容如下：（點擊圖片放大）

• 智能機器手臂之3D感測視覺系統
• 固定式RealSense + 機器手臂
• 移動式RealSense + 機器手臂
• RealSense + XYZ直交型機器手臂
• FBTUG 採果機器人專案
• 採收機器人─立體視覺技術
• 智能機器手臂視覺系統開發流程
• 立體視覺原理
• D415 & D435 規格比較
• 小蕃茄物件及深度偵測實驗平台
• YOLOv3小蕃茄偵測流程
• 小蕃茄取像
• 影像標註
• 小蕃茄物件偵測實驗結果
• 應用注意事項
• Github開源專案
• RealSense LiDARD(光達) L515
• 參考文獻

【OpenVINO™+RealSense™教學】土炮智能機器手臂之視覺系統

現代化工業機器手臂早已成為自動化工廠中不可或缺的最佳幫手，面對大量重複性及需要精密定位的工作，沒了它幾乎寸步難行。傳統的機器手臂需要有專業的工程師預先將工作(運動)路徑輸入(教導)到系統中，手臂才能依序執行指定的動作，但是這樣的作法只適用固定形狀及擺放位置的物件進行取放或加工。近年來隨著電腦視覺及3D(深度)感測技術的進步及高性能平價的計算平台陸續上市，幫機器手臂加上一雙明亮動人的眼睛，使其可以像人一般看到物件的形狀、擺放方式及位置，自動計算完手臂移動路徑及每個軸關節(馬達)運動距離、角度及速度後，便可伸手去拿取及放置到指定位置，已不再是遙不可及的夢想了。

雖然具有視覺能力的智能工業級的機器手臂已從數百萬降至數十萬元，算是相當便宜了，但這仍不是一般人玩的起的，那創客們是不是有機會自己土炮一台呢？這當然是有可能的，現在隨便花個數千元就能輕鬆在購物網站上買到相當不錯的迷你型多軸機器手臂(類手臂型、XYZ直交型、Delta三角錐型等)，還想更省錢的創客們還可買一些小型步進馬達或大扭矩數位舵機、多軸運動控制板加上3D印表機或雷射切割機製作機構就有機會自己做一台機器手臂。那智能視覺部份怎麼辦呢？傳統的雙眼立體視覺(深度)計算及校正原理那麼難懂，沒有讀一堆數學和算法可是搞不定的，那該怎麼辦呢？不用擔心，現在的3D(深度)感測器(如Intel RealSense)已相當平價，約3000~6000元就能取得，不用學那些數學，就像使用網路攝影機一樣簡單，透過USB就能獲得彩色加深度(RGB-D)影像。有了硬體後最後加上開源深度學習(如Intel OpenVINO)、電腦視覺(如OpenCV)及一些加速運算工具(如Intel 神經運算棒)幫忙辨識物件及計算平面(XY)位置後，加上3D感測器提供的深度(Z)資訊，如此便可驅動機器手臂移動到指定空間(XYZ)座標抓取指定物件了。接下來就開始帶著大家了解如何建構「土炮智能機器手臂之視覺系統」。

【視覺型智能機器手臂】

一般常見的智能機器手臂視覺系統有很多做法，舉例來說可將深度攝影機裝在夾爪上方(如Fig. 1a所示)，會隨著機器手臂移動，使用時手臂會先移動到某個位置讓深度攝影機計算待抓取的物件位置，再令手臂移動及抓取物件，這樣的好處是可以取得較理想的視角及較大的物件成像且不易有視線遮擋問題，但缺點是手眼校正系統較為複雜，取放精度會略差。另外一種作法則是反過來，外加一固定架安置深度攝影機(如Fig. 1b所示)，機器手臂取物前要先移開讓深度攝影機可正確計算物件位置，接著再移動取物，若搭配高級結構光投影設備及高解析度攝影機來計算深度則其解析度可達公釐(mm)甚到更小等級。這裡為了讓大家把重點放在如何取得待抓取物的空間座標，所以暫時忽略機器手臂如何製作及控制的說明，僅以示意圖(如Fig. 1c所示)說明機構設計方式。整體概念上採XYZ直交型三軸機器手臂最為簡單易懂且容易實現。Z軸最前方裝上夾爪，而深度攝影機固定於Y軸上方不動。左右移動為X軸，上下移動為Y軸，方便滿足攝影機取像座標系統。而前後移動為Z軸，以符合深度攝影機深度影像輸出結果，越靠近攝影機Z值越小，反之越遠Z值越大。

Fig. 1機器手臂之視覺系統示意圖，(a)專業型機器手配移動式深度攝影機，(b)專業型機器手臂配上置型固定式深度攝影機，(c)土炮型XYZ直交型機器手臂配後置固定式深度攝影機系統概念圖。 (OmniXRI整理製作) (點擊圖放大)

【3D感測器】如何擷取Intel RealSense™串流影像到OpenCV

上次已透過「【3D感測器】Intel RealSense™ SDK無痛安裝指引」[1] 一文幫大家說明如何安裝，這次就幫大家說明如何從RealSense SDK擷取彩色、深度及紅外線串流影像並導入OpenCV中，方便後續開發自己的人機介面及相關計算功能。

Fig.1 Intel RealSense串流影像導入OpenCV Mat示意圖 (OmniXRI整理繪製) (點擊圖片放大)

我想大部份的人想開發一個3D的人機介面可以自由平移、縮放及旋轉視角是有點(大誤！是非常)困難的，所以RealSense SDK提供使用者輕易切換2D(平面)及3D(立體、深度)顯示及操作的介面。這項功能是基於通用3D繪圖引擎OpenGL達成的，雖然很方便操作，但於習慣自己用Visual Studio, QT及其它GUI工具開發人機介面程式的人反而有點不太方便，尤其是重度OpenCV使用者無法透過常用的VideoCapture函式直接取得RealSense各攝影機的串流影像，更是造成一些小困擾。

【3D感測器】Intel RealSense™ SDK無痛安裝指引

說到3D感測器Intel RealSense可是歷史優久，Intel早在2014年就已推出相關技術，應用於人機互動、3D掃描重建及3D人臉辨識等各種用途。2018年1月更是大改版推出D400系列(如Fig. 1所示)，並將軟體開發工具包(SDK)更新到2.0，使得能應用到更多不同作業系統(Win7, Win10, Ubuntu, Android, Mac)及硬體平台(PC, MAC, nVidia TX2, Raspberry Pi)上。為了方便大家快速入門，以下就以Win10環境安裝D435為例，帶著大家一步一步完成SDK安裝及3D感測器的韌體更新。

Fig. 1 Intel RealSense D400系列3D感測器 [1] (點擊圖片放大)

【課程簡報分享】Intel RealSense Dev Meetup#1_3D感測可行技術與開發工具剖析

很高興今天(2019/9/19)受Intel和MakerPro邀約參加「Intel RealSense Dev Meetup#1 3D感測新視界─技術前瞻與實務」並和大家分享「3D感測可行技術與開發工具剖析」。此次簡報主要就下列內容進行分享。

深度(3D)感測器發展史、3D感測技術簡介（被動式、主動式、類3D感測、Intel RealSense家族）、3D資料型態（深度圖、 點雲）、3D感測開發工具（OpenCV / PCL、RealSense SDK、RealSense自帶範例）、3D感測應用領域、3D感測應用實例（智慧農業─採收機器人）

此次分享時間較短，所以如有不清楚或想更進一步了解的朋友，歡迎在下方留言互動。（點擊圖片放大）

Computex 2019 3D感測即將成為下一世代實境互動新利器

這幾年隨著微軟XBOX KINECT、華碩Xction、HTC EVO 3D手機、iPhone X 3D人臉解鎖等產品上市逐漸讓大家了解到3D(深度)感測器已從傳統工業用途轉成民生用途，不再是動輒上百萬、遙不可及的技術。

目前3D(深度)感測技術大致分為光飛行時間(雷射單點掃描)、雙(多)目立體視覺及結構光(光斑)編碼立體視覺(更進一步說明可參考[1])。而主要應用領域除場景、物件3D建模、尺寸量測、生物辨識外，骨架、手勢時序辨識也已逐漸變成人機(實境)互動的主要技術。

由於3D(深度)感測技術各有優缺，加上開發人員專業背不同，所以各廠家著重的技術可能從光學、硬體晶片(算力)、智能軟體(算法)到單純採用特定感測器工具(SDK)開發應用程式皆有。此次Computex有不少廠商提出各種解決方案，應用於智慧零售、智慧製造、智慧城市及人機(實境)互動等場域。以下就簡單介紹一下各廠商此次展出的內容。

3D(深度感測器 (a)(b)鈺立微電子 ,(c)LUCID, (d)智能品光機電, (e)伍碩, (f)立普思, (g)盛泰光學, (h)中央光電 (點擊圖片放大)

無人化自動農場的時代即將到來了嗎?

台灣缺電問題一直是大家頭疼的問題，所以只好大家都「用愛發電」。現實中農業缺工問題更是日趨嚴重，國外有一家新創公司「Iron Ox」竟效仿台灣也來「用愛種菜」(GROWN BY ROBOTS WITH LOVE)，推廣無人自動化種植及採收工廠，雖然還不到完全不用人力，但已明顯節省了許多人力。

IRON OX 搬運機器人ANGUS (點擊圖放大)

有了這技術從此簡報時不會再有人影擋住畫面了

相信很多人都有用投影機簡報的經驗，有時常會不小心走到投影機前，此時除了眼睛被投影機的強光照的很不舒服外，身體還會產生陰影擋住投影的內容，讓觀眾看不到投影的內容。為了解決這樣的問題，有些人可能會選擇短焦投影機，讓人不會擋到投影內容，但遇到大型投影內容時可能還是不容易處理。

最近韓國科技學院(KIAST)提出了一項可即時處理掉因人擋住投影產生的陰影問題。概念上很簡單，就是用二台以上投影機進行拼接投影，同時偵測人員距離投影機位置，並計算產生陰影的大小，然後去除會產生影子區域的投影內容，如此便不會產生影子。

Fig. 1 系統架構圖 (點擊後放大)

採收機器人_視覺篇

最近在FarmBot Taiwan User Group (FBTUG)總召哈爸(許武龍)的號召下，各路高手紛紛跳坑，希望有機會發展出開源小型蔬果(蕃茄、甜椒、小黃瓜等)的採收機器人，以改善農民缺工問題及提升農業自動化技術。

採收機器人(HarvestBot)主要包含幾大部份，自走車(導航、定位)、機器視覺(果實空間XYZ位置、果實成熟度)、機器手臂(摘取、置放)等。在陳志弘大哥努力收集資訊下得到許多精彩的影片，希望藉此增加大家的認知，方便討論後續的設計方向。為了讓大家能更清楚相關技術，接著就先為大家介紹關於視覺部份，相關說明僅透過影片觀察而得，若有說明不對的地方再請大家不吝指教。

一、歐盟甜椒採收器人計畫 (Sweet Pepper Harvesting Robot) (2018)

這裡採用單攝影機方式，安裝在機器手臂爪子上，配合四盞高速閃光燈輪流快閃及機器手臂左右移動，來確認甜椒位置及是否完全成熟，主要是觀察色彩是否已大部份都已變黃色來決定。拍攝時會由下往上，左右搖擺鏡頭(夾爪)來檢查所有甜椒狀況。

(影片來源：Youtube)

計畫官網：http://www.sweeper-robot.eu/