快來感受一下Intel RealSense D435每秒取像300張的高速攝影體驗吧

之前使用Intel RealSense D435時就對它的全局式快門(Global Shutter)表現就感覺不錯，在848x480解析度下可以達到每秒90張取像速度(Frame per Second, FPS)，在鏡頭移動時取像不易模糊，較一般網路攝影機(Webcam)只有30FPS加上滾動式快門(Rolling Sutter)明顯好上許多。

最近看到Intel發出了更新文，只要把韌體更新一下就能讓D435原本的90FPS取像速度瞬間提升到300FPS，讓我瞬間HIGH了起來，不過冷靜看完全文[1]介紹後，雖然感覺有幫助，還是有點小失望，因為它用了在高級工業影像感測器中常會用到的局部掃描(Partial Scan)概念，而非真的全面提升取像速度。

什麼是局部掃描呢？這是一種為了不增加資料傳送頻寬卻可提高取像速度的作法。舉例來說，如果原來每秒可以傳送480條線影像資料90次，但現在只取其中100條線的資料傳送出來，其它就不要了，那理論上傳送速度就可提升4.8倍，變成每秒傳送100線資料432次。不過實際上要扣掉一些傳送封包及資料傳輸同步問題，所以會速度會再減少一些。所以此次D435的高速攝影模式就是運用這種概念，把848x480 90FPS變成840x100 300FPS，如Fig. 1所示。

Fig. Intel RealSense D435深度圖取像結果，左圖為848x480正常取像模式，右圖為840x100高速取像模式。(圖片來源：[1])（點擊圖放大）

以下就簡單摘要一下這篇文章[1]提到的重點分享給大家，有興趣了解更多的朋友可自行閱讀完整全文。

深度影像的高速取像可以幫大家處理一些運動速度較快物件（如球類運動）的分析（如位移、軌跡）。同時亦可利用連續多張深度影像來平均深度值雜訊。

要使用這項高速拍攝模式需使用Intel官方提供的設備韌體更新工具(Device Firmware Update (DFU) tool)將韌體更新到5.12.4.0版本。而為使得USB 3.0通訊頻寬獲得穩定輸出，建議不要在其它USB埠上插入其它裝置並且不要同時啟動RGB彩色攝影機資料流(stream)，因為這項加速取像功能僅針對單色（通道）影像（如紅外線及深度影像）有效。

當使用高速取像模式來測量快速橫向移動物體時，要注意一些使用原則，被偵測物體大小和攝影機距離會有一定限制。當想要越精準偵測物體移動速度（位移）就必須令物體越靠近攝影機，才不會在成像上根本沒移動，其關係如Fig. 2所示。

Fig.2 運動物體速度、距離、大小在不同解析度模式時圖像中幀到幀的移動像素對照表。（圖片來源：[1]）（擊點圖放大）

對於很小的物件偵測，有一定極限，當在一米位置分別偵測10mm, 15mm, 20mm大小物件時，有紋理的物件沒有打輔助光的表現會比白色物件有打輔助光的效果要來的好一些，其結果如Fig. 3所示。

Fig. 3 在不同條件下測量不同尺寸目標物結果和比較，上左：距離一米測量小物件，上中：紅外線影像結果，上右：深度圖結果，下：偵測小物件比較結果。（圖片來源：[1]）（點擊圖放大）

為了提高深度圖的可靠度，利用高速取像再平均是可有效改善。對於有紋理的物件在不發射紅外線輔助斑點光下，其深度偵測的穩定度會比素色物件有打輔助光來的好，但這樣的結果是在環境光源有一定亮度以上來比較的。一般用最簡單的移動平均法就能得到不錯的結果。如Fig. 4所示有平均過的深度影像平顯較好。

Fig. 4 左：原始深度圖，中：經過平均的深度圖，右：深度圖差值比較圖。（圖片來源：[1]）（點擊圖放大）

另外一般取像還會有延時問題，是指取得影像到真正收到影像的時間差，理論上和取像幀率（FPS）無關，和處理通訊的IC和作業系統有關。話雖如此，但通常幀率高時取像延時也會短一些，其延時測試結果如Fig. 5所示。

Fig. 5 幀率和延時關係圖。（圖片來源：[1]）（點擊圖放大）

小結

此次在不多花錢情況下只要更新韌體就可以讓D435的表現提升，雖然取像解析度變小許多，但可解決物件高速運動深度偵測問題，也能利用平均深度方式改善信號雜訊問題。希望不久的未來能有CP值更高的產品問世來造福我們這些玩家。

ps. 這不是業配文，只是心得分享。

參考文獻：

[1] Intel RealSense官網文件 High-speed capture mode of Intel® RealSense™ Depth Camera D435 Rev 1.2
https://dev.intelrealsense.com/docs/high-speed-capture-mode-of-intel-realsense-depth-camera-d435

 延伸閱讀：

【3D感測器】Intel RealSense™ SDK無痛安裝指引
https://omnixri.blogspot.com/2019/10/3dintel-realsense-sdk.html

【3D感測器】如何擷取Intel RealSense™串流影像到OpenCV
https://omnixri.blogspot.com/2019/11/3dintel-realsenseopencv.html

【OpenVINO™+RealSense™教學】土炮智能機器手臂之視覺系統
https://omnixri.blogspot.com/2019/12/openvinorealsense.html

【課程簡報】20191226_RealSense Meetup#3_智能機器手臂之3D感測視覺系統
https://omnixri.blogspot.com/2019/12/20191226realsense-meetup33d.html