超黑科技_光場攝影及顯示技術發展趨勢_Part 4_FOVI3D全像光場顯示器及應用情境

FOVI3D全像光場顯示器

前面花了十來頁近九千字的篇幅來介紹各種光場取像及顯示基本知識，就是為了能讓大家更了解接下來要介紹的FOVI3D所應用到的技術，並且體會為何我會稱它為超黑科技，甚至會稱它為真的「全像(光場)顯示器」(Holographic Light Filed Display)(大陸用語稱為全息顯示器)，而不是隨便拿片半透鏡玻璃板反射一個影像浮在半空中就說這是全像(全息)顯示器。

首先介紹一下FOVI3D這家公司，它的母公司Zebra Imaging是製作雷射全像照片的知名廠商，平常我們信用或金融卡上常見的雷射防偽標籤就屬於此類。Zebra Imaging主要提供實景或3D建模場景空拍照的雷射全像照片，觀賞其成品時彷彿搭著直昇機盤旋在天空，不管從那個視角看都可看到對應影像，但這樣的效果只限於靜態照片。後來美國軍方大力支持這項技術，希望作戰時能即時看到動態全像(Dynamic Holographic)效果，方便指揮官快速下達決策。於是Zebra Imaging就於2006年開始這項計畫，耗時五年經過四個階段的改良，產品從最初有如一間房間那麼大，終於縮到一個桌面大小，方便作戰時可隨意移動，如Fig. 16a所示。而這項系統主要包含了一套遠端主機，負責接受外部作戰資訊(如地形、戰車、船艦、士兵等)，接著將資訊傳到顯示器端負責計算全像像素的模組中，經過多個模組合力計算後，再將全像像素(Hogel)影像透過空間光線調變器(Spatial light modulator, SLM)陣列及微透鏡將包含數十萬個光場顯示出來，如此即可讓圍觀在顯示器旁的人不必配戴任何特殊立體眼鏡，即可看到宛如上帝視角般的超真實影像，如Fig. 16b所示。2015年為擴大研發能量，正式收購奧斯汀研發公司(Austin R&D firm, FoVI 3D)，並繼續保有FOVI3D這項品牌。

Fig. 16 Zebra Imaging / FOVI3D產品，(a)實機使用示意圖 [28]，(b)系統架構圖 [28]

為了能呈現如同雷射全像照片般的效果，要整合的光場數量可不是10~100組就可接受的，至少要數千到數十萬個才能達到如臨現場的感受，可是這麼多的光場和這麼大的資料量要如何處理，就變成一個極為艱難的問題。2017年FOVI3D分別在SMFoLD (Streaming Model for Field-of-Light Displays)研討會及”Information Display”雜誌中發表了一篇簡報[28]及論文[29]，完整詳細的說明了如何建構此一系統硬體環境、光學系統及如何處理如此龐大的渲染(Render)資料。接下來我們就藉由這兩份資訊及FOVI3D官網[1]提供的相關資訊為大家仔細說明。

FOVI3D光場顯示器光學結構

在前面(微)透鏡陣列光場顯示器章節中已有介紹，可直接利用平面顯示器自身的像素或者以多投影的方式作為光場資料來源，而透鏡陣列的尺寸越小，容納的光場數量越多，則視覺效果上就會越逼近觀看真實世界物體，但上述二種方式都無法易容納超過100組以上光場，所以無法提供很好的視覺保真度(Fidelity)。FOVI3D光場顯示器希望能達到如雷射全像照片的效果，所以每個透鏡理想上需要容納512x512組光線(像素)，一般平面顯示器根本無法作到，因此須使用超高解析度(2~3um/pixel)的光空間調變器(Light Spatial Modulator, SLM)當成光場顯示內容來源，且每個透鏡的尺寸則限制在1mm下，才不致使影像解析度太過粗糙。一般55吋4K超高畫質(UHD)顯示器的像素尺寸大約是0.3mm，相較之下解析度略微粗糙了些，但在一定距離觀賞時幾乎無法用肉眼分辨。從Fig. 17a中可看出，整個光場顯示器是由很多顯示子區塊所組成，而每個子區塊又分別是由多視角影像計算系統(Multi-View Computation System)、光子產生器(Photonics)(SLM陣列)、中繼光學元件(Relay Optics)及全像像素光學元件(Hogel Optics)(微透鏡陣列)所組成。為能更清楚看出全像像素結構，Fig. 17b圖分別秀出依序放大後之結構。若把該顯示器當成一台一般平面顯示器來看，一個500x500全像像素的顯示器，假設每個全像像素具有512x512組光場，則相當於一台具有655億(500x500x512x512)畫像素的顯示器，換句話說等於是3.1萬台FHD高畫質(1920x1080)電視畫像素的總合，由此可知這項技術驚人之處了。

Fig. 17 FOVI3D光場顯示器光學結構，(a)顯示區塊組成堆疊示意圖 [1]，(b)全像像素結構圖 [1]

 

FOVI3D全像像素渲染方式

在論文[29]中提出了兩種全像像素的渲染(Render)方式，雙視錐法(double-frustum)(Fig. 18a)及傾斜視角法(Oblique view)(Fig. 18b)，並比較兩種方式的優缺點，更進一步比較當渲染包圍盒(Bounding Volumes)(批次三角面數)大小不同時其計算速度的差異，最後再推估不同光場數時所需產出的資訊量。

首先說明雙視錐法，如Fig. 18a左下圖示，你可以想像有兩台相機背對背置於全像像素的位置(x,y)且放在整體空間深度的一半(d=0.5)，其相機視角和全像像素的透鏡視角相同，同時拍照後再加以融合，即可得到所需全像像素。如Fig. 18c及Fig. 18d所示，分別為不同三維模型在10x5及50x25個全像像素時渲染結果。

再來介紹傾斜視角法，如Fig. 18b所示，是一個簡單的例子，假設相機只有九個像素，垂直及水平方向依序傾斜四個角度(-45,-15,+15,+45度)，如此即可取得16組光場(影像)資訊，如Fig. 18b 左圖所示。接著把16組光場影像的左上角點集合成一個全像像素，其它依此類推，如此即可組成一張具有3x3的全像像素，而每個全像像素具有4x4組光場資訊。雖然傾斜視角渲染法在GPU上執行效率略勝一籌，但如Fig. 18b右圖左下方藍色圓形所示，這才是真正全像像素的資料擺放位置，因此還需要多作一次圖像轉換，把方的變成圓的，如此反而浪費了過多的計算時間。若再加上多組光場渲染的結果大過顯示卡的記憶儲存空間須要分散儲存時，則來回搬動資料所浪費的時間，可能更得不償失，因此實務上雙視錐法會優於傾斜視角法。

Fig. 18 全像像素渲染法，(a)雙視錐法 [29]， (b)傾斜視角法 [28]，(c)10x5全像像素渲染結果圖 [30]，(d)50x25全像像素渲染結果圖 [28]

接下來論文[29]對這兩種方式的優缺、效率及資料產出量進行實際比較。首先假設要產生的全像像素數量為500x500個，而每個全像像素共有256x256個光場(像素)。在渲染技術中，為加速計算，經常會使用一種名為包圍盒(Bounding Volumes)的方法，它只考慮盒中範圍內三角面的計算，而其它的不予考慮，如此即可減少許多無謂的計算。在論文中以不同數量的包圍盒(批次三角面數)來進行渲染速度的比較。當包圍盒數量較大(批次三角面數較小)時，雙視錐法可能會優於傾斜視角法，但隨著包圍盒數量減小(批次三角面數加大)，雙視錐法運算的時間就明顯隨之成長。但反觀傾斜視角法，由於不管包圍盒多大，每次都要全部運算一次，所以包圍盒的尺寸變化對於渲染時間影響不大(甚至沒有影響)，詳如Fig. 19a。

再來為了解光場數量(方向解析度Directional Resolution)會產生的資料量，論文中分別列出500x500全像像素時不同光場數量的總資料量，如Fig. 19b。若要處理動態影像則須再乘上25~30倍。以512x512光場數量為例，一張靜態全像影像就要將近200GByte，如此龐大的資料量實在難以在一台電腦上或一個高速網路上進行，因此需要許多運算單元，以平行演算方式同步進行，才能順利得以解決。

Fig. 19 不同渲染法之比較，(a)包圍盒數量(批次三角面數)與計算速度 [28]，(b)光場數量與產出資料數量 [28]

FOVI3D多視角影像處理單元

傳統的3D繪圖應用軟體通常使用OPENGL語言描述3D物件、光源及材質，再以適當的渲染引擎(Render Engine)配合繪圖卡上的繪圖處理單元(GPU)計算，即可在平面顯示器上看到指定的視角影像，如Fig. 20a所示。而FOVI3D為了加速渲染速度、減少尺寸、重量、消耗功率及整體價格，於是自行開發出多視角影像處理單元(Multi-View Process Unit, MvPU)。這項設計最主要可取代原有的電腦叢集(Cluster)，同時裝置數十到數百個單位，可分散大量運算及資料流量並可同時直接驅動顯示元件(SLM)，大大降低主控電腦端的運算資訊。另外FOVI3D還開發出了一種名為ObjGL的描述語法，來簡化渲染的流水線及加快渲染速度。若用於一般平面顯示器時只需一組即可，若使用兩組則可輕鬆駕御AR/VR等雙目視覺應用，以FOVI3D迷你版的DK2則需要用到四組MvPU，其它尺寸的光場顯示器則依所需使用的全像像素數量決定。

Fig. 20 顯示器環境，(a)現有顯示器工作流程 [29]，(b)FOVI3D異質顯示器工作流程 [29]

光場顯示器應用情境

假設不久的將來，像FOVI3D這種高保真度的光場顯示器的價格能降到不到三十萬元，就像現在買一台國民小車或者是一台8K 超高清(UHD)電視時，相信很多地方就會開始大量使用。不論是醫師開刀、軍事沙盤推演、戰略模擬、海底探勘、礦藏分析、考古挖掘、氣候預警、城市規畫、國土保育、求災指揮、運動賽事、博奕競技、大型桌遊、多人會議等各種需要即時了解現場狀況或得知立體空間關連的應用，應該都會迫不及待的想導入這項裝置吧！就讓我們一起期待這天很快到來。

Fig. 21 光場顯示器使用情境，(a)醫療診斷，(b)軍事沙盤，(c)建築防災，(d)運動娛樂 [1]

參考文獻：

[01] FOVI3D  http://www.fovi3d.com/
[28] FOVI3D SMFoLD 2017  http://www.smfold.org/wp-content/uploads/2016/11/FoVI3D-for-SMFoLD.pdf
[29] Light-field displays and extreme multiview rendering  http://informationdisplay.org/Portals/InformationDisplay/IssuePDF/06_2017.pdf
[30] 10x5 Hogel Light Field Display  https://www.youtube.com/watch?v=G_wBEgyd80E
[a] 歐尼克斯實境互動工作室整理繪製


Part 1_何謂光場_如何取得及還原光場?
Part 2_光場攝影機的發展歷程 
Part 3_光場顯示器的原理
Part 4_FOVI3D全像光場顯示器及應用情境 
超黑科技_光場攝影及顯示技術發展趨勢