超黑科技_光場攝影及顯示技術發展趨勢_Part 1_何謂光場_如何取得及還原光場?

何謂光場？

「光場」(Light Field)一個聽起來很神奇名詞，它到底是啥？簡單來說，當你拿起手上的相機想要拍下真實世界的一顆蘋果時，當按下快門的瞬間，你就已經取得一幅光場資訊(各個角度的光射線累積而成的照片)，換句話說，你有兩個眼睛就等於瞬間可接收到兩個光場資訊。再放大一點來看，如果有顆蘋果週圍有一百個人從各個角度同時都拍下一張照片時，你會發覺每個人拍到的蘋果都長的不一樣，可能包括位置、光影、色彩、紋理、背景、遮蔽等都有些許不同。或許你會說一百張已經很多，應該足夠表達一顆蘋果的全貌，但很不幸的是真實世界光線來自四面八方，等於說真實世界是由無限多個光場所組合出來的，一百張根本微不足道，難以完全表達真實世界那顆蘋果的樣貌。

我相信你馬上會問，那到底要多少個光場才夠呢？首先我們要先了解眼睛如何看這個世界，每個人都有兩個眼睛(不含二郎神楊戩和獨眼海盗船長)，每個眼睛都有六條肌肉在控制轉動方向及水晶體的厚薄(焦距)控制，所以每個瞬間我們都會看到不同的影像。如Fig. 2a所示，假設場景中有三個蘋果分別在遠、中及近處，此時左眼及右眼會看到不同影像(二組光場)，經過大腦計算就能得知物體深度，這就是3D立體視覺的基本原理。若再令視線分別交會(聚焦)在遠、中及近處，如Fig. 2b所示，則視線聚匯點的蘋果會清晰呈現而其它距離的蘋果就變得模糊不清。換句話說，眼睛等於接收到三組光場資訊。再更進一步看來，當眼睛一直不停轉動及聚焦在不同平面，或者觀賞者的位置一直在移動，大家可以想像一下需要多少組光場資訊才以足以表達這個真實場景。

科學家們為了方便用數學來表達光場(Light Field)的概念，通常會以下列公式表示。L = P (Θ, φ, λ, Vx, Vy, Vz, t)，這裡的P指的就是Plenoptic，又稱為全光函數，共有七維。如Fig. 2c所示，(Vx, Vy, Vz)指的眼睛和蘋果在空間中距離(向量)，而(Θ, φ)指的是某一條光的射線(Ray)以球座標方式表示的方向及角度，而λ指的是光的波長(這裡隱含光的能量，也就是亮度)，通俗說法就是顏色，最後t是時間，用來說明物體在不同時間運動導致我們看到不同的結果。這裡要補充說明的是環境光會來自無限多個方向，所產生的(反)射線也會有無限多條，但在某個瞬間進到眼睛的射線可能只有極少數量，且看到的色彩也會經由這些射線混合後得到一特定顏色(波長)，如同拍照後只能得到一張平面照片(三維資訊，x, y, λ)。

Fig. 2 (a) 雙眼視覺與光場關係 [a]，(b)雙眼視線交會與影像清晰度 [a]，(c)光場(全光函數)示意圖 [a]

如何取得及還原光場？

前面曾提到只需一台相機就能取到一幅光場資訊，但在現實環境中受限於取像設備數量或者取像次數，我們不可能取得無限多組光場資訊，尤其對動態物件更是困難。而對於取得的光場資訊(影像)要如何還原及送入眼睛，當只有一、兩個光場還不算太麻煩，但有成千上百甚至數十萬個光場時又該如何處理呢？接下來就逐一為大家介紹。

首先介紹取像及顯示的基本單元，如Fig. 3a所示，二維方式排列的我們稱之為像素(Pixel)，一般我們常用的數位相機、LCD平面式顯示器都屬於此類，而常見的立體視覺相機(雙鏡頭)、擴增實境(Augmented Reality, AR)眼鏡(單或雙屏幕)、虛擬實境(Virtual Reality, VR)頭載式顯示器(雙屏幕)亦屬於此類。如Fig. 3b所示，則稱為體像素(Volume Pixel, Voxel)或空間像素，它是以實際空間位置(X,Y,Z座標)直接產生具有亮度及色彩的點，可從任意角度觀看，有時亦被稱為體積(容積)式顯示器(Volumetric Display)，但缺點是不同方向看都是同樣亮度及顏色，且點與點間可能難以產生遮蔽(意思會看穿或看到背後的點)，和我們要介紹的光場顯示器不屬於同一類型。於是有人把Fig. 3a, 3b二種概念整合在一起，利用多層平面顯示器疊在一起，只限制觀賞者從前方觀看，然後將不同深度(距離)內容顯示在不同平面顯示器上，沒有內容的像素接近透明，如此即可令視覺產生遠近(立體)感，稱為層立體(Layer Three Dimension, L3D)，亦有人將其歸類在體積式顯示器。

換句話說，顯示器有多少層就相當於有多少組(或數倍到數十倍)光場，而其顯示內容的來源通常需要相當複雜的程序才能將物件逐一分層，有點像醫院用的斷層掃描，不是隨便用相機拍多張照片疊在一起就可以解決的。最後要介紹的全像像素(Holographic Pixel, Hogel)，如Fig. 3c所示，它一樣是應用在一個平面顯示器上，只是把原先的一個像素(Pixel)變成了N x N個像素，再以微透鏡方式將其聚合在一起，而微透鏡的尺寸，約莫就是一般平面顯示器一個像素的大小，如此即可塞進N x N個光場資訊，最後再經由微透鏡將每個對應的光場資訊折射到對應的方向(角度)。當光場資訊數量越多且涵蓋角度越寬則越接近人眼所看到的真實世界。更進一步的光場攝影機及光場顯示器原理將於下面章節繼續完整說明。

Fig. 3 (a)像素(Pixel) [a]，(b)體像素(Voxel) [a]，(c)全像像素(Hogel) [1]

接著就以Fig. 4來說明常見顯示器所使用的光場(Light Field或稱 View)數量。首先是2D平面顯示器，它只有一個光場資訊，不論觀賞者站在何處(不同距離、角度)看到的內容都是一樣的。而3D立體視覺眼鏡、AR / VR頭戴式顯示器則需要兩個光場，但須準確且直接的送入左、右眼，否則很容易會造成觀賞者產生暈眩問題。再來介紹傳說中(尚未上市，只有圖示及簡單規格公開)Magic Leap推出的擴增實境(AR)眼鏡，據稱有6 ~ 24個光場。而體積式(多層LCD)顯示器則可能堆疊出20組(層)以上光場。最後，FOVI3D推出的「光場顯示器」則可同時產生超過一千組甚至數十萬組光場資訊，以滿足如同觀看真實物件的逼真效果。

Fig. 4 不同數量光場的平面型顯示器 [1]

參考文獻：

[1] FOVI3D  http://www.fovi3d.com/
[a] 歐尼克斯實境互動工作室整理繪製

超黑科技_光場攝影及顯示技術發展趨勢
Part 1_何謂光場_如何取得及還原光場?
Part 2_光場攝影機的發展歷程 
Part 3_光場顯示器的原理
Part 4_FOVI3D全像光場顯示器及應用情境