超黑科技_光場攝影及顯示技術發展趨勢_Part 3_光場顯示器的原理

光場顯示器的原理

光場資訊除了可直接從真實世界中取得外，亦可由電腦圖學(Computer Graphic)方式直接產生所需影像(光場資訊)，其中的好處就是可以產生任意數量的鏡頭，取得任意視角的影像，不會受限真實攝影機尺寸及安裝空間的限制，更重要的是不必花費大量金錢去建置相關取像設備及頭痛各個攝影機鏡頭失真及安裝角度校正的問題。但缺點則是計算超級龐大，難以做到即時顯示或動態影像。常見的光場顯示器大致分為五大類，高速旋轉式(High Speed Spin)、多投影機式(Multi-Projector)、指向性背光式(Directional Backlight)、多層顯示器式(Multi Layer Display)及透鏡陣列式(Lens Array)。

高速旋轉式光場顯示器

南加大ICT實驗室於2004年發表了一種以超高速(DLP)投影機(>5000fps)投影在高速旋轉的斜置鏡面上的光場顯示器(Fig. 9a)，讓人們不用戴上3D眼鏡就能觀賞到如同實物的立體影像，且每個水平視角見到的內容都不一樣，其主要原理就是把每個角度的影像依序順快速播放。因為人眼約有1/10秒的視覺暫留，所以當顯示內容出現的時間低於1/10秒且快速更新時，我們看到的影像就會變成連續(固定)顯示而非閃動狀況。一般常見的平面顯示器通常1秒會更新30~60次，而這個顯示器每轉1.25度就更新一個畫面(光場資訊)，每秒轉20圈，相當於每秒投影5760(360/1.25x20)幅影像(FPS)，但由於顯示資料量過大，所以只能以單色顯示且只有考慮水平方向光場，而未考慮垂直方向，意思就是由高處向下看和從低處向上看結果是相同的，換言之這是一台可顯示288 (360/1.25) 組光場且只有亮度沒有色彩的光場顯示器。

SONY在Siggraph 2010時提出一項新技術，利用全彩發光二極體(LED)高速旋轉，產生同樣令人驚豔的360度裸視立體成像效果(Fig. 9b左圖)。根據SONY揭露的專利文件[12]來看，其主要原理一樣是視覺暫留，只是改由LED直接排成內凹曲面(Fig. 9b中圖)，配合一具有狹縫的外罩進行高速旋轉，每秒30轉，每2 度產生一個對應視角影像，當相於有180組光場，單張影像解析度不高僅有96 x 120點(全彩)。如Fig. 9b右圖所示，狹縫可限制觀賞者的視角，同時確保光場顯示資料的方向性(角度)。同樣地，該顯示器僅考慮水平方向光場，而未考慮垂直方向光場。

Fig. 9 高速旋轉式(360度)光場顯示器，(a)USC ICT Lab (2007) [10]，(b) SONY RayModeler (2010) [11] [12]

多投影機式光場顯示器

南加大創意技術視覺暨圖學實驗室(University of Southern California Institute for Creative Technologies Vision & Graphics Lab)多年來在光場攝影(球面排列攝影機陣列)(Fig. 5f)及光場顯示上投注相當多心力，主要希望透過此項技術能達到遠端擬真視訊(Virtual Reality Telepresence)，彷彿真人直接面對面交談。2013年利用72台微投影機(TI DLP 480x320像素)組成一個可投影出真人頭像的光場顯示器(Fig. 10a)，投影機排列成一個弧狀，半徑60公分，每隔1.66度產生一組視角影像(光場)，觀賞視角高達110度。此項技術的關鍵當然不是有很多投影機投在同一個平面上就可解決的，其顯示幕有高密度的如垂直百葉窗的特殊設計，使得不同水平視角影像得以屏蔽，不然全部影像混在一起，只會讓人看到一團白色的光影而已。

2015年更進一步推出真人尺寸的光場顯示器(Fig. 10b)，並把投影機數量增加到216台，並改成背投影方式呈現，使顯示效果更像真人面對面。這樣的技術雖然可以達到很逼真的視覺效果，且允許多人同時多視點觀賞，不需配戴任何特殊眼鏡，但缺點就是需要很大的空間、很昂貴的硬體設備(多台投影機、顯示卡及電腦)及非常複雜的投影校正及同步工作，因此難以推廣。另外，和旋轉式光場顯示器一樣，為減少顯示資料量，故僅考慮水平方向光場變化，而未考慮垂直方向光場變化。此項設計由於利用多台電腦分散資料顯示資料量及可準確同步播放，所以已可作動態影片播放，如同真人站在面前一般。

Fig. 10 (a)微投影機陣列產生人臉 [10]，(b)自動多視點投影機陣列產生人像 [10]

指向性背光式光場顯示器

2009年3M提出利用指向性背光方式，產生雙眼所需視差影像(兩組光場)，來達到裸眼即可看到立體影像效果(Fig. 11a)。其做法是利用左、右光源交替閃爍(120Hz)，配合快速切換LCD上顯示資訊，即可讓左眼看到左視角影像、右眼看到右視角影像，以達到立體視覺效果。但其缺點是當觀賞視角偏一邊，或觀賞距離不對時，會導致沒有立體感(左、右眼看到相同影像)或者立體感相反(凹變凸，凸變凹)等問題。

2013年知名「Nature」期刊登出一篇利用單(側)光源配合奈米級微結構方式即可令一組光線同時產生多組特定方向的背光源(Fig. 11b)。2017年知名手機商Red結合Leia Inc. 公司技術，利用此一概念製造出一可同時顯示四組光場(四方向背光)的手機「 Hydrogen One」(Fig. 11c)。但這種方式產生的光場數量實在過少，所以僅能歸類在低保真度(Fidelity)光場顯示器。

Fig. 11 指向性背光光場顯示器，(a)雙光源裸眼立體顯示器 [13]，(b)單光源多方向背光 [14]，(c)Red/Leia 四光場顯示手機 [15]

多層顯示器式光場顯示器

多層顯示器式光場顯示器由於本身就有物理上的深度，所以最初的概念就是把欲顯示的物體(或3D模型)切片後，再分別將對應深度的內容顯示在各層顯示器上。但由於不同技術產生各層內容的方式不同，因此會產生不同數量的光場資訊，所以不一定一層就只會產生一組光場資訊，以下就舉三個例子來說明。

Light Space Tech. 早在2004年就已推出此類顯示器名為DepthCube，如Fig. 12a所示。近年來更不斷推出基於此一概念的進階產品，而其主要原理是利用一台高速投影機，搭配一個多平面光學元件驅動器來決定那個平面要顯示，而其它層視為透明，一次只投影(顯示)一個平面(深度)的內容，共有20層，依序快速切換，每秒可完成30次輪迴，換句話說投影速度相當於每秒更新600(20x300)次。

有鑑於高速投影機不易取得，MIT Media Lab於2012年提出利用三層LCD作為光場顯示器，如Fig. 12b所示。其概念是不同深度會有不同清晰程度的影像顯示，且前後層有產生遮蔽時，後層必須依該深度被遮蔽影像連續性填入對應內容，如此雖然只有三層影像卻可產生很大的水平及垂直觀賞視角，不同位置的觀賞者可觀賞到對應視角影像，相當於有很多個水平及垂直方向的光場資訊，而不是只有三組光場資訊。

2015年中國科學院自動化所亦提出一種三層LCD的光場顯示器，如Fig. 12c所示，但其原理卻和MIT提出之作法有很大差異。其系統是假設觀賞者在一特定距離觀賞時，可觀賞到具有7x7組光場的較低解析度影像。該系統每一層的像素數量是相等的，每條光的射線會穿過三層LCD到達假想平面再進入觀賞者的眼睛中，如Fig. 12c中左下圖所示。而每一層LCD會依各方向光場所需亮度，各自調整三層LCD的對應像素的明暗度(阻擋率)(如Fig. 12c右圖)，其三層LCD的結果圖如Fig. 12c左上圖所示，如此組合後即可產生不同視角應對應的影像，包括垂直及水平方向光場。

Standford Computational Image Lab.也在2015推出一種頭戴式雙層LCD的光場顯示器，如Fig. 12d所示。一般虛擬實境(VR)頭戴式雙眼顯示器只能提供二組(左、右眼不同)光場，但並未考慮眼球對焦在近處及遠處所產生的視覺模糊問題，導致使用者容易產生頭暈問題。因此該系統利用二層LCD，透過全光函數計算，將近處及遠處結果影像，分別呈現在前、後層LCD，如此即可讓使用者感受到更接近真實場景的影像，而不易有視線對焦在遠處而影像在近處清晰的問題產生。另外最近Avegent號稱推出了第一款頭戴式光場顯示器，受到創投的大力支持，共募集了五千萬美金，但從媒體、官網上甚至專利資料上都未清楚說明技術原理，僅用簡單文字及圖像描述可產生多個(五個??)對焦平面作為多組光場資訊來源，個人猜測應和Standford (Fig. 12d)的技術類似，只是將其微型化及多層化。總體來說此類顯示器的可顯示的光場數量亦不算太多，所以通常也被歸類在低保真度(Fidelity)光場顯示器中。

Fig. 12 多層顯示器式光場顯示器，(a)Light Space [16]，(b)MIT Tensor Display (2012) [17]，(c)中國科學院自動所 (2015) [18]，(d)Standford Light Field Stereoscope (2015) [19]，(e)Avegant (2017) [20]

透鏡陣列式光場顯示器

當我們以攝影機(透鏡)陣列式光場攝影機取得真實世界大量的光場資訊後，最直接的想法就是再以顯示器陣列配合透鏡來還原光場，因此就有了一維(線形)及二維(格狀型)排列的透鏡陣列式光場顯示器產生。這樣的概念並非最近才出現，在傳統的自動立體顯示器(Autosteroscopic 3D Display)(俗稱裸眼3D顯示器)中已經大量使用一維透鏡陣列(或稱光柵，Lenticular Lens)方式來容納多組光場(影像)資訊，以提供觀賞者產生正確的立體(深度)感知。如Fig. 13a所示，每組透鏡下至少要容納兩組光場資訊，透過透鏡的光學折射，可使左、右眼分別感知到不同影像，以產生立體感。但不幸的是，這樣的作法觀賞視角極小，觀賞者只要水平移位一點點，就有可能造成左、右眼接收到相反的影像，造成立體感知錯亂，凸變凹、凹變凸，很快就會產生暈眩感。隨著顯示器解析度提高，於是有人將每組透鏡下方容納更多組光場資訊，這樣便擴增了觀賞的視角範圍及不同視角對應的內容，如Fig. 13b就包含了五組水平光場資訊。而這樣的作法，受限於原始像素及透鏡製造的尺寸，最終能觀賞到的光場數量及解析度仍嫌不足。後來有人提出將光柵板斜置，使其能容納更多光場資訊，同時降低因像素間黑框造成雲紋(moire)(一種因透鏡和像素尺寸倍率不能整除而造成視覺上黑色紋路)問題，如Fig. 13c就包含了七組水平光場資訊，而通常此類作法可容納5~9組光場資訊。雖然此類顯示器可歸類在低保真度(Fidelity)光場顯示器中，但由於自動立體顯示器(Autostereoscopic 3D Display) 這個名稱已普遍被接受，所以通常不太有人稱其為光場顯示器。

Fig. 13 自動立體(裸眼3D)顯示器，(a)直光柵2組光場 [21]，(b)直光柵5組光場 [a]，(c)斜光柵7組光場 [a]

再來介紹一款整合多投影及一維透鏡陣列(非Lenticuler Lens)且可顯示大量光場的技術。從Holografika公司的專利文件[23]中可得知，該光場顯示器利用多台投影機投影至菲涅耳透鏡(Fresnel Lens)陣列上，投影出的影像是一垂直條狀的影像，相鄰投影機投出之影像會有一部份重疊，以提供更多光場顯示資訊。屏幕使用菲涅耳透鏡主要是要令往上下跑的光線(Fig. 14c)能往屏幕前方射出(Fig. 14b)，才不會造成影像內容無法傳送到眼睛導致畫面上下方看起來會較暗。從官網中資料可知該顯示器可提供多達60個光場的資訊且觀賞視角極大，將近180度，且光場間不會像一般光柵板式的顯示器容易產生視角間串擾(Crosstalk)問題。從Fig. 14a上、下圖中可看出，站在顯示器的左邊和右邊觀看顯示時分別可看到樸克牌的正反面，這樣的效果及解析度已相當接近科幻電影情節中的浮空投影效果，只差在手不能伸進顯示器中。不過由於同時要處理將近60組影像的播放，所以也需要很多電腦同時一起工作才能完成。

Fig. 14 Holografika光場顯示器，(a) HoloVizio 80WLT左、右視角影像 [22]，(b) fresnel lens [23]，(c)單投影示意圖 [23]，(d)完整顯示器示意圖 [23]

為了容納更多光場資訊且顧及水平和垂直方向光場，有許多設計改採用二維式(微)透鏡陣列(Lens Array)，如Fig. 15a所示，常見型式可分為矩型及半球型透鏡陣列。

2013年NVIDIA在SIGGRAPH ASIA上發表了一項「近眼光場顯示器」 (Near-Eye Light Field Displays)，如Fig. 15b所示。該系統使用了兩組有機發光二極體(OLED)顯示器分別給左、右眼。每個顯示器解析度為1280(RGB)x720像素，配合14x8(論文中的數值和圖上的15x8有些不同)的微透鏡陣列，產生出有效全像像素為146x78，每個全像像素包含有4x4個光場。

2017年Looking Glass公司推出HoloPlayer One，如圖Fig. 15c。其系統主要是利用50 LPI(Line per Inch)解析度的光柵片(官網未說明是一維或二維透鏡陣列)加上2560(RGB)x1600像素解析度的LCD顯示器，即可產生50度視野範圍共32視角(光場)的影像，有效全像像素解析度僅276x480，再搭配Intel RealSense SR300深度感測器，即可達到即時互動的效果。

而最神祕的Magic Leap 2011年成立至今融資已到D輪超過23億美金，其估質超過60億美金，號稱有最神祕的光場顯示技術，但至今產品仍未上市。2017年底，在各方引頸期盼下，終於提出了一概念圖，如Fig. 15d所示，但究竟用了什麼技術，各方猜測不斷，從外觀上來推估，採用透鏡陣列的可能性似乎較高，但從體積及控制器(Fig. 15d左中圖腰間小圓餅)來看，所使用的光場數量可能不高，因為過多的光場所衍生的計算量可不是這種小型裝置所能負擔的起。依官方宣稱2018年上半年就會上市，就請大家耐心等候這世紀奇蹟吧？！

Fig. 15 透鏡陣列式光場顯示器，(a)透鏡陣列型式 [24]，(b) Near Eye Light Field Display (2013) [25]，(c) HoloPlayer One (2017) [26]，(d)Magic Leap One [27]

參考文獻：

[10] USC ICT Lab VR Telepresence  http://vgl.ict.usc.edu/research_VR.php
[11] 360-Degree Autostereoscopic Display  http://www.siggraph.org/s2010/for_attendees/emerging_technologies
[12] SONY Patent EP2333753A2 - Three-dimensional image display device, method of manufacturing the same, and three-dimensional image display method  https://worldwide.espacenet.com/publicationDetails/biblio?CC=EP&NR=2333753A2&KC=A2&FT=D
[13] Directional Backlight  https://www.slideshare.net/wetzste1/compressive-light-field-displays
[14] A multi-directional backlight for a wide-angle, glasses-free three-dimensional display  https://www.nature.com/articles/nature11972
[15] Red / Liea Hydrogen One Holographic Display Phone https://liliputing.com/2017/09/reds-upcoming-phone-holographic-screen-developed-leia-inc.html
[16] Light Space Technologies  http://lightspace3d.com
[17] MIT Media Lab Tensor Display  http://web.media.mit.edu/~gordonw/TensorDisplays/
[18] Load-balancing multi-LCD light field display  https://doi.org/10.1117/12.2078366
[19] Standford Light Field Stereoscope  http://www.computationalimaging.org/publications/the-light-field-stereoscope/
[20] Avegant  https://www.avegant.com/light-field
[21] 3D TV with Glasses http://rj3sp.blogspot.tw/2011/06/3d-tv-without-glasses.html
[22] Holografika  http://www.holografika.com
[23] Holografika Patent WO9834411(A1) https://worldwide.espacenet.com/publicationDetails/biblio?CC=WO&NR=9834411A1&KC=A1&FT=D
[24] Micro Lens Array https://www.thorlabs.de/newgrouppage9.cfm?objectgroup_id=2861
[25] Near-Eye Light Field Displays  http://research.nvidia.com/publication/near-eye-light-field-displays-0
[26] HoloPlayer One  https://lookingglassfactory.com/product/holoplayer-one/
[27] Magic Leap One  https://www.magicleap.com/
[a] 歐尼克斯實境互動工作室整理繪製

超黑科技_光場攝影及顯示技術發展趨勢
Part 1_何謂光場_如何取得及還原光場?
Part 2_光場攝影機的發展歷程 
Part 3_光場顯示器的原理
Part 4_FOVI3D全像光場顯示器及應用情境