超黑科技_光場攝影及顯示技術發展趨勢_Part 2_光場攝影機的發展歷程

光場攝影機的發展歷程

從上面介紹可得知，用很多張影像組合在一起，再一起播放出來就可以令人看到如真實世界的影像效果。那常見的360度攝影機(背對背雙魚眼鏡頭或是多鏡頭圓形放射狀排列)也是把很多張影像拼在一起，當你戴上VR頭戴式顯示器，播放這張合成後的影像，當轉動頭(視角)時也可看到不同方向的內容，這也是屬於光場攝影及顯示的一種嗎？答案可能會讓你有點失望，其實它只有一個光場，因為它把多個鏡頭的影像先拼接成一張超大影像，再貼在一個球面或半球面上，所以你看到全景影像時總覺得假假的，因為它已經把真實世界壓扁了，就像拍了一張照片，把深度及視差都去除了。從上面提到的全光函數來解釋，七維參數只剩三維資訊(Θ, φ, λ)(動態影像包含t為四維)，而深度資訊(Vx, Vy, Vz)就消失了。有些廠商為了令使用者觀看有立體感，可能會以兩組球面(或半球面)影像分別提供給左、右眼，充其量也只有兩組光場資訊，所以這類360度攝影機通常不會被歸類在「光場攝影機」。那怎樣才算是光場攝影機呢？常見方式有三大類，攝影機陣列、遮罩式(孔洞陣列或編碼遮罩)及微透鏡陣列。

攝影機陣列式光場攝影機

首先介紹攝影機陣列式光場攝影機，這種方式須使用到大量攝影機，並且要讓相鄰攝影機拍到的內容有大面積的重疊，這樣才能取得更多角度的光場資訊。攝影機排列方式可以是一維線形(直線、弧線、圓形)(Fig. 5a)、二維平面(矩陣)(Fig. 5b, 5c, 5d)甚至是三維立體(球面、半球面)(Fig. 5e, 5f)。

Fig. 5 光場攝影機，(a)Breeze Systems [2]，(b)Standford (2004) [3]， (c)Pelican (2006) [4]，(d)Adobe (2007) [5]，(e)EPFL Panoptic (2009) [5]，(f)Light Stage(2002) [6]

遮罩式光場攝影機

接著介紹的是遮罩式光場攝影機，如Fig. 6a所示，此種方式是利用孔洞陣列來限制光線進入感測的方向，取像時只需在傳統攝影機主鏡頭及影像感測器中加入一片遮罩，如Fig. 6b所示，即可取得接近攝影機陣列的效果。雖然可省去大量鏡頭及感測器，但單一感測器的解析度(像素)要很高，否則最終產出的有效全像像素(Hogel)數量就會變得過少。假設原始影像感測器解析度為1920x1080，而一個全像像素用到10x10個光場時，則全像像素的數量就會降到192X108個像素。遮罩的類型除了規律式的孔洞外，另外還有一種編碼遮罩方式，如Fig. 6c所示，利用一片穿透式LCD做為遮罩，動態產生有點像QR Code的遮罩，來取得更多方向的光場資訊。而此種方式雖可在硬體不變動情況下，取得更多角度光場資訊，但缺點就是其遮罩圖案的設計太過複雜，不那麼直覺性。

Fig. 6 遮罩式光場攝影機，(a)孔洞陣列式光場攝影機 [a]，
(b)遮罩置於主鏡頭及影像感測器中間 [7]，(c)編碼遮罩式光場攝影機 [7]

微透鏡陣列式光場攝影機

最後要介紹的是微透鏡陣列式光場攝影機，目前採用此種方式的光場攝影機的供應商有Raytrix, Lytro,而台灣工研院也曾推出相關技術(未生產)。其中就屬Lytro最為知名，其創辦人Ren Ng在Standford 攻讀博士(2004)時曾提出如何將其實驗室矩陣光場攝影機(Fig. 5b)縮到手持式(Fig. 7a)。其主要架構就是在主透鏡和影像感測器之間加入一片微透鏡陣列(Fig. 7b)，而取到的影像並不像一般像素一樣，而是經由微透鏡陣列將多個光場聚合成一個圓餅狀矩陣影像(Fig. 7c)，相當於一個全像像素(Hogel)。藉由取得的光場資訊即可用來重新指定已拍到影像清晰的位置(距離、深度)，這就是所謂的拍完照事後對焦，或者可利用此光場資訊來計算場景深度作為三維重建依據。

Fig. 7 Standford手持式光場攝影機 [8]

Ren Ng在Standford取得博士學位後，2006年便集資創立Lytro，並根據其論文將這項產品實現，到了2012年終於推出第一代產品(Fig. 8a)，主打先拍照後對焦，大獲市場好評。由於解析度(512x512)不高，所以2014年又推出第二代產品(Fig. 8b)，並使其更接近一般單眼相機的外貌及操作方式。2015年Lytro企圖想把這樣的概念推展到360度取像，雖然有推出產品(Fig. 8c)，但未廣受市場青睞。於是又將心力又轉回電影工業，採用六角形蜂巢式排列方式取像(Fig. 8d)，整合了96台攝影機，用於場景人物的細微深度重建，便於3D影片後製合成，而不直接用於光場顯示器上。

Fig. 8 Lytro光場攝影機系列 [9]

參考文獻：

[02] Breeze Systems  http://breezesys.com/MultiCamera/
[03] Standford Multi-Camera Array  http://graphics.stanford.edu/projects/array/
[04] Light Field Forum  http://lightfield-forum.com
[05] VR Wiki  https://vrwiki.wikispaces.com/Light+field+cameras
[06] USC ICT Lab Light Stage  http://vgl.ict.usc.edu/research_LS.php
[07] Image and Depth from a Conventional Camera with a Coded Aperture  https://groups.csail.mit.edu/graphics/CodedAperture/
[08] Light Field Photography with a Hand-Held Plenoptic Camera http://graphics.stanford.edu/papers/lfcamera/
[09] Lytro  https://lytro.com/
[a] 歐尼克斯實境互動工作室整理繪製



超黑科技_光場攝影及顯示技術發展趨勢
Part 1_何謂光場_如何取得及還原光場?
Part 2_光場攝影機的發展歷程
Part 3_光場顯示器的原理
Part 4_FOVI3D全像光場顯示器及應用情境