歐尼克斯實境互動工作室(OmniXRI): 文創新利器4D (Volumetric Capture) 建模與重現

昨天(2019/12/03)很高興參加由文化部主辦的「創IP秀4D」國際論壇暨成果發表會。此次活動最主要就是展現今年度文化部「IP內容實驗室」[1]重金由法國引進的「4DViews」系統如何協助台灣多個文創領域產生新的火花。由於之前我在學校求學時就是以多視點取像、顯示及實境互動為主，但台灣卻只有很少人了解這些技術，所以此次看到台灣有這麼多不同領域相關成果產出，實在有點小激動。

Fig. 1 (a)傳統3D動畫製作流程，(b)肢體及臉部動作補捉系統，(c)4D(容積式)補捉系統。(OmniXRI整理製作) (點擊圖片放大)

以往在製作3D動畫時要從建模、貼圖、打光、綁定骨架、動作調整及運鏡處理才能完成，如Fig. 1a所示。一個學生從學習基本功到能獨立完成作品少說要三到六個月才能上手，若要到職業等級沒有練個幾年根本不可能。後來有了動作補捉(Motion Capture，簡稱動補)設備就方便多了，只要專心做模型及貼圖即可，動作部份就叫真人直接穿專門的動補服裝(光球式、運動感測器式等)直接錄製動作再套到模式即可完成，如Fig. 1b所示。更進階的亦可利用類似技術(光點、光影等)直接把人臉表情直接錄下，對於3D動畫製作的速度、複雜度及擬真度有明顯提升功能。近來來隨著電腦運算速度大幅提升及AI技術突飛猛進，像目前最火紅的VTuber(如絆愛、虎妮等)都已可做到即時動補(含人臉表情)。但只用3D模型加上動補製作的動畫還是不容易記錄人物在真實世界的細節，如服飾配件及道具的物理碰撞、人臉表情(尤其眼神)及3D模型的擬真度。

以往要解決高擬真3D模型建置可採用3D掃描(線雷射加攝像機、光達雷射點雲、深度攝影機等)方式建模，但只限於靜態物件。因此4D(3D立體加時間)或稱容積式(Volumetric)掃描方式就成為解決此項問題的最佳方案。該技術主要是利用多攝影機360度環繞在被拍攝物體四週，同時包含由上至下視角，經同步錄影後，再以電腦視覺中多視點三維重建(Multiview 3D Reconstruction)技術逐幀(Frame)將3D模型建立，當每一幀3D模型都建構好，連續播放就成為動態3D模型，或可稱為4D掃描。當然這樣的技術門檻相當高，且需耗費的電腦算力也不容小覷，根據官方說法，此次專案拍攝一分鐘影片(32台攝影機）利用國網算圖農場(不清楚使用設備等級及數量)轉成連續3D動作模型需要八小時。因此目前全世界僅有少數公司投入此一研究，此次法國的「4DViews」[2]就是其中之一。反觀台灣，學界部份僅有少數學校實驗室投入相關研究但規模都不大。而法人部份，工研院、資策會似乎對此類系統也沒有太多投入，或許工研院藉由此次協助引進後會更進一步投入技術研發協助更多台灣廠商吧？

為了讓大家更能了解文化部此次投入的成果，可藉由下列影片窺知一二。

https://www.facebook.com/www.moc.gov.tw/videos/1632118333593145/

請點擊連結播放影片「IP內容實驗室 ✖ #4DViews動態立體虛擬攝影棚」

（影片來源：文化部FB，若遭刪除敬請見諒！）

本次活動共邀請了四位日本講者，分享使用4DViews在不同領域應用經驗，包括4D Brain Inc.[3] 秋山貴彥社長、NTT Docomo Inc. 望月謙課長、Connection Inc.[4] 田向潤導演及知名動補裝置供應商新月(Crescent Inc.[5])小谷創社長。透過這樣的技術可輕易實現虛實整合的應用，除了常見的影視作品外，近年來亦朝向文化保存及新舊融合創新應用。以下就以日本知名卡莉怪妞(Kyary Pamyu Pamyu)2011年推出的MV影片PONPONPON為例，從影片中可看到同一人物經由4D掃描後可輕易的大量複製、重新安排視角、改變尺度，產生非常搞怪有趣的風格，完全看不出3D建模的感覺。

卡莉怪妞 -- PON PON PON (華納official中字完整版MV)

（影片來源：YOUTUBE，若遭刪除敬請見諒！）

本次計畫包括三大領域，影像敘事虛實整合展演、ACG動漫遊內容跨界產製及傳統藝IP新生轉型解析等三大領域，共錄取16組團隊，如下所示。

主題一：影像敘事虛實整合展演

仙草影像製作有限公司吳青峰《太空人》音樂錄影帶
必應創造股份有限公司《末世重生》
財團法人白鷺鷥文教基金會 XR新媒體藝術作品《迷》
許哲瑜藝術工作室動物之血
福利事國際有限公司 3D虛擬IP音樂影像實驗創作
實踐大學作品名稱/與水合奏的孩子們

主題二:ACG動漫遊內容跨界產製

未來式互動藝術有限公司劍魂如初《傳承之書》
原金國際有限公司「百年蜃樓尋妖記」- 動態立體虛擬實境實驗創作計畫
銘傳大學數位媒體設計學系作品名稱/清明上河圖虛擬實境
夢想動畫有限公司作品名稱/《1661國姓來襲》漫畫跨域XR作品

主題三:傳統藝術IP新生轉型解析

中國文化大學大眾傳播學系【藝境無界】Performing Arts Insight without Boundary
國立臺北科技大學墨動影
彩蛋影像有限公司原創VR電影整合AR秀4D行銷計畫 -「神靈活現AR體驗」APP
超維度互動股份有限公司南管 · 四季-當代南管再設計
愛迪斯科技股份有限公司 4DViews 數位典藏立體顯示互動平台 - 以歌仔戲橋段為範例
臺灣虛實展演發展協會現代水墨之父- 劉國松半自動潑墨技法全紀錄

接下來從網路上收集一些相關影片提供給大家參考。