網頁

2017年11月18日 星期六

實境互動新技術簡報分享



這份簡報是本工作室於2017.10.12 MakerPro所舉辦的Maker Hatch Night發表的,主要內容都已發表於本部落格,歡迎有興趣的朋友多多參考,也歡迎於下方留言區交流一下。

<<如看不清楚簡報內容,可點擊圖片放大至原始解析度觀看。>>

本簡報共有24頁,以下就把連結整理如下:

實境互動現況與趨勢_何謂XR(eXtened Reality)
實境互動現況與趨勢_擴增實境分類
實境互動現況與趨勢_實境互動(身歷其境、操控自如)
實境互動現況與趨勢_從動漫電影到真實挑戰
實境互動現況與趨勢_產業週期與技術趨勢
實境互動現況與趨勢_雲端(Cloud)計算
實境互動現況與趨勢_局端(Edge)計算
新興AR開發平台簡介_傳統AR開發工具簡介
新興AR開發平台簡介_Facebook Camera Effect
新興AR開發平台簡介_Apple ARKit
新興AR開發平台簡介_Google ARCore
穿戴式顯示互動專利分析_穿戴式顯示及互動產業供應鍊
穿戴式顯示互動專利分析_現有市場分析─單眼式
穿戴式顯示互動專利分析_現有市場分析─雙眼式
穿戴式顯示互動專利分析_募資平台專案
穿戴式顯示互動專利分析_市場收購及合作訊息
穿戴式顯示互動專利分析_專利檢索策略
穿戴式顯示互動專利分析_專利檢索結果
穿戴式顯示互動專利分析_專利分類號分析
穿戴式顯示互動專利分析_技術魚骨圖
SIGGRAPH技術分享_ACM SIGGRAPH 2017技術分享
SIGGRAPH技術分享_案例一:哈爾濱AR明信片
SIGGRAPH技術分享_案例二:增強傳送沈浸式體驗
SIGGRAPH技術分享_案例三:腦機介面

下一頁:實境互動現況與趨勢_何謂XR(eXtened Reality)

穿戴式顯示互動專利分析_技術魚骨圖


整理相關專利技術分類後,大致可分為四大領域,以下分別說明之。

資訊顯示位置:
由於擴增實境最主要的功能就是把虛擬物件影像或文字內容疊加在真實世界,(可參考實境互動現況與趨勢_擴增實境分類)影像內容可能是直接投影至眼睛(視網膜)、眼鏡或透明板子上,甚至可直接投影到真實世界,當然也可合成後再顯示在一般顯示器上。

虛擬物件定位:
預備疊合至真實世界的影像若不知真實場景狀況(如位置、尺度、角度等)則難以正確疊合,因此需要透過許多方式先進行偵測,如利用攝影機取得特定標記或場景攝影直接取得參考物件影像或由運動感測器(加速度計、陀螺儀、地磁計等)了解使用者頭部姿態或透過眼球追蹤器來了解目前使用者觀賞狀況。

人機互動:
有部份專利著重在光學或設備架構上,因此不一定會有這個部份。而當顯示內容需要隨操作者或環境變動時,就需要透過一些裝置來輔助,最直接的想法就是利用現成的鍵盤、滑鼠的實體物件進行互動,但擴增實境應經常要把手空出來操作其它物件,因此非接觸式人機互動介面就常出現在這些專利中,如語音、眼動、手勢甚至是全身動作等。但有時使用者對於在空氣中操作覺得很不方便,因此亦出現部份專利採用一些小道具(如筆)來輔助互動,使得操作虛擬影像時更具臨場感。

應用領域:
有很多專利不主打實體技術發展,而針對各領域應用擴增實境程序進行申請專利,因此這類專利中通常會藉用別人已實現的頭戴顯示器來說明本身專利所述情境如何實現。由於擴增實境本身最主要功能就是疊合虛擬影像或文字至真實世界,故本次統計時若該專利沒有特別強調應用領域時,都會被歸類到「資訊導引」類別,而實際上亦可應用到其它類別中。

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_專利分類號分析
下一頁:SIGGRAPH技術分享_ACM SIGGRAPH 2017技術分享

穿戴式顯示互動專利分析_專利分類號分析


專利分類號是方便大家快速找到相類似領域專利的一項重要工具,一般專利檢索時除可利用關鍵字外,亦可利用分類號來限縮檢索範圍。但不幸的是由於分類號隨時代演進越分越細及各國智財局人員認知不同,導致類似技術常會被分到不同層級子項甚至不同分類中,使得若只用單一分類號檢索常會產生掛一漏萬的問題。另外一般各國慣用的專利分類號稱為「國際分類號」(簡稱IPC),但美國有一套獨立的分類號系統(簡稱USPC)和國際分類號差異頗大,而通常美國專利的國際分類號可能是採用對照表轉換方式產生,因此也常有分類不明確的問題。

而各分類號的定義如下說明。

IPC
G09G: 對用靜態方法顯示可變資訊的指示裝置進行控制之裝置或電路
G06F: 電子數位資料處理
G06T: 一般影像資料處理或產生
G09G05: 通用於陰極射線指示器或其他視覺指示器的視覺指示控制裝置或電路
G02B027: 其他光學系統;其他光學儀器
G06T019: 電腦繪圖之3D模型或影像的操作


USPC
345: Computer graphics processing and selective visual display systems
359: Optical: systems and elements
382: Image analysis
345/633: Augmented reality (real-time)
345/008: Operator body-mounted heads-up display (e.g., helmet mounted display)
345/007: IMAGE SUPERPOSITION BY OPTICAL MEANS (E.G., HEADS-UP DISPLAY)

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_專利檢索結果
下一頁:穿戴式顯示互動專利分析_技術魚骨圖

穿戴式顯示互動專利分析_專利檢索結果


經初步將數個關鍵字交集(AND)檢索後,發現竟找不到任何專利,初步觀察後發現大部份人多以單一(局部)功能、裝置或方法申請專利,因此過多關鍵字交集後會將全部資訊排除,所以本文採取二大分支聯集(OR)方式產生專利分析池。其一為「擴增實境」與「頭戴式顯示器」交集,另一為「擴增實境」與「手勢互動」,最後再經由人工篩選進行管理圖分析。

經反覆測試及調整檢索關鍵字,且在調整過程中以人工快速檢閱是否大致符合目標需求,以使其儘可能滿足需求。其調整過程如下,首先以"augmented reality"於標題檢索,但發現有許多專利只於摘要中出現此關鍵字,因此增加檢索摘要部份,經調整後增加30%的案件數。接著分成二大分支進行檢索,第一分支加入交集條件"Gesture Interaction",但產生過度篩選,幾乎全部排除,簡化成"gesture"於摘要後,開始有部份內容,經增加"gesture"條件聯集於專利範圍後得到較理想的案件數。另一分支關鍵字"head mounted display"也遇到類似問題,有部份申請者誤用"head mount display",故將關鍵字修正為"head mount* display",此時若加入"see-through"則會排除掉過多的案件,而"wearable"(可穿戴式)幾乎都會伴隨出現,故此二關鍵字暫時不加入。另外增加"near eye display"(近眼式顯示器)關鍵字並加大適用至申請專利範圍,改善過多排除問題。最後將二分支進行聯集,產生專利分析池。

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_專利檢索策略
下一頁:穿戴式顯示互動專利分析_專利分類號分析

穿戴式顯示互動專利分析_專利檢索策略


依據專利分析需求,初步歸納後大致分為三大關鍵字,"augmented reality"(擴增實境)、"head mounted display"(頭戴式顯示器)及"gesture interaction"(手勢互動),但對於手持(hand-held)顯示器、無法看穿(see-through)的頭戴顯示器、接觸式(如按鍵、觸控板、搖桿等)及部份非接觸式(如語音、運動感測器、數據手套等)人機互動方式希望排除,避免太多不必要資訊。

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_市場收購及合作訊息
下一頁:穿戴式顯示互動專利分析_專利檢索結果

穿戴式顯示互動專利分析_市場收購及合作訊息


註:簡報中Magic Leap併入Google為筆誤,應為Google投資 Magic Leap

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_募資平台專案
下一頁:穿戴式顯示互動專利分析_專利檢索策略

穿戴式顯示互動專利分析_現有市場分析─雙眼式


雙眼看穿式:
類似一般眼鏡,使用者配戴上較為舒適,顯示方式和單眼看穿式相同,有些會搭配二組或深度攝影機,可以算場景或物件深度(距離)。

眼罩看穿式:
通常會將顯示內容投影在眼罩上,對已配帶眼鏡的使用者較為方便,同時可看到較大範圍影像,甚至可產生雙眼式立體影像。

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_現有市場分析─單眼式
下一頁:穿戴式顯示互動專利分析_募資平台專案

穿戴式顯示互動專利分析_現有市場分析─單眼式


單眼看穿式:
將顯示內容直接投影或反射至視網膜上,使用者視線不會被阻擋,多半會另外搭配一組攝影機方便取得現實世界內容。

單眼局部遮蔽式:

為傳統軍事用途抬頭顯示器(Head-Up Display,HUD)之進化,通常顯示器不透明,會遮擋部份視線,但不影響使用者觀賞真實世界。

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:穿戴式顯示互動專利分析_穿戴式顯示及互動產業供應鍊
下一頁: 穿戴式顯示互動專利分析_現有市場分析─雙眼式

穿戴式顯示互動專利分析_穿戴式顯示及互動產業供應鍊


傳統的擴增實境應用方式較為單純,只需一台螢幕、一部攝影機及一台電腦就可運作,但自從Google Glass 問世後才讓世人了解到穿戴式擴增實境眼鏡(或稱智能眼鏡)是一項高度系統整合的系統,需要許多產業共同協力才能完成最終消費性電子產品。以整個產業以技術來看大致可分為三個部份:

上游硬體製造業:
包括光學元件、電子元件、感測元件及其它機構元件等。

中游系統軟體業:
包括嵌入式作業系統、辨識軟體、場景重建軟體、電腦繪圖軟體及其它週邊應用軟體等。

下游內容製作業:
包括三維模型製作、三維動畫製作、三維場景製作及其它加值應用。

參考資料來源:2015年大專院校專利分析與佈局競賽作品「穿戴式顯示及互動」

回到簡報首頁:實境互動新技術簡報分享
上一頁:新興AR開發平台簡介_Google ARCore
下一頁:穿戴式顯示互動專利分析_現有市場分析─單眼式

實境互動現況與趨勢_局端(Edge)計算


這裡指的局端計算又可稱為邊緣運算,意思是指不須網路連線協同運算,僅靠單一穿戴式裝置就能即時獨立解決影像內容分析、產生對應資訊及同步顯示的設備。簡報中提出的僅為目前市售較主流的計算核心,而其對應產品仍有賴各家廠商積極開發。目前市售較完整產品如Google Glasses, Microsoft Hololens等。

回到簡報首頁:實境互動新技術簡報分享
上一頁:實境互動現況與趨勢_雲端(Cloud)計算
下一頁:新興AR開發平台簡介_傳統AR開發工具簡介

實境互動現況與趨勢_雲端(Cloud)計算


由於語音、語義、影像的辨識及內容分析是實境互動輸入端最重要的項目,但此類工作大多須要極強大計算能力,難以由穿戴式裝置負荷,因此各廠商積極積推出雲端計算服務,如人臉辨識、表情分析、影像中物件分類定位、語義解讀、文字翻譯等功能。目前多半採取穿戴式裝置或行動通訊裝置利用網路將影音內容送回雲端計算後,再將影音辨識和分析結果送回裝置端的協同作法。

回到簡報首頁:實境互動新技術簡報分享
上一頁:實境互動現況與趨勢_產業週期與技術趨勢
下一頁:實境互動現況與趨勢_局端(Edge)計算

實境互動現況與趨勢_產業週期與技術趨勢


以下把此次簡報有提及項目之「產業技術週期」定位說明一下:

腦機介面:技術萌芽期 (達生產成熟期仍須超過十年以上)
便利的使用者介面:技術萌芽期 (達生產成熟期仍須5~10年)
局端計算(邊緣計算):技術萌芽期 (達生產成熟期仍須2~5年)
機器學習/深度學習:期望膨脹期 (達生產成熟期仍須2~5年)
辨識計算(雲端計算):期望膨脹期 (達生產成熟期仍須5~10年)
擴增實境(AR):泡沫破滅低谷期 (達生產成熟期仍須5~10年)
虛擬實境(VR):移步爬昇恢復期 (達生產成熟期仍須2~5年)

參考資料來源:2017年 7月 https://www.gartner.com/smarterwithgartner/top-trends-from-the-gartner-hype-cycle-for-midsize-enterprises-2017/

回到簡報首頁:實境互動新技術簡報分享
上一頁:實境互動現況與趨勢_從動漫電影到真實挑戰
下一頁:實境互動現況與趨勢_雲端(Cloud)計算

實境互動現況與趨勢_從動漫電影到真實挑戰


早在1984年的電影「魔鬼終結者」及動漫「七龍珠」中就已出現穿戴式實境互動裝置,此後許多動漫及電影中亦不斷出現此類技術,但真實世界已經有這些技術嗎?2009年MIT Media Lab 提出Sixth Sense技術,利用網路攝影機(WEBCAM)、微投影機(Micro Projector)及手勢控制,讓所有物件的平面都可以變成螢幕顯示相關資訊,同時可兼作觸控板直接操作。2012年GOOGLE推出Google Glass時更是一口氣把智慧型手機的體積縮到只有眼鏡大,透過攝影機取得真實世界及物件影像,結合語音及觸控功能來進行操作及互動,並將資訊顯示在眼鏡上,達到如同動漫「名偵探柯南」(1994)呈現的效果。而早就用於軍事用途的抬頭顯示器(Head-Up Display,HUD),也隨著阿帕契戰鬥直昇機2013在台灣成軍後首次讓國人了解到這項技術。2015年Microsoft更進一步結合立體攝影機及手勢直接互動,無需觸控板可直接於空中操作,而眼罩式眼鏡更可達到看穿或遮蔽的功能,可變化出更多不同的應用。

2017年初日本推出一部動漫改編電影「刀劍神域劇場版─序列爭戰」,其中情節充份滿足人們對未來AR發展的想像,僅須一台極輕便的裝置掛在頸後,就能隨意影響使用者看到及感受到虛擬的世界,更可與其互動,讓整個城市都變成你的戰鬥場,比起Pokemno GO要拿著手機到處追寶來得更真實許多。雖然可預期五到十年內這樣的科技還難以達成,但仍值得大家參考一下。


參考電影預告片來源:https://www.youtube.com/watch?v=CCLZojjD6wc

回到簡報首頁:實境互動新技術簡報分享
上一頁:實境互動現況與趨勢_實境互動(身歷其境、操控自如)
下一頁:實境互動現況與趨勢_產業週期與技術趨勢

實境互動現況與趨勢_擴增實境分類


擴增實境(Augmented Reality)主要是要讓觀賞者同時看到虛擬物件影像疊合在真實世界影像,依據虛擬物件成像的位置不同,可分為下列五大類:

視網膜顯示器:
直接將虛擬物件顯示內容直接投影至視網膜上,可分為光點掃描式及矩陣投影式。此類直接將較大能量聚焦在視網膜上,一有不慎就可能造成永久性傷害,所以目前較少見到此類技術及產品。

頭戴式顯示器:
主要分為可看穿式及不可看穿式。前者通常是將影像投影在一半反射透明板上,觀賞者就可同時看到虛擬物件影像及真實影像疊合在一起,近年來亦人用透明顯示器取代半反射板。而後者則是先利用攝影機取得真實世界影像,疊合虛擬物件後再一起顯示在LCD或OLED顯示器上,置於觀賞者眼前數公分距離,以得到虛實整合效果。

手持式顯示器:
透過手機或平板上的攝影機先取得真實世界影像,再疊合虛擬物件影像後,顯示在手機或平板的顯示器上。隨著使用者移動觀賞位置及視角同時改變虛擬物件成像內容,這樣使用者就會同時看到極具真實感的虛實疊合影像。

空間光學可看穿顯示器:
在多人同時要體驗AR時,上述三種方式就會顯得較不方便,此時可利用大型透明顯示器、全息投影膜(透明顯示幕)、空氣(水霧)幕或半透鏡來顯示虛擬物件影像,如此觀賞者即可同時看到虛擬物件及真實世界影像。常見的浮空投影或金字塔型類全息顯視器就屬於此類。

物體表面顯示:
直接將虛擬物件投影在真實物件表面,使用者不用額外配戴任何物件(如眼鏡、手機)就可多人同時感受虛實合一的感受。常見的光雕投影即屬於此類。

回到簡報首頁:實境互動新技術簡報分享
上一頁:實境互動現況與趨勢_何謂XR(eXtened Reality)
下一頁:實境互動現況與趨勢_實境互動(身歷其境、操控自如)

實境互動現況與趨勢_何謂XR(eXtened Reality)


1994年保羅•米爾格拉姆(Paul Milgram)和岸野文郎(Fumio Kishino)所提出「現實─虛擬連續系統」(Milgram's Reality-Virtuality Continuum)來定義虛擬實境及擴增實境。 在圖的左側為現實環境(Real Reality) ,而右側為完全虛擬的世界,所有場景及物件皆是由3D繪圖軟體產生,稱為虛擬實境(Virtual Reality)。當把真實影像貼上虛擬物件時,使得3D場景、物件看起來更接近真實世界時,則稱為增強虛擬(Augmented Virtual)。反之,當我們把虛擬的3D物件或文字資訊疊合至真實世界影像中時,就可稱為擴增實境(Augmented Reality)。而夾雜數種虛擬資訊及影像的方式就稱為混合實境(Mixed Reality)

由於各種技術及各家產品製造商欲取得市場認同,有時會創造出新名詞方便使用者區別,但本質上還是不脫上述「現實─虛擬連續系統」範籌,以下就依常見技術名詞簡單解釋如下。(依英文字母順序排列:AR, CR, DR,ER,HR, MR, RR, SR, VR, XR)

Augmented Reality (AR) 擴增實境(增強現實、增強實境)
將虛擬影像疊合至真實世界影像後,再一起被使用者觀賞,可依文字資訊及虛擬影像內容疊合至真實影像的貼合準確程度分為弱 AR及強AR。弱AR只是用於顯示資訊或圖像,多半用於提示使用者用途,如車用抬頭顯示器,知名手機電玩Pokemon GO都只是將虛擬物件疊合回現實世界影像,但卻和真實世界的視角、尺寸都沒有關連。而強AR的虛擬物件可完全融入真實場景,不僅尺寸、視角完全對應,甚至連光影、遮蔽都符合現實世界場景,令使用者感覺彷彿虛擬物件真實存在。

Cinematic Reality (CR) 電影實境
由 Magic Leap提出的概念,希望虛擬物件疊合到真實世界影像中時,除視角、尺寸符合場景外,物件的光影能即時產生和真實世界一樣的光影,如果電影特效般的效果。

Diminished Reality (DR) 削弱實境
是一種AR反向應用,把連續影像中特定物件去除,等於是自動建立欲去除物件不存在的背景影像後,再把背景影像即時依視角疊入原影像中 (Video inpainting),就像AR把虛擬物件疊入真實世界影像。2017年6月 Adobe Max 2017大會上推出的Cloak技術也可歸屬此類。

參考影片  https://www.youtube.com/watch?v=FgTq-AgYlTE
                https://www.youtube.com/watch?v=TzBZWBht02I (Adobe Cloak)

Education Reality (ER) 教育實境
這是台灣一個新創團隊提出的名稱,基本上屬於AR的一種,主要希望藉由全息投影來讓歷史名人或虛擬人物來幫大家上課,以提升學習的興趣增加學習效果。

參考網頁  http://www.rockfuture.net/show/person/content-979.html
參考影片  https://www.youtube.com/watch?v=UJ_MWacePEM

Hybrid Reality (HR) 複合實境(混合實境)
常和Mixed Reality視為相同概念或同義詞。在著名募資網站Kickstarter上曾有推出一概念性影片,用來描述未來世界應用情境,雖然很多離現實還很遙遠但仍有許多值得參考的地方。

參考網頁及影片  https://www.kickstarter.com/projects/723600195/hyper-reality-a-new-vision-of-the-future

Mixed Reality (MR) 混合實境
此一名詞早於1994年「現實─虛擬連續系統」中被提出。2015年Microsoft推出Hololens產品時其技術可精準掃描現實3D場景並將虛擬3D物件影像精準疊合回現實影像,為區別和Google Glasses只能將文字疊合於現實影像中,於是將此一名詞變成專屬的行銷名詞。從「現實─虛擬連續系統」定義中可得知,平日常見的光雕投影,把虛擬物件投影在物體表上,亦可屬於混合實境的一種。

Real Reality (RR) 實物實境
2016年由國內鈺立微電子和鈺創科技所共同推出的「寰宇電眼」所提出的名稱,大致上可歸屬在VR相關技術中。主要是將 360度球型攝影機所拍攝影像即時轉入VR顯示器中,讓朋友在遠端攝影自己卻有陪在身邊的感受。

參考網頁  http://www.etron.com.tw/tw/pr/latestnews2.php?ID=410
參考影片  https://www.youtube.com/watch?v=IeplSqjqU-k

Substitutional Reality (SR) 替代實境(置換實境)
由日本理化學研究所腦科學研究中心提出,是一種結合真實影像結合時間不連續的技術,首先讓使用者看到現在時間現實影像,之後隨意替換現實影像及先前預錄現實影像,令使用者產生一種時空混雜的感覺,有助於了解人的感知行為或者作為新形態的藝術創作。

參考網頁  http://www.riken.jp/en/outreach/ip/23946/ 
參考影片  https://www.youtube.com/watch?v=wGE-Y7ROduk

Virtual Reality (VR) 虛擬實境
利用頭戴式顯示器將虛擬(具視差)影像投射到雙眼,令使用者看到如真實世界影像及立體感。早期電腦運算速度不高,使能用簡單三角面及素色表示3D虛擬物件,並搭配特殊感測器即時改變觀賞視角。隨電子技術演進,真實影像亦可當作貼圖置於虛擬物件表面及場景中,增強虛擬(Augmented Virtual, AV)物件的真實感,而這項技術目前已很少單獨稱呼,而直接併入虛擬實境一詞範籌中。如今隨360度攝影機取像技術成熟加上電腦運算速度飛奔,許多真實場景和3D虛擬物件已可即時產生對應視角及動作,讓使用者能更身歷其境的感受。

eXtended Reality (XR) 延伸實境
或稱Cross Reality (XR),其中X亦可當成任意字解釋,因為現在常聽到的技術主要以AR, VR, MR為主,未來還有什麼R仍是未知,所以X可以來表示全部技術。2017年7月晶片大廠Qualcomm開始以"eXtended Reality, XR"來推展其晶片在行動裝置的可行方案,希望未來不管AR, VR, MR都能包容其中。

相關報導  https://www.qualcomm.com/news/onq/2017/05/31/extended-reality-convergence
參考影片  https://www.youtube.com/watch?v=hPiG0ox-Jw8

回到簡報首頁:實境互動新技術簡報分享
上一頁:實境互動新技術簡報分享
下一頁:實境互動現況與趨勢_擴增實境分類