從CES 2021看實境互動技術未來發展

 

一年一度的消費性電子展（CES 2021）最近（2021/1/11-14）剛結束，今年在Covid-19疫情攪局下全部都改為線上展出，雖然各大廠有推出許多精采的產品介紹影片，但總覺得少了一點味道。台灣方面在科技部領軍下，集結了31個單位100個新創公司共同參與，並在「台灣科技新創基地(TTA)」的協助下打造了一個VR線上展覽館。

不過對於想在PC上使用一般網頁瀏覽器來體驗TTA這個VR線上展覽館的朋友要有點心理準備，因為這個介面是極度不友善的，體驗感受極差，想仔細看一下廠商提供的資料，不論是影片或靜態資料都會一直不斷的被移動（場景水平旋轉），且無法將想看的資料放大到全螢幕，根本很難閱讀。另外當畫面移到某個正在播放影片時，卻沒有將沒出現在畫面正中央的但還在播放的影片聲音靜音，導致有多組聲音一起在播放，實在難以聽清楚在介紹的內容。或許下次應該考慮同步多提供一般2D網頁式操作介面，再由使用者自行選擇是使用VR設備或普通電腦操作會更理想些。

整體看下來，本次CES可能是去年受疫情影響，各廠家研發進度感覺上有點落後，因此亮點並不多。為方便大家理解此次展會在「實境互動(Reality Interaction」領域中有何值得關注的產品。

一般來說實境互動包含取得真實世界資訊（如3D掃描、建模等）、顯示（疊合）虛擬世界物件到真實世界（如VR, AR, MR, XR顯示眼鏡或裸視3D顯示器等）、人機互動（如手勢、頭部姿態、眼睛注視、運動感測器、力回饋設備等）等技術整合而得。接下來就針對這三大領域的新品幫大家作一些簡單盤點，如有遺漏的地方再煩請多多在留言區交流並提供相關資訊。（註：產品排列順序不代表任何意義）

從CES 2020看實境互動發展

CES 2020 消費性電子展這兩天(1/7~1/10)在美國拉斯維加斯熱鬧展開，台灣除了經常性參展的廠商外，科技部還率領了82家科技新創公司一起共襄盛舉，期望台灣的新創能量能被更多人看到，此次果然不負眾望，有十三個團隊獲得創新大獎，更多新聞可以參考「【CES 2020】科技部 TTA 82 家科技新創進軍 CES，勇奪 13 項新創大獎」。

CES 2020 實境互動相關技術(OmniXRI整理製作) （點擊圖片放大）

此次CES各廠商無不絞盡腦汁把最新技術端上檯面，希望能吸引到更多目光。個人雖然沒能親臨現場（因為沒有乾爹幫忙），但也很認真的把各家新聞及YOUTUBE上的採訪影片看了個遍。接下來就把個人最關注的「實境互動」領域相關的資訊整理一下，讓有興趣的朋友也能順便了解一下相關技術的最新發展。

【課程簡報分享】20191017_磕科讀書會#6_XR新視界實境互動應用與發展趨勢

感謝好友Lanma邀請今日在台灣行雲會磕科讀書會和大家分享「XR新視界實境互動應用與發展趨勢」這個主題。此次的分享少了點技術，多了點應用實例，一共準備了二十多個小短片，讓大家能更輕鬆了解XR未來的可能性。

本次簡報主要內容如下，相關小短片亦附在文章中，有興趣的朋友可以泡個茶慢慢欣賞。

何謂實境互動
  到底有多少R ?  何謂AR/VR/MR/XR  擴增實境分類  寶可夢是AR遊戲嗎？
  Minecraft Earth AR遊戲  FB Horizon VR社交平台
  知名AR/VR動漫 刀劍神域  夏日大作戰
  知名VR電影 一級玩家  創-光速戰記
  知名AR（MR）影集  阿爾罕布拉宮的回憶  銀翼殺手2049

系統架構
  虛擬實境(VR)  擴增實境(AR / MR)  VR主要工作流程  AR(MR)主要工作流程
  VR眼鏡_HTC  MR眼鏡_Microsoft HoloLens
  AR眼鏡_Magic Leap One  Magic Leap One 專利解析

內容開發
  Google AR Core  Apple AR Kit  FB Spark AR  AR引擎

場景落地
  交通導航  醫療輔助  製造維修  營造裝潢  教育學習  日本、美國展會

人才培育
發展趨勢
未來應用

最後再用Google Cardboard VR 360街景和米菲多媒體的MAKAR製作的AR名片讓大家體驗一下VR和AR的使用感受。

以下就是此次簡報，如有任何想法歡迎在下方留言討論。 
（點擊圖片可放大觀賞，相關影片來自Youtube，如有連結失效敬請見諒）

參觀台北digiBlock AVR+ School心得

很高興2019/8/28(三）參加了一整天的「United XR 2019 亞太創新科技產業高峰會」。早上大會邀請了許多專家學者來分享工作經驗，下午則進行「XR開發者黑客松大賽 XR之星 」頒獎，並和許多得獎團隊互動交流。晚上更加碼邀請AVR+ School及業者來分享，並邀請與會人士一同參觀各項大型設備，實在是收獲滿滿。

目前AVR+ School主要是設在台北市digiBlock台北數位產業園區B棟（台北市大同區承德路三段287號），裡面除了提供AVR相關學習課程外，另有大型實驗驗場域及設備，更協助媒合學生與業界產學及就業。

之前在許多學校及業界參觀時有看過這些大型設備，但一口氣能看到這麼多設備（號稱花了八千萬）實在非常難得，就趁這個機會多拍了幾張照片分享給大家。
（點擊圖片可放大）

背投式曲面（內凹型）顯示屏，可做為大型內容顯示，由數台大型投影機背投無縫拼接而成。可配合做AR/VR效果展示用。

Siggraph Asia 2018 先進技術(Emerging Technologies)解析

「ACM Siggraph」是電腦圖學及人機互動最頂級的研討會，從1974年舉辦至今，主辦地幾乎都在美國，為了讓亞洲地區優秀的研究人員能就近參加，因此自2008年起另外成立「ACM Siggraph Asia」研討會，由亞洲、澳洲地區輪流主辦，其投稿難度亦不亞於「Siggraph」，今(201812/4~12/7)年度首次於東京舉辦。

Siggraph Asia研討會中除了精采的論文發表外，更有許多概念性的先進技術(Emerging Technologies)被推出，包括電腦圖學整合應用、人機互動裝置、實境互動(AR, VR, XR...)應用、特殊顯示器等項目。這個項目通常會吸引最多人駐足參觀，因為可以現場直接感受一下最具未來感的體驗。

今年「先進技術」項目共收錄了18組作品，其中有兩組來自台灣，台大、交大各一組，其餘都被日本學界和業界包辦，雖然往年日本在此項目為主要大宗，但今年竟然沒有其它國家作品入選，實在有點令人不解。今年官方釋出的影片只有收錄9組精采片段，而其它部份可能就得自行參閱官方網站了。接下來就依影片內容順序幫大家摘要一下這些精采作品的概念，希望能讓大家能對這些技術更多了解，如有個人認知錯誤或有其它看法歡迎留言一起討論。

Siggraph Asia 2018 Emerging Technologies 官方影片：

影片來源：Youtube (如遭移除敬請見諒)

機械姬(Naomi Wu)新作「AR變臉」

在創客界大概沒人不認識深圳這位人稱「SexyCyborg」的超級美女Naomi Wu吧！最近她又有新作「AR變臉」推出了，雖然沒有用到什麼高科技，但令人驚豔的視覺效果，還是忍不住想向大家介紹一下。

SexyCybrog Naomi Wu AR變臉 (點擊圖片放大)

AR眼鏡走入劇場感受不一樣的演出

2009年是3D電影開始發光發熱的一年，這一年「阿凡達」的大賣讓人們重新回到電影院感受不一樣的聲光效果，人們開始了解及習慣帶上一幅看起來很呆萌、笨重的眼鏡就能進入一個不一樣的世界。

為了讓3D視覺效果更身歷其境且能創造出更超現實的場景，虛擬實境(VR)眼鏡就成了不可或缺的工具，但這樣的影音效果如何呈現，可就苦了一堆導演，因為實在難以誘導觀眾將視線注意在想要表達的演員及物件上，更難產生傳統運鏡所能傳達的情感。另外對於觀眾而言除了配戴笨重的眼鏡的不舒適感外，過於強烈的視覺震撼及接近處於幽閉環境的感受也是讓大家不想輕易嚐試的一大難題。

於是有些人就想到利用擴增實境(AR)眼鏡走入劇場，讓觀眾可同時看到演員在表演，又可同時觀看(獲取)到額外的資訊或是意想不到的聲光效果，免除劇場對於佈景道具及聲光特效的安排，對於觀眾觀賞的舒適度有很大提升，且對於導演在劇情的安排、演員的走位及視覺特效也能更容易掌控。

接下來就以英國皇家劇院及以色列ARShow公司如何導入AR眼鏡到劇場做一簡單介紹。

一般聽障朋友到電影院看電影大概還不會有太大問題，因為有字幕可看，但他們可能很難到劇場看現場演出，因為他們看到的內容就像我們正常人在看默劇一樣，很難融入演出內容中。最近看到英國皇家劇院竟然結合EPSON AR眼鏡，讓聽障朋友也能即時看到演出字幕，實在是一項非常貼心的服務。演出過程中若不小心台詞和字幕不同步時，系統也會以最快時間重新同步，就像公車上報站系統不同步時司機會手動操作讓它前跳到正確位置。看來AR眼鏡的應用又多了一項，有興趣的朋友可參考下面CNN的新聞的連結。

AR 字幕眼鏡，圖片來源 (點擊圖片放大)

美國FDA首次批准醫療AR解決方案OpenSight

2015年微軟推出第一款具有獨立作業系統(Win10)的擴增實境(AR)眼鏡「HoloLens」。它不僅擁有強大的運算能力，更有寬視角高解析度的半透顯示能力，同時具有多個攝像頭可進行場景3D掃描，並可直接由手勢操作顯示在半透明的頭罩上的虛擬物件，因此一推出就大受歡迎，教育、維修、設計、醫療等領域都有人投入開發相關應用程式。

目前醫生在進行外科手術時，通常旁邊都會有螢幕可即時看到病患之前的X光或斷層掃描(CT)影像方便醫生在動刀時能更精確斷定開刀部份。不過這樣的方式醫生常要一邊看螢幕一邊看開刀部位，實在很不方便，也不夠準確。因此當微軟推出HoloLens後就有很多廠商投入醫療用AR應用程式，希望令醫生可直接看到患者要開刀部位，並可同時疊加已3D建模好的醫療影像，如此就能更正確知道開刀位置及深度。

Novarad OpenSight 應用HoloLens的AR醫療技術。 圖片來源 (點擊圖放大)

LifePrint利用AR技術實現了哈利波特中會動的圖片

記得數位相機剛興起時我也買了一台送給愛拍照的父親，當時數位相片要分享給別人可不像現在有FB或LINE這麼方便，所以常要到相館把照片沖洗出來再送給別人，因此父親便成了相館的VIP。後來雖然自家有了高解析的彩色印表機和高品質的噴墨相紙可以輸出，但父親還是習慣到相館沖洗(輸出)相片，幾年前大家開始使用手機APP(LINE, FB...)拍照及分享後，就幾乎不再到相館沖洗照片了。

2015年「LifePrint」成功在KickStarter集資成功並在2016年開始供應隨身(微型)相片列印機，用以取代傳統拍立得及桌上型相片列印機，在當時掀起一股懷舊風，紛紛有廠商投入，變成朋友間增進情誼的最佳伴手禮，讓朋友間可以留住歡樂瞬間的影像。

LifePrint AR 照片列印機 圖片來源 (點擊圖放大)

天啊!HoloLamp怎麼把我的桌面變成立體顯示器了!

相信一般講到擴增實境(Augmented Reality, AR)，我想大家大概都會想到拿著手機對著一個很像QR Code的圖標或一張特定的圖片轉來轉去，然後手機上就會出現一個可愛的3D公仔對著你裝萌，隨著你的手機前後、左右移動，那個3D公仔還隨手機的位置改變視角及大小，好像一個活生生的實體在你眼前。更進一步來看，當帶上像Google Glass, HoloLens, Meta2這類AR眼鏡時，使用者也可看到類似的效果。

從比較學術的角度來看，「擴增實境」從直接投影在視網膜到俗稱「光雕」直接投影在真實世界物體，反正只要把虛擬影像疊加在真實世界，讓眼睛同時看到，這樣的技術都可歸類在AR技術。

而擴增實境技術最主要由虛擬影像產生、顯示裝置及取像追蹤技術組成。首先找一個特定物件(一般為平面圖案)利用攝影機取得其影像並提取特徵點(如角點)，接著計算攝影機視角(俯仰角、焦距)及距離，再依計算出的視角重新渲染(Render)繪製3D虛擬物件並合成至剛才取得的真實世界的影像，最後顯示顯示器或投影機上，如此就可讓虛實影像同時整合。

這樣的概念當然也可反過來使用，讓一台微投影機放在桌面特定高度向桌面投影，再依使用者觀常視角產生對應視點(角度及距離)的影像，如此就可令使用者看到非常逼真的3D立體影像，而不用配戴任何AR眼鏡。於是「HOLOLAMP」這家新創公司就推出這樣同名的產品，雖然不能說是最早有這種想法及實現這種概念的產品，但從展示影片來看其技術還是不錯的。

HoloLamp應用於點菜情境。圖片來源 (點擊圖放大)

有了這技術從此簡報時不會再有人影擋住畫面了

相信很多人都有用投影機簡報的經驗，有時常會不小心走到投影機前，此時除了眼睛被投影機的強光照的很不舒服外，身體還會產生陰影擋住投影的內容，讓觀眾看不到投影的內容。為了解決這樣的問題，有些人可能會選擇短焦投影機，讓人不會擋到投影內容，但遇到大型投影內容時可能還是不容易處理。

最近韓國科技學院(KIAST)提出了一項可即時處理掉因人擋住投影產生的陰影問題。概念上很簡單，就是用二台以上投影機進行拼接投影，同時偵測人員距離投影機位置，並計算產生陰影的大小，然後去除會產生影子區域的投影內容，如此便不會產生影子。

Fig. 1 系統架構圖 (點擊後放大)

戒指型滑鼠帶來擴增實境(AR)人機界面(HCI)操作新想法

今年八月終於看到花了七年燒了二十多億美金的Magic Leap推出其類光場擴增實境(Augmented Reality, AR)眼鏡Magic Leap One(以下簡稱MLO)。推出後不斷有令人失望的報導出現，甚至說它是世紀大騙局。隨著第三方軟體陸續開始支援後，我還是期待他們能有更好的產品及應用程式推出。

目前MLO雖然有支援手勢操作，但其操作精度及效果似乎和微軟的Hololens有類似問題，支援手勢種類、反應速度、操作精度及直覺性都不如人意，所以出貨時還是有搭配一組手把(搖桿)，以便能像滑鼠有極佳地操控性。雖然個人覺得一個好的AR眼鏡最終還是要完全擺脫手把，但目前想要完全靠視覺辨識手勢確實也有點不容易。想像一下，帶個AR眼鏡出門結果還要拿個手把操作，這明顯就變得有點誇張也不切實際，難道就沒有更好的解決方式。

Scroll (點擊圖片放大)

【AI_Column】影像式AI虛擬助理真的要來了嗎？（下）

上一篇從影像式AI虛擬助理的應用場景以及關鍵技術進行討論，本文則著重在於市場趨勢發展，在目前市場發展的趨勢下，「語音助理」已經看似走到了瓶頸，而影像式AI虛擬助理是否能為「語音助理」帶來一道新的氣象？

從2D到3D的AI虛擬助理

2011年Apple Siri上市後，許多廠商就把較單純客服性質的對話服務移轉到具有聊天機器人的2D虛擬分身（Virtual Avatar）或稱虛擬助理（Virtual Assistant）、虛擬代理人（Virtual Agent）的系統上，但螢幕上虛擬人物最多只能點點頭、微笑說話，並不能有太多互動，且對話內容僅限服務項目。

後來許多網路攝影機（Webcam）廠商也陸續推出簡易型虛擬分身，讓使用者在網路上和其它人交流時可以不必顯示真面目，而以虛擬代理人顯示，此時的技術已可做到簡單的人臉位置追蹤及聲音驅動嘴形開合（嘴形和發音無關）。

近年來隨著人工智慧及智慧音箱技術的突飛猛進，因此影像式AI虛擬助理也隨之興起另一波風潮。以下就簡單盤點一下目前已發佈消息及已上市產品，包括日本Vinclu的Gatebox、韓國SK Telecom的HoloBox、美國DoubleMe的HoloTube、HoloDash及Samsung的Project Aurora。

互動式浮空投影機「Waiik」簡介

想必大家對電影「鋼鐵人」中那個神乎其技的浮空投影技術已經肖想已久了，但現實中那項技術幾乎作不到，因為很難讓光點停在半空中(除了電漿爆破技術外)。幾年前有人利用投影機投影在氣幕上就可達到類似浮空投影的視覺效果，但一台就要一到二萬美金，如今有人在知名集資網站Kickstarter上進行集資，這項名為「Waiik」的互動式氣幕投影機竟然一台只要不到七百美金，有興趣的朋友可以參考一下。

圖片來源 (點擊後放大圖片)

「遊戲王」戰鬥卡牌AR桌遊真的來了？

小時候看了「遊戲王」那個戰鬥卡牌卡通後，就一直在幻想那個帥氣的浮空投影戰鬥場面何時才能在真實世界實現。幾年前「Pokemon GO」帶起了一波擴增實境(AR)遊戲風潮，雖然它不能算是真的AR應用，只是把神奇寶貝貼在真實場景畫面上，但多少也滿足了童年時那個卡通夢。

最近在集名集資網站Kickstarter上看到一個專案「Spatial」(已完成集資)，竟有點小激動，因為它已非常接近「遊戲王」這種遊戲感覺，有卡牌，有浮空視覺效果，玩家可直接出牌就能在半透鏡上看到互動效果，再搭配搖桿操作就可進行更複雜的互動，完全就是「遊戲王」的翻版。

【AI_Column】影像式AI虛擬助理真的要來了嗎？（上）

語音助理發展至今，儼然已成了「超級紅海」，但下一個「藍海」在那裡呢？會是帶著顯示器的語音助理，甚至是擁有分身代理（Avartar Agent）具像化的虛擬（偶像）助理嗎？接下來就從應用場景、關鍵技術及市場趨勢來為大家說明。

應用場景

2011年Apple首先將語音助理Siri變成旗下iPhone等系列產品的標準功能，使用者可直接用語音查詢天氣及採購商品，還能陪你聊天。Amazon在2014年推出Alexa更進化到可以用語音控制家電，使得智慧家庭得以實現。而Google也不干示弱於2016年加入這個戰場，推出Google Home系列產品來應戰。加上大陸及台灣大廠及新創團隊的加入，語音助理這塊餅是越來越大，影像式的AI虛擬助理也逐漸出頭，先從電影裡一探AI虛擬助理的應用吧！

常看科幻電影的朋友，對2002年「時間機器」中圖書館員的橋段應該不陌生：1889年的亞歷山大駕著自己開發的時光機到了2030年的圖書館中想查資料，卻被眼前看似玻璃的顯示器中突然出現的虛擬圖書館員（VOX-114）嚇了一大跳，不但可以用真人形象出現，更能用流利的口語及豐富的表情和亞歷山大對話。

電影「時間機器」虛擬圖書館員場景（圖片截圖來源：https://youtu.be/CQbkhYg2DzM)

Magic Leap One 深度剖析

拿了投資者近26億美金的「Magic Leap」歷時七年多開發後最近終於開始將「Magic Leap One」(以下簡稱ML1)交到開發者手上進行實機測試，因此許多開箱文及影片陸續傳出，褒貶不一。雖然無緣成為第一批使用者，但前不久(2018/8/9)前也根據「What the Feature」所公開的影片及過往開發人機互動及使用過HoloLens經驗在FB上寫了一篇心得，獲得許多網友分享。這兩天又看到Lucas Rizzotto約15分鐘的試用影片及文章，覺得寫得相當不錯，於是我藉花獻佛將影片重點及個人心得整理一下分享給大家。

在Lucas Rizzotto的「Magic Leap One In-Depth Review」這個影片中，共分成六個項目進行解析，包括硬體、空間網格化及追蹤、操作系統、應用程式(APP)執行、WebMR瀏覽器(Helio)及視野(FoV)。接下來就依影片順序進行摘要並加上個人解讀。

下一個要流行的會是「人工智能虛擬助理」嗎?

最近看到一個新聞「30 萬日圓的 Gatebox 僅 2 萬就搞定？」本想有什麼驚人之作，這樣高度整合的技術竟如此簡單就被破解，沒想到只不過是用透明顯示器就搞定。回想我和朋友2014年參加Maker Fair Taipei時就DIY過一個用平板改裝的透明顯示器互動魚缸，早知道當年就搞個初音的影片來放，如今就不會有這條新聞。

【日本神人】影／高手在民間！30 萬日圓的 Gatebox 僅 2 萬就搞定？ 網友：這不科學
https://www.limitlessiq.com/news/post/view/id/5754/

穿戴式顯示及互動專利分析

2012年Google Glasses造成一股AR眼鏡旋風，大家都希望從此可以過著如科幻電影般的隨心所欲獲取及處理數位資訊，可惜地是當年很多條件都不成熟，所以這項產品不到兩年就消失於市場。後來2015年微軟推出Hololens時重新以MR(Mixed Reality)商業術語(其實就是Strong Augmented Reality)包裝，同時兼具AR/VR效果，加上強力的3D掃描及手勢互動，的確又吸引了一波市場熱潮，但可惜的是單價太高(US$3000~5000)難以全面普及化。去年及今年隨著AI語音、影像辨識及3D感測器(光學)技術的成熟，加上市場謠言不斷APPLE即將推出AR眼鏡，因此可想見未來一、兩年內穿戴式顯示及互動技術又會變成顯學。

小弟2015年曾參加全國專利分析比賽並得了一個小獎，題目正是這個題材，當時光了二、三個月整理了一千多篇專利，並根據期望目標的限制收歛到69篇，最後再仔細閱讀後整理得到一些脈胳。雖然這份資料舊了些，但對有心入門了解的人可免去寶貴時間分析，藉由整理好的專利編號就可以順藤摸瓜，是很好的起頭。