2028年12月31日 星期日

【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考!


【課程及活動簡報】>>



【開源碼專區】>>



【系列發文專區】>>


2018年12月10日 星期一

機械姬(Naomi Wu)新作「AR變臉」

在創客界大概沒人不認識深圳這位人稱「SexyCyborg」的超級美女Naomi Wu吧!最近她又有新作「AR變臉」推出了,雖然沒有用到什麼高科技,但令人驚豔的視覺效果,還是忍不住想向大家介紹一下。

SexyCybrog Naomi Wu AR變臉 (點擊圖片放大)

一般聽到擴增實境(Augmented Reality, AR)時,可能會想到Google眼鏡、微軟Hololens、Magic Leap One等高科技,再不然可能會想到像寶可夢這類電玩,但大家可能常忽略光雕投影也算是一種AR。為什麼這麼說呢,在學術界定義只要把數位影像或文字和真實世界影像疊合在一起的技術都算是擴增實境一種,從直接將虛擬內容投影在視網膜或鏡片上,或者透過手持、透明顯示器同時顯示虛實影像,甚至將虛擬數位影像投影在實體物件都可以算。(延伸閱讀[1])

中國四川的「變臉」表演一直都是祕而不隨便外傳的技藝,為了呈獻這樣的視覺效果,於是Naomi把腦筋動到利用微投影機直接投影在臉上的方式來完成光雕「變臉」。雖然這樣的玩法早在2016年Lady Gaga就已在葛萊美獎開場時驚豔了所有人,但這項表演背後的技術卻非常複雜,需要事前對表演者進行人臉3D掃描,再依據其臉部模型進行動畫設計,表演時還要透過特殊紅外線攝影機即時追蹤臉部動作(如張眼、張嘴等)再即時修正投影內容,需要很高的計算量才能完成(延伸閱讀[2])。

Lady Gaga 2016葛萊美獎開場數位變臉 (點擊圖片放大)

Naomi捨棄這麼昂貴及複雜的作法,只要一頂大帽子,加上一台微投影機及行動電源就能作出類似的效果,雖然精細度及效果不如Lady Gaga的表演,但這樣的技術可是可以上街展示的。話說回來,雖然只是用微投影機投影在臉上,但仍有許多問題要解決。首先是最小投影距離問題,一般這類微投影機最小可清晰投影距離大約20~30公分,若直接裝在帽子上,那帽子的尺寸就變得很大,戴在頭上看起來就很不搭。所以要另外加上一個凹透鏡將成像距離縮小,同時放大影像尺寸,這樣就能讓帽子的尺寸縮小一些。當然為了固定投影機和透鏡就需要設計一個固定座再用3D印表機印出。再來是要依據投影出的尺寸調整顯示內容大小、位置甚至要做預變形,才不會讓投影內容在臉上無法正確對位,尤其是兩頰部份。最後是電源問題,微投機主要是利用高功率(1~5W)LED做為光源,因此非常耗電,需要大容量的行動電源來支撐。為了使帽子戴在頭上不會產生重量不平衡,所以投影機和行動電源的位置就需要仔細配重,才不會頭重腳輕。

左圖:原始投影效果,右圖加入透鏡效果 (點擊圖片放大)

將投影機安裝於帽緣 (點擊圖片放大)

左圖:投影內容原始圖像,右圖投影預矯正變形圖像 (點擊圖片放大)

左圖:安裝行動電源並測試平衡,右圖:將微投影機及行動電源固定於帽緣前後方 (點擊圖片放大)


當然目前的做法還不算太好,因為當帽子稍微偏了就無法正確投影在臉上,若未來加上攝影機及簡單人臉辨識(如OpenCV等)計算確認眼睛、眉毛、鼻子、嘴巴的位置,那就能得到更完美效果了。身為創客的你是否已經開始手癢想要自己動手做一台來玩了呢?

Naomi Wu AR變臉完整影片:

影片來源:Youtube 若遭移除敬請見諒

Lady Gaga數位變臉相關影片:

影片來源:Youtube 若遭移除敬請見諒

延伸閱讀:

[1] 實境互動現況與趨勢_擴增實境分類 https://omnixri.blogspot.com/2017/11/blog-post.html

[2] LADY GAGA 在葛萊美變臉,全靠他的黑科技|專訪淺井宣通 https://www.mydesy.com/nobumichi-asai

2018年12月2日 星期日

走進虛擬實境(VR)世界的跑跑卡丁車

二十多年前台北大亞百貨公司(現台北火車站前亞洲廣場大樓)從日本SEGA引進台灣第一部具有實車操控的3D賽車遊戲機,其熱門的程度不輸今年公投的排隊盛況,對於當時還是學生的我,自然也不能缺席,雖然玩上一次就得花好幾天的吃飯錢,但那種隨著賽車過程產生的視覺效果加上車體加速搖晃及撞擊後產生的力道,至今實在難以忘懷。

近年來虛擬實境(VR)眼鏡技術成熟,為了讓遊戲更令人身歷其境及增加刺激感,於是開始把這種會隨遊戲內容改變座位角度、振動的機構加入遊戲中,除了賽車遊戲外像雲霄飛車、採礦車、勇士激流、飛行戰鬥、太空冒險等遊戲都很合適。但這些機構只能在原地搖晃,很難產生前後運動持續的加、減速度感,於是英特爾(Intel)、K1 Speed和Black Trax合作開發出了一套真實跑跑卡丁車(Go Karts)的VR遊戲,使用者可以戴上VR眼鏡在真實的小型賽車場上駕駛,享受奔馳在虛擬世界的快感。


大家一定會懷疑,使用者帶上VR眼鏡不是看不到真實場景嗎?這樣一踩油門不就撞到了嗎?大家不用擔心,因為他們首先利用光達(Lidar)3D掃描器將整個場景完整掃描下來,再依實際場景、賽道建立虛擬場景。為了讓系統即時得知駕駛的位置、速度,所以除了在車上裝設許多感測器外,另外在車體上加裝許多紅外線感測點,並在場內裝置28隻高速紅外線偵測攝影機,就像一般運動補捉(Motion Capture)系統的作法。當在虛擬場景撞到物件或路況改變時還會自動將卡丁車的速度限制下來,讓使用者更有阻力的感受。

這樣的系統目前已初步完成測試,相信不久的將來應該就會在許多大型遊樂場出現,不知到時候體驗一次會不會像二十年前要花好幾天的飯錢才能感受一次。

相關新聞及圖片來源
https://vrscout.com/news/master-of-shapes-vr-go-kart-racing/?fbclid=IwAR0nADo3WTkjPFQd9N-CyYj42b7ejhuc1HwI9xnFbIdJdD7roKj8CRh6yfo#





相關影片:
影片來源:Youtube

神經計算棒大比拼

Movidius成立於2005年,專注於低功耗電腦視覺計算晶片開發,2016年正式被Intel收購。他們最著名的產品就是USB神經計算棒(Neural Compute Stick, NCS),又稱為VPU(Vision Processor Unit),其中主要晶片代號為Myriad 2(MA2x5x)。這項產品主要的特點就是USB型式,可插在執行Linux(Ubuntu)的桌上型電腦或嵌入式系統,尤其可支援創客最愛用的樹莓派,使其可以加速執行深度學習推論工作。

Intel Movidius NCS 2 (點擊圖片放大)
Intel NCS主要採用Myriad 2(MA2450),具有2顆32bit RISC CPU,4Gbit(512MByte) DDR4記憶體,12組128bit SHAVE平行處理器,其算力約可達1TOPS(Operation per Second),支援16/32bit浮點數及 8/16/32bit整數運算。目前這顆晶片另外還有提供Google AIY Vision Kit(v2), 大陸觸景無限─角蜂鳥等產品,其售價依序分別為US$79,US$89及¥699。

Intel Movidius產品說明及Myriad 2 MA2x5x完整規格
Intel Movidius Myraid MA2150 (點擊圖片放大)
https://www.movidius.com/myriad2

https://movidius-uploads.s3.amazonaws.com/1532512604-1503680554-2016-12-12_VPU_ProductBrief.pdf

Google AIY Vision Kit
Google AIY Vision Kit  (點擊圖片放大)

觸景無限─角蜂鳥
觸景無限─角蜂鳥  (點擊圖片放大)

上個月(2018/11)Intel正式推出NCS 2,改採用Myraid X(MA2485),其算力大幅提升至4TOPS,搭配Intel OpenVINO時還可將影像辨識及物件偵測能力提高,當然售價也隨之提高至US$99。同一時間Orange Pi也不甘示弱推出只要US$69的AI Stick 2801 NCS,採用海青(Gyrfalcon)光矛(Lightspeeur)SPR2801S晶片,搭載2GByte記憶體,最大算力可達5.6TOPS。Intel NCS 2目前可支援Tensor Flow / Caffe,而Orange Pi NCS只能支援 Caffe / Pytorch,方便性略差了些。另外各家對於OPS的表示方式並不能完全代表推論執行的速度,這中間牽扯到記憶體運作、模型優化及其它各種問題,或許未來能有較公平的效能評比基準,就能擺脫單純用運算速度比較的基準。

Intel Movidius NCS 2產品說明及Myriad X MA2485完整規格
Intel Movidius Myraid X MA2485 (點擊圖片放大)
https://software.intel.com/en-us/neural-compute-stick

https://movidius-uploads.s3.amazonaws.com/1532110136-MyriadXVPU_ProductBrief_final_07.18.pdf

Orage Pi 相關新聞及產品介紹
Orange Pi AI Stick 2801 (點擊圖片放大)
 https://www.cnx-software.com/2018/11/18/orange-pi-ai-stick-2801-lightspeeur-2801s-neural-processor/

https://www.aliexpress.com/store/product/Orange-Pi-AI-Stick-2801-Neural-Network-Computing-Stick-Artificial-Intelligence/1553371_32954041998.html

隨著AI加速晶片的普及,邊緣計算(Edge Computing)變得越來越可行,相信不久的將來會有更多的產品問世,這對人工智慧產品的普及也會有很大的助益,就我們繼續看下去吧!

2018年12月1日 星期六

無人化餐廳時代真的到來了嗎?

這幾年隨著機器人技術、機器視覺、人工智慧及AI晶片的到位,加上人力成本越來越高,所以開始發展出許多「無人經濟」產業。其中以餐飲業最願意嚐鮮,率先導入無人(APP, ChatBot)定位點餐、自動帶位、送餐,甚至由機器人自動製作食物,最後再透過行動支付完成消費過程,從前台到後台幾乎全由機器人包辦,而服務人員的工作變成機器人保姆,確保它能正常工作,實在不知該說是進步還是悲哀。

今年阿里巴巴旗下「盒馬機器人餐廳」正式上線,才不到四個月就損益平衡(??自稱,不知折舊基準為何),其對手京東也不甘示弱推出「Joy's」無人餐廳,姑且不論是噱頭還是技術超前,其中許多技術仍值得我們多多學習。

接著就以盒馬機器人餐廳做為範例來說明。首先是選桌、掃碼點餐,可以透過店門口的大型觸控電子看板進行操作,亦可用手機操作,這些技術不管是前台或後台的資訊流管控對台灣公司來說是小菜一碟,沒有難度。接著入座後,後廚就緊鑼密鼓的作起菜來,當後廚將完成的菜放上自動送餐車後,不用一分鐘就可送到顧客面前,用餐後還可自動把餐盤載回清洗區,這項技術在以前可是像台積電這類的大公司才用的起的自動導引車(Automatic Guided Vehicle, AGV),如今變成隨手可得的技術。雖然裡面牽扯到許多機電整合、視覺導引、定位、工作分派等控制技術,但也還難不倒台灣的廠商,不過如何做出便宜好用、耐用的機器就變成門檻,不然這些軟韌硬體的投資不知何時才能攤平,會直接影響使用者投資意願。最後是結帳系統,透過行動支付系統就可輕易解決,而這個部份在台灣似乎還有一些法令問題尚待克服。

目前台灣的迴轉夀司店或直線式滑軌送餐系統已算常見,但還沒有看到這種大型的無人餐廳系統,綜合以上來說,整體的技術門檻不算太高,若有廠商願意投資開發再輸出到歐美等人力成本較高的國家,未來再結合線上、線下及大數據統計及商品推薦,相信應該可創造出更多商機。

盒馬無人餐廳自動送餐機器人,圖片來源 (點擊圖片放大)

盒馬無人餐廳自動送餐機器人,圖片來源 (點擊圖片放大)

相關新聞及圖片來源

影片來源:Youtube

AR眼鏡走入劇場感受不一樣的演出

2009年是3D電影開始發光發熱的一年,這一年「阿凡達」的大賣讓人們重新回到電影院感受不一樣的聲光效果,人們開始了解及習慣帶上一幅看起來很呆萌、笨重的眼鏡就能進入一個不一樣的世界。

為了讓3D視覺效果更身歷其境且能創造出更超現實的場景,虛擬實境(VR)眼鏡就成了不可或缺的工具,但這樣的影音效果如何呈現,可就苦了一堆導演,因為實在難以誘導觀眾將視線注意在想要表達的演員及物件上,更難產生傳統運鏡所能傳達的情感。另外對於觀眾而言除了配戴笨重的眼鏡的不舒適感外,過於強烈的視覺震撼及接近處於幽閉環境的感受也是讓大家不想輕易嚐試的一大難題。

於是有些人就想到利用擴增實境(AR)眼鏡走入劇場,讓觀眾可同時看到演員在表演,又可同時觀看(獲取)到額外的資訊或是意想不到的聲光效果,免除劇場對於佈景道具及聲光特效的安排,對於觀眾觀賞的舒適度有很大提升,且對於導演在劇情的安排、演員的走位及視覺特效也能更容易掌控。

接下來就以英國皇家劇院及以色列ARShow公司如何導入AR眼鏡到劇場做一簡單介紹。

一般聽障朋友到電影院看電影大概還不會有太大問題,因為有字幕可看,但他們可能很難到劇場看現場演出,因為他們看到的內容就像我們正常人在看默劇一樣,很難融入演出內容中。最近看到英國皇家劇院竟然結合EPSON AR眼鏡,讓聽障朋友也能即時看到演出字幕,實在是一項非常貼心的服務。演出過程中若不小心台詞和字幕不同步時,系統也會以最快時間重新同步,就像公車上報站系統不同步時司機會手動操作讓它前跳到正確位置。看來AR眼鏡的應用又多了一項,有興趣的朋友可參考下面CNN的新聞的連結。

AR 字幕眼鏡,圖片來源 (點擊圖片放大)

AR 字幕眼鏡,圖片來源 (點擊圖片放大)
 相關新聞(內附影片):https://edition.cnn.com/2018/10/30/tech/smart-caption-glasses/index.html?fbclid=IwAR2-VOhskkmqJq872xn5DZTOO2uLa41sdDaMsnhFGEIH3tnZeruACafA8ok

另外一家位於以色列的公司ARShow,則是採取和一般AR特效製作方式將虛擬影像疊合在真實場景的作法。不過這項技術面臨最大的挑戰是演員和播放內容不同步問題,所以特效內容的播放控制權仍交由現場舞台監督進行控制,這樣就能讓演員專心表演而觀眾專心享受這種不一樣的視覺感受。另外還有一項較大的問題是觀眾觀賞的位置差異頗大,所以特效內容的設計必須較寬鬆些,以免產生疊影效果不佳問題。目前他們以經典童話「格列弗遊記」小人國的橋段做為表演內容,相當適合這項技術,對於年輕的觀眾接受度也還算高,不過未來是否可能推廣到更多舞台劇,對於導演及編劇及劇場主都有很多挑戰。更多新聞說明及影片可參考下列連結。

ARShow,圖片來源 (點擊圖片放大)
影片來源:Youtube




OpenCV 4.0千呼萬喚始出來

有在玩電腦(機器)視覺的朋友對開源電腦視覺函式庫「OpenCV」一定不陌生,從2000年發展至今已超過十八個年頭,中間歷經多次重大變革及分支,從2.2版開始支援C++,2.4版開始支援CUDA, OpenCL等加速工具,2.4.9版後本來進到3.0版停止支援C語言只支援C++,但許多仍在使用C語言的伙伴仍不離不棄,繼續將部份新增功能加入,於是劇情就展開成兩條支線,目前已來到2.4.13.6版,後續是否能繼續發展,實在令人擔憂。而3.0.0版於2015年正式推出,加入許多深度學習的工具,3.3版後更加入更多深度學習框架及算法如Caffe、Yolo等。最近(2018/11/20)正式推出4.0版更是讓人眼睛一亮,在深度學習部份有了重大改革,實在值得好好花點時間研究。

OpenCV演進歷史。OmniXRI Jack整理製作 (點擊圖片放大)

以下就簡單把此次4.0版更新重點做一點整理。

  1. 更完整支援C++11,去除大量OpenCV 1.x版留下的C API,要配合CMake 3.5.1之後版本編譯。
  2. 除原有CUDA,OpenCL支援平行演算外,另新增大量以GPU繪圖加速計算的處理函式庫G-API。
  3. 在深度神經網路(DNN)模組中增加FP16支援,同時加入ONNX框架,使得各種模型能順利加入執行,如AlexNet, Inception v2, Resnet, VGG, Yolo, Tiny Yolo v2等。
  4. 對DNN的改進,如Mask RCNN, Faster R-CNN
  5. 在快速QR Code檢測、3D場場建構的Kinect Fusion、高質量密集光流算法也都有重大改進。

另外Intel OpenVINO對OpenCV也是大力支援,同步推出更新版本,可支援更多的模型及算法,包括:
  1. 支援低解析度(Int8)推論,以利Intel CPU及未來低階推論用AI晶片。
  2. 加強支援Tensor Flow, MXNet, ONNX等框架,及R-FCN, Yolo v3, OpenPose等模型算法。
  3. 增加三種預訓練模型以利人臉特徵點、人體姿態建立及將影像超解析度等應用。
  4. 可下載ResNet-50, ResNet-101, ResNet-152, GoogleNet v3等模型參數。
  5. 更多預訓練模型可參考 https://github.com/opencv/open_model_zoo

OpenCV 4.0及OpenVINO更完整的釋出說明可參考官網:

https://opencv.org/opencv-4-0-0.html

https://docs.opencv.org/4.0.0/index.html

2018年11月22日 星期四

【龍華資管專題演講】智慧商務-談開源的影像辨識玩法_課程簡報分享

很高興今天(2018/11/22)受龍華科大資管系馬芳資老師邀請到校和同學們分享「智慧商務─談開源的影像辨識玩法」。

此次主要分享內容首先介紹「無人商店」、「智慧零售」實際做法及所需技術,包括Amazon GO、7-11 X-Store、全家科技概念店、研華(Advantech)門店客流分析、創意引晴(Viscovery)、深智科技(NexRetail)、盾心(UmboCV)及商湯(SenseTime)等公司產品。接著說明人工智慧的基石、實施步驟和大數據之間的關連。再來介紹OpenCV, OpenVINO等開源影像辨識工具。最後介紹Amazon, Microsoft, Google提供的雲端AI服務、邊緣計算的平台及分享一個「老闆偵測器」的人臉辨識應用例給大家。希望藉由本次的分享,能讓同學們能更加了解如何應用這些工具來完成「智慧商務」。

※點擊圖片可放大觀看











































【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考! 【課程及活動簡報】>> 【開源碼專區】>> 【系列發文專區】>>