2020_AI_HUB專欄合集

【AI HUB專欄01】新冠肺炎升溫如何應用人工智慧技術超前部署
【AI HUB專欄02】如何應用人工智慧技術精準預測疫情發展
【AI HUB專欄03】後疫情時代人工智慧如何助攻疫情控制
【AI HUB專欄04】導入AI異常偵測技術讓傳產也能邁向智慧製造
【AI HUB專欄05】如何利用時序型資料異常偵測提昇智慧製造成效
【AI HUB專欄06】導入AI表面瑕疵異常偵測提升智慧製造品質
【AI HUB專欄07】生成對抗網路不只能變臉也能成為異常偵測好幫手
【AI HUB專欄08】人工智慧下一個兵家必爭之地【AI市集】
【AI HUB專欄09】如何應用高維資料可視化一眼看穿你的資料集
【AI HUB專欄10】如何利用可視化工具揭開神經網路背後的祕密(上)
【AI HUB專欄11】如何利用可視化工具揭開神經網路背後的祕密(下)
【AI HUB專欄12】誰說鼻子長的就是大象？從類別活化映射與積分梯度來看特徵提取與顯著性差異
【AI HUB專欄13】如何建立精準標註的電腦視覺資料集
【AI HUB專欄14】看電腦視覺如何助力智能裂縫偵測技術發展
【AI HUB專欄15】利用深度學習技術讓裂縫無所遁形
【AI HUB專欄16】介於有和沒有之間的深度度量學習應用於異常偵測

【AI HUB專欄】介於有和沒有之間的深度度量學習應用於異常偵測

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/11/26

先前已介紹過多種異常偵測、模型可視化及裂縫檢測技術（參考文末延伸閱讀[A]~[H]），這一次改從另一種角度來介紹異常偵測，「深度度量學習(Deep Metric Learning)」。

在傳統「機器學習(Machine Learning)」領域多半是先透過領域專家以人工方式定義指定數量的特徵，再進行有監督分類或無監督聚類來達成影像辨識或特定目標提取，而最主要區隔資料的依據就是多維資料間的「距離」。雖然此類技術具有較高的可解釋性，但卻難以適用特徵數量較多、資料分佈過於分散或巨大數量的資料集。

近年來流行的「深度學習(Deep Learning)」則採用巨量資料驅動方式，建立出具有高度非線性的分類模型，透過深層的神經網路及巨量的權重值（參數）達成極佳分類效果。但此類作法通常難以理解究竟是用了何種特徵進行分類，僅能藉由可視化工具來幫忙確認主要反應區域。相對於傳統機器學習，在缺乏大量異常樣本的情況下，常難以訓練出穩定可用的模型及參數。

基於上述問題，於是就有結合兩種特性的「深度度量學習(Deep Metric Learning)」誕生了。一般深度學習分類模型，每當新增一類別時，通常需要重新訓練模型產生新的權重（參數），這樣非常耗時且不方便，於是有人就提出直接以模型最後幾層產生的權重值代替傳統手工提取特徵值的作法，計算所有資料分類的距離，如此便能得知新的分類和其它分類的距離關係，進而達分類的目的。為更清楚說明，以下就從「資料距離量測」、「深度度量學習原理」及「異常偵測應用方式」來進一步說明。

【AI HUB專欄】利用深度學習技術讓裂縫無所遁形

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/11/12

在上一篇「看電腦視覺如何助力智能裂縫偵測技術發展」[1]中已初步對「裂縫偵測」中常見的「裂縫型態」、「裂縫標註方式」、「裂縫偵測算法及模型」及「裂縫公開資料集」等方面作了初步介紹。本文將針對其中「裂縫偵測算法及模型」的「深度學習模型」類偵測方法再作進一步說明，而以傳統「影像處理算法」的裂縫偵測技術就請參考上一篇文章 [1]介紹，這裡就不再贅述。

以深度學習模型作為「裂縫偵測」大致上可以分成偵測有無裂縫的「影像分類(Image Classification)」，找出裂縫所在位置邊界框的「物件偵測(Object Detection)」 及精準標示出屬於裂縫位置像素的「語義分割(Semantic Segmentation)」。不同的算法所需算力、偵測能力、適合裂縫類型及輸出應用各有不同，沒有唯一解法，以下就舉幾個例子來說明不同概念下的作法及其優缺點。

【AI HUB專欄】看電腦視覺如何助力智能裂縫偵測技術發展

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/10/29

在先前文章「導入AI表面瑕疵異常偵測提升智慧製造品質」[1]中曾介紹表面瑕疵偵測的相關技術，其中包含點、線、面等類型瑕疵，這次就再把重點放到「線型瑕疵」中的「裂縫偵測(Crack Detection)」這個主題，繼續和大家做進一步分享。

在工業、機械、建築、電子領域中，當材料在加工或組裝過程受到不當外力（如夾持、撞擊、剪力、振動）時，狀況嚴重的可能會產生結構性損壞及外表破損問題，輕則外型仍保持良好，但表面已經產生肉眼可見的裂縫。如果是一般中、小型電子或機械零件產生裂縫尚可直接淘汰，但若是大型機械結構、建物、橋樑、牆壁、地面則需要進行適當補強，不然可能會造成人身安全疑慮。

常見裂縫偵測方式包括目視（或電腦視覺）、壓力或洩漏、紅外線熱感影像、超音波、渦電流、雷射掃描測距及其它各種非破壞性物理量測設備。本文將著重在一般可見光（彩色或灰階）影像裂縫分析方式，而其它物理量轉成的數位影像由於特性差異頗大，暫不列入討論範圍。

另外「刮痕」也是常見且類似較細的「裂縫」，而二者的差異在於前者通常為直線段、痕跡深度、顏色較淺，有時肉眼還需於特定角度反光下才能看到，這些多半是美觀問題，較無結構安全性問題。而真正的裂縫是指材料已遭到破壞，通常會在目視時產生明顯、顏色較深的內容，而其痕跡則較不規則，粗細也不一，經常會產生許多分叉。由於兩者偵測方式有滿大的差異，故本文僅討論「裂縫偵測」問題。

另外由於裂縫偵測常會伴隨不同材質產生不同的裂縫型態問題，加上不同的背景雜訊干擾，亦會影響相關算法及模型，故很難用一種算法或模型完全克服。為更清楚說明，以下分別就常見的「裂縫型態」、「裂縫標註方式」、「裂縫偵測算法及模型」及「裂縫公開資料集」等方面作進一步說明。

【AI HUB專欄】如何建立精準標註的電腦視覺資料集

 

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/10/08

應用「深度學習」或「人工智慧」技術的朋友應該都知道，想要有好的成果必須建立在「算法（模型）」、「算力」、「資料（數據）集」及「領域知識」四大基礎之上，尤其在「監督式學習」領域下，乾淨及精準標註的資料集更是不可或缺。近年來「電腦視覺」及「自然語言處理（理解）」技術的突飛猛進，正是依靠巨量及標註品質良好的資料集。以下本文將先針對「電腦視覺」中常用的「影像分類(Image Classification)」、「物件偵測（定位）(Object Detection / Location)」、「語義（像素級）分割(Semantic Segmentation)」、「實例分割(Instance Segmentation)」、「全景分割(Panoptic Segmentation)」及「人體骨架(Human Skeleton)」等幾大領域作簡單的「任務定義」，接著再對常見的「資料集格式」、「標註形式」及「標註工具」逐一說明。

【AI HUB專欄】誰說鼻子長的就是大象？從類別活化映射與積分梯度來看特徵提取與顯著性差異

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/9/24

在先前兩篇「如何利用可視化工具揭開神經網路背後的祕密」上篇[1]及下篇[2]中已初步介紹如何將卷積神經網路(Convolutional Neural Network, CNN)推論結果可視化及其基本原理。這一次就來聊聊經過可視化處理產生的顯著圖(Saliency Map)或稱熱力圖(Heat Map)、活化圖(Activation Map)究竟是否為人類真正關心的特徵(Features)，或者說這些計算出來較為顯著（重要）的地方是否可以幫助我們解釋模型究竟學會了什麼？

在卷積神經網路可視化工具中，較常見的方式有基於擾動法(Perturbation-based)、反向傳播法(Propagation-based)及活化映射法(Activation-based)，而其中後兩者最主要皆有用到梯度(Gradient)這項基本概念，即希望找出輸入內容造成輸出變化較大的地方，換句話說就是模型權重值影響最大的地方，也是最重要的或特徵所在的地方。

但不幸地是，目前梯度法仍有許多使用上的限制及不足，而可視化所提取出的顯著圖也能未必能完全代表人類視覺上所期望的特徵，因此接下來就分別從「何謂梯度」、「梯度飽和」、「積分梯度」及「遮罩優化」等四個面向來討論如何改善及使顯著圖和視覺特徵上能更佳接近。

【AI HUB專欄】如何利用可視化工具揭開神經網路背後的祕密(下)

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/9/10

卷積神經網路(Convolutional Neural Network, CNN) 在人工智慧中的影像分類、物件偵測等項目的優異表現已是眾所皆知了，但其背後複雜的模型（網路）結構及龐大參數量（權重值）究竟提供何種作用，一直都令人費解，無人不想了解這個神祕的黑箱。在上一期「如何利用可視化工具揭開神經網路背後的祕密（上）」[1]中已幫大家介紹了分層特徵圖(Layer Feature Maps)、敏感度分析(Sensitivity Analysis, SA)、有向非循環圖 (Directed Acyclic Graph, DAG)及反卷積網路(Deconvolution Network, DeconvNet)等四種可視化工具。這一期要接著為大家介紹CAM家族的四大常見可視化工具，包括：

• 類別活化映射(Class Activation Mapping, CAM)
• 梯度加權類別活化映射(Gradient-weighted CAM, Grad-CAM)
• 梯度加權類別活化映射改良(Grad-CAM++)
• 分數加權類別活化映射(Score-CAM)

Fig. 1 常見卷積神經網路LeNet-5架構。(Sep. 2020 OmniXRI整理繪製)（點擊圖放大）

【AI HUB專欄】如何利用可視化工具揭開神經網路背後的祕密(上)

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/8/27

2012年Alex Krizhevsky和其指導教授知名圖靈獎得主Geoffrey Everest Hinton以「AlexNet」卷積神經網路(Convolution Neural Network, CNN)贏得大規模視覺辨識挑戰賽(ImagNet Large Scale Visual Recognition Competition, ILSVR)，並以低於第二名10%以上的錯誤率受到極大矚目，從此打開人工智慧及「深度學習」的新紀元。雖然CNN利用多層卷積(Convolution)、池化(Pooling)層及扁平化(Flatten)、全連結(Full Connected)構成的模型（神經網路）有著極佳地分類能力，但沒有人可以理解其背後意義，不像傳統機器學習技術中的決策樹(Decision Tree, DT)或支援向量機(Support Vector Machine, SVM)有著清楚的特徵及物理意義。

【AI HUB專欄】如何應用高維資料可視化一眼看穿你的資料集

 
圖/文 歐尼克斯實境互動工作室 許哲豪 2020/8/13

在大數據及人工智慧時代中，人人都知道要有巨量資料才能用來學分析、提取或學習到有效資訊，但你真的知道你的資料集中隱藏著什麼關聯及祕密嗎？比方說統計每個人的身高、體重（二維資料）即可很容易透過二維圖表找出較大的群聚（Cluster）組合，進而用來開發出適合不同族群所需的服飾或相關產品。但當資料維度超過三維時，就很難用可視化圖形表示，這也意味著人們更難直覺地了解巨量資料之間的分佈結構及關連。而這個問題在影像資料上就更為嚴重，以一張100x100灰階影像資料為例，其資料維度就高達一萬維，更不要說高解析彩色照片動輒數百萬到數千萬維。若再加上巨量資料在超高維空間中分佈超稀疏的問題，難以用傳統方式聚類，因此這樣的困境常被稱為「維度災難（Curse of Dimensionality或稱維度詛咒）」[1]。

【AI HUB專欄】生成對抗網路不只能變臉也能成為異常偵測好幫手

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/7/23

「人工智慧」無中生有的本事是眾所皆知，從早期的自動生成一張超逼真卻不存在世上的人臉，到可隨意替換影像中人臉的Deep Fake，及每隔一陣子就造成社群洗板的變臉濾鏡APP，讓人可任意變成兒童、老人、男（女）生甚至是卡通人物，皆是人工智慧的傑作。除此之外，人工智慧還可學習某些畫作的風格，再套用至一般影像中創作出類似風格的畫作，或者是將早期模糊不清或破損的影像進行修復，包括填補、上色及提高解析度。而「人臉生成」、「風格遷移」及「圖像修復」這些應用（如Fig. 1下圖所示）背後都有一項重要技術，那就是「生成對抗網路(Generative Adversarial Network, GAN)」。

【AI HUB專欄】人工智慧下一個兵家必爭之地【AI市集】

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/7/9

大家通常買了新手機就會急忙到「應用程式市集(APP Store)」（如Google Play, Apple Store…）去下載常用的通訊、娛樂、新聞、工具等免費應用程式。常然也會到知名遊戲平台「Steam」去下載一些付費的手機遊戲。或者是到影音、知識創作平台（如Youtube, Bilibili, 知乎. 抖音…）去觀賞、評論、贊助這些優秀的創作者。但說到人工智慧應用怎麼好像沒有一個知名的「AI市集(Marketplace)」能讓使用者很方便找到相關應用程式、資料集、模型（算法）並付費（或免費）下載呢？其實並不是沒有，而是現階段仍有許多問題有待克服，導致無法大行其道。那未來是否有機會成為下一個具獲利空間的兵家必爭之地呢？就讓我慢慢為大家道來。

【AI HUB專欄】導入AI表面瑕疵異常偵測提升智慧製造品質

圖／文 歐尼克斯實境互動工作室 許哲豪 2020/6/25

在前兩篇「導入AI異常偵測技術讓傳產也能邁向智慧製造」[1]和「如何利用時序型資料異常偵測提昇智慧製造成效」[2]中已幫大家介紹過關於智慧製造中常會遇到的「一元分類型(One-Class Classification)」及「時序型(Time-Series)」資料異常偵測(Anomaly Detection, AD)，而這些作法大多僅適用在單一信號源或低維度資料，而本文將繼續延伸至超高維度的「影像類型(Image Type)」異常偵測，藉此說明如何利用人工智慧來提升產品製造品質。

【AI HUB專欄】如何利用時序型資料異常偵測提昇智慧製造成效

圖／文 歐尼克斯實境互動工作室 許哲豪 2020/6/11

在智慧製造領域中，異常偵測(Anomaly Detection, AD)的種類非常多，在上一期「導入AI異常偵測技術讓傳產也能邁向智慧製造」[1]中已初步幫大家介紹了如何在只有正常生產資訊下利用非監督式學習的「一元分類(One Class Classification, OCC)」來進行異常偵測，本期內容將繼續延伸至時序型的異常偵測(Time-Series Anomaly Detection)。

在介紹如何偵測時序型資料異常之前，先幫大家科普一下時序型資料的基本性質。時序型資料是將觀測值依固定時間隔取得並記錄而得，多半具有連續性而非隨機值（如語音資料）組成，如各種感測器（溫度、濕度、亮度、重量、馬達轉速等）、股匯價、零售銷售金額、交通流量等等。當連續取得一定數量（時間長度）資料後，便有機會建立預測模型或分析出異常工作範圍。

【AI HUB專欄】導入AI異常偵測技術讓傳產也能邁向智慧製造

圖／文 歐尼克斯實境互動工作室 許哲豪 2020/5/28

古人常說「鶴立雞群」來表示某人的才華出眾，高於常人，不同凡響。但如果這句話套用在製造業時則可能會讓生產者和消費者都不太高興，因為沒有人想拿到一個超出（或不足）生產標準的瑕疵品。因此如何穩定生產，即時找出異常生產數據的「異常偵測(Abnormal Detection, AD)」[1]技術就成了「工業4.0」及「智慧製造」不可或缺的一項技術指標。

目前有很多產業及領域都可以運用人工智慧(Artificial Intelligence, AI)或機器學習(Machine Learning, ML)技術來進行「異常偵測」，包括像網路資安入侵、股匯交易、電商消費、金融盗刷、保險詐欺、醫學生理訊號、生產設備運作及環境感測等。而智慧製造領域中，如馬達（速度、電流、雜音）、震動、溫度、噪音及亮度都是需要被長期監測的。另外進階的電腦視覺(Computer Vision, CV)或自動光覺檢測(Automated Optical Inspection, AOI)系統更是生產品質控管的最佳幫手。這麼多領域所需要的異常偵測技術各有不同，無法一次道盡，本文將先針對傳統加工製造業最常遇到一元分類（或稱一類分類）(One-Class Classification, OCC)異常偵測開始說起。

【AI Hub專欄】後疫情時代人工智慧如何助攻疫情控制

圖／文 歐尼克斯實境互動工作室 許哲豪 2020/5/14

新冠肺炎(COVID-19)全球疫情目前仍持續延燒中，確診案例已突破400萬，死亡案例也逼近30萬大關[1]。透過戴口罩、減少社交活動、停止部份交通運輸及其它各種強制性手段，部份國家確診及死亡案例成長速度已開始趨緩甚至停止、下降。在有效治療方案及疫苗量產前仍不能太過大意，一旦放鬆警戒就有可能造成疫情再次擴散。

疫情初期重點可能放在如何檢疫、防堵及減少傳播，但長期禁止民眾活動，不僅造成個人身心承受過多壓力，更造成經濟停滯、失業率提升，因此目前許多國家已開始考慮逐步開放民眾半正常生活，開啟「後疫情時代」持續和病毒共存作戰。

為了使疫情在一定風險下仍能控制在可以負擔的程度內，動用大量人力實施體溫量測、列管人員行蹤監控、提醒社交距離及遠端照護等是最顯而易見的方式。若能藉人工智慧(AI)的力量來協助，就可大幅降低人力負擔、民眾不方便性及隱私問題，進而提高監控的有效性及執行效率。

接下來就以「列管人員定位」、「遠端居家照護」及「社交距離監控」為例，說明人工智慧如何在「後疫情時代」給予強力助攻控制疫情發展。

【AI HUB專欄】如何應用人工智慧技術精準預測疫情發展

圖／文 歐尼克斯實境互動工作室 許哲豪 2020/4/23

自上次發文「新冠肺炎升溫如何應用人工智慧技術超前部署」[1]至今，短短兩週(2020/4/8~2020/4/21)依世界衛生組織(WHO)統計[2]又爆增104.5萬確診案例、8.3萬死亡案例，相當於這兩週產生的數量接近目前已知總數量(確診240.2萬，死亡16.3萬)的一半。而其中又以美國最為嚴重，確診總案例佔世界32.3%，死亡案例也達23.1%。由於疫情發展如此迅速，故世界各國無一不想得知疫情的可能發展趨勢，以利超前佈署並有效干預，使得疫情能快速降溫恢復正常日常活動。

【AI HUB專欄】新冠肺炎升溫如何應用人工智慧技術超前部署

圖／文 歐尼克斯實境互動工作室 許哲豪 2020/4/9

2019年底中國大陸武漢地區爆出大量不明肺炎患者後，旋即擴散到全世界。國際病毒分類委員會(ICTV)依病毒特徵類似造成2003年「嚴重急性呼吸道症候群(SARS)」，於是在今(2020)年2/11正式命名為「SARS-CoV-2」。而世界衛生組織(WHO)為了避免疾病名稱冠上地名造成歧視，亦於2/12將此疾病由俗稱的「武漢肺炎」正式命名為「新冠肺炎(COVID-19)」。

這項疾病僅僅三、四個月就造成全世界一百八十多個國家，一百三十多萬人確診感染，八萬多人不幸因病離世，而且這個數字還在不斷爆增中[1][2]，猶如第三次世界大戰，因此各國及各大城市紛紛開始進行封城或降低社交活動以減緩疫情擴散。

回想2003年SARS造成亞洲地區嚴重傷害，雖然當時也沒有精確有效的醫療方法及藥物，但幸運地是不到半年疫情就莫名消失，經濟也在疫情結束後得到報復式成長，一掃先前不景氣造成的困境。不過這一次新冠肺炎(COVID -19)的疫情看起來不像當年那樣樂觀，因此世界各國無不繃緊神經，集結各領域產官學研專家、民間富豪、慈善機構及各路高手一起來腦力激盪，以期望除了能快速控制疫情外更能穩定經濟及失業率。

在此危難時刻有些人就把希望寄托在這兩年當紅的「人工智慧(Artificial Intelligence, AI)」上，而到底有那些AI技術是馬上能幫上忙的，有那些共享的AI資源可以使用的，接下來就為大家快速盤點一下，方便有心想投入AI防疫的朋友可以找到發揮的空間來超前部署。

Fig. 1 COVID -19各國確診人數變化圖(2020/1/21~2020/4/8)。（資料來源：[2]）（點擊圖放大）