【AI HUB專欄】誰說鼻子長的就是大象？從類別活化映射與積分梯度來看特徵提取與顯著性差異

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/9/24

在先前兩篇「如何利用可視化工具揭開神經網路背後的祕密」上篇[1]及下篇[2]中已初步介紹如何將卷積神經網路(Convolutional Neural Network, CNN)推論結果可視化及其基本原理。這一次就來聊聊經過可視化處理產生的顯著圖(Saliency Map)或稱熱力圖(Heat Map)、活化圖(Activation Map)究竟是否為人類真正關心的特徵(Features)，或者說這些計算出來較為顯著（重要）的地方是否可以幫助我們解釋模型究竟學會了什麼？

在卷積神經網路可視化工具中，較常見的方式有基於擾動法(Perturbation-based)、反向傳播法(Propagation-based)及活化映射法(Activation-based)，而其中後兩者最主要皆有用到梯度(Gradient)這項基本概念，即希望找出輸入內容造成輸出變化較大的地方，換句話說就是模型權重值影響最大的地方，也是最重要的或特徵所在的地方。

但不幸地是，目前梯度法仍有許多使用上的限制及不足，而可視化所提取出的顯著圖也能未必能完全代表人類視覺上所期望的特徵，因此接下來就分別從「何謂梯度」、「梯度飽和」、「積分梯度」及「遮罩優化」等四個面向來討論如何改善及使顯著圖和視覺特徵上能更佳接近。

【AI HUB專欄】如何利用可視化工具揭開神經網路背後的祕密(下)

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/9/10

卷積神經網路(Convolutional Neural Network, CNN) 在人工智慧中的影像分類、物件偵測等項目的優異表現已是眾所皆知了，但其背後複雜的模型（網路）結構及龐大參數量（權重值）究竟提供何種作用，一直都令人費解，無人不想了解這個神祕的黑箱。在上一期「如何利用可視化工具揭開神經網路背後的祕密（上）」[1]中已幫大家介紹了分層特徵圖(Layer Feature Maps)、敏感度分析(Sensitivity Analysis, SA)、有向非循環圖 (Directed Acyclic Graph, DAG)及反卷積網路(Deconvolution Network, DeconvNet)等四種可視化工具。這一期要接著為大家介紹CAM家族的四大常見可視化工具，包括：

• 類別活化映射(Class Activation Mapping, CAM)
• 梯度加權類別活化映射(Gradient-weighted CAM, Grad-CAM)
• 梯度加權類別活化映射改良(Grad-CAM++)
• 分數加權類別活化映射(Score-CAM)

Fig. 1 常見卷積神經網路LeNet-5架構。(Sep. 2020 OmniXRI整理繪製)（點擊圖放大）

【AI HUB專欄】如何利用可視化工具揭開神經網路背後的祕密(上)

圖/文 歐尼克斯實境互動工作室 許哲豪 2020/8/27

2012年Alex Krizhevsky和其指導教授知名圖靈獎得主Geoffrey Everest Hinton以「AlexNet」卷積神經網路(Convolution Neural Network, CNN)贏得大規模視覺辨識挑戰賽(ImagNet Large Scale Visual Recognition Competition, ILSVR)，並以低於第二名10%以上的錯誤率受到極大矚目，從此打開人工智慧及「深度學習」的新紀元。雖然CNN利用多層卷積(Convolution)、池化(Pooling)層及扁平化(Flatten)、全連結(Full Connected)構成的模型（神經網路）有著極佳地分類能力，但沒有人可以理解其背後意義，不像傳統機器學習技術中的決策樹(Decision Tree, DT)或支援向量機(Support Vector Machine, SVM)有著清楚的特徵及物理意義。