【心得筆記】Saving 95% of your edge power with Sparsity to enable tinyML

Jon Tapson (left) and Yung-Hsiang Lu (right)

tinyML昨天(2020/6/16)邀請了GrAI Matter Labs首席科學家(CSO) Jon Tapson進行演講，講題是"Saving 95% of your edge power with Sparsity to enable tinyML"，主要是介紹如何在邊緣計算上節省95%的算力及電源卻還能達到更高計算（推論）速度同時保持計算精度。


乍聽之下會覺得怎麼可能，但其主要概念和影像壓縮去除冗餘的概念類似，就像一張JPG有損壓縮影像視覺效果和BMP無壓縮影像接近，一首有損壓縮MP3音樂和WAV無壓縮音樂聽起來接近，和一段MP4壓縮影片和AVI無壓縮影片看起來幾乎一樣。但有損壓縮卻可把原始檔案縮到不到1/10大小，人卻分不太出來。

同樣的道理，目前大部份的邊緣計算的應用，不管是聲音、影像、視頻或者感測器信號都是連續一直輸入的資料，但有用的資訊卻非常稀少，如語音助理音箱，一直在聽，直到有人說話才去辨識是否為啟動命令詞。如智慧門鈴，影像一直輸入，直到看到人臉才辨識是否為特定人臉。因此如果可以有效偵測各種稀疏性並加以處理，那就能大幅減低計算量及電源。

這份簡報中主要提及一般串流資料（聲音、影像、感測器等）都有四種稀疏性；空間、時間、連結性及（神經元）激活性。例如影像中我們關心的物件只有一小塊，但大部份的空間我們不關心，連續影像中，只有出現物件時我們才關心。而計算上，模型中大部份神經元幾乎都用不到（未被激活），如能有效分析那些神經元在那些時候需要用到，那就不必讓所有神經元都浪費電力一直在等。因此整體概念上就是以事件驅動方式來進行，用一小段程式來偵測事件是否發生再進行推論，這樣就能很省電，又能高速運算且不損失精度。

當然這樣的概念自己要實作可能有些難度，所以GrAI推出一顆AI晶片及相關SDK幫大家解決，雖然大家不一定要去買來用，但這個概念還是可以推廣到各種MCU的AI推論上，如此就不必受限於非GPU不可的概念，或許不久的將來會有更多人投入這種作法之中，就像語音助理音箱都會搭一顆喚醒詞IC一樣。

完整的影片請參考Youtube

GrAI Matter Labs 官網 https://www.graimatterlabs.ai/