OmniXRI's Edge AI & TinyML 小學堂 【第4講】開源模型訓練工具

 

本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！ 完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html

完整直播影片:  https://youtu.be/gCjicAOemp4 

 【第4講】會分別就下列主題進行介紹，包括： 

 4.1 AI工作流程 [00:02:39]  
- 問題定義 [00:03:20]
- 建立模型 [00:22:32]
- 訓練調參 [00:26:44]    
- 佈署推論 [00:46:25]   

4.2開源訓練工具 [00:49:05] - Google Colab [00:51:52] - Jupyter Notebook [00:59:34] - TensorFlow [01:02:48] - PyTorch [01:06:37] - ONNX [01:08:21] - OpenCV [01:10:42] 完整課程簡報：https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch04_Training_Tools 歐尼克斯實境互動工作室： https://omnixri.blogspot.com/ Edge AI Taiwan 智能交流區： https://www.facebook.com/groups/edgeaitw

Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論

作者：許哲豪(Jack Hsu), 2024/3/24

Fig. 1 GTC 2024 Keynote (Youtube)。[1]

這兩天相信很多人都被老黃GTC 2024演講[1]給震撼到了吧！如果你是剛買了H100的朋友，大概心中不免XXX，眼眶中充滿淚水暗罵老黃「你又跟我說B100更快更便宜了？？我的錢錢又被搶了啊」。收拾起心情，想想那些買不到的人，自己還算幸運，還有生意可做啊！

兩個小時的影片中，其中透露出一個加速祕密，新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力，單片就可達 20 petaFLOPS（每秒2x10^16=20兆次浮點數計算），二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍，推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器，則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS(1,440 petaFLOPS)。這樣總體訓練及推論運算速度較前一代分別快了22倍及45倍。而究竟什麼是 FP8 / FP4 呢？ 接下來就簡單幫大家科普一下。

OmniXRI's Edge AI & TinyML 小學堂 【第3講】資料集建置與標註

本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！

完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片: https://youtu.be/d655nS-0XmM

 【第3講】會分別就下列主題進行介紹，包括：

3.1. 資料集建置 [00:03:23]
-工作流程 -資料類型 -資料取得 -資料擴增

3.2. 公開資料集[00:34:59]
-工作流程 -資料類型 -資料取得 -資料擴增

3.3. 資料集標註[00:48:29]
-影像標註類型 -影像標註格式 - 影像標註工具

3.4. 資料集迷思[01:08:35]
-資料增長 -標註水準 -子集不均 -自動聚類

完整課程簡報：  https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch03_Dataset_Annotation

歐尼克斯實境互動工作室：  https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區：  https://www.facebook.com/groups/edgeaitw

OmniXRI’s Edge AI & TinyML 小學堂 【第2講】邊緣運算硬體

 

本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！

完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片: https://www.youtube.com/watch?v=sOb5R8wJ1hI

【第2講】會分別就下列主題進行介紹，包括：

2.1. 基本運算原理 [00:02:58]
-卷積神經網路 -數字表示系統 -數字表示系統 -平行 / 並行運算

2.2. 加速運算晶片[00:34:48]
-發展方向 -CPU -DSP -GPU -FPGA -NPU -ASIC -LPU -類腦晶片-光子晶片-記憶體內計算 -可重構晶片

2.3. 開發板類型 [00:59:44]
-單板微電腦 -USB加速棒 -模組板卡 -整合型裝置 -TinyML開發板

2.4. 硬體選用評估 [01:06:20]
-運算效能 -開發工具 -應用情境 -週邊擴展

完整課程簡報： https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch02_EdgeAI_Hardware

歐尼克斯實境互動工作室： https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區：https://www.facebook.com/groups/edgeaitw

OmniXRI’s Edge AI & TinyML 小學堂 【第0講】課程簡介 & 【第1講】邊緣人工智慧簡介

本課程完全免費，請勿移作商業用途！如果各位伙伴覺得這樣的影片對大家有用，還請多多訂閱、按讚、轉發，謝謝！

完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片: https://youtu.be/VseW-M7kx1E

本次課程會先對未來16週課程內作一基本介紹。

【第0講】課程簡介 [00:01:59]
-課程源起 -課程簡介 -講師簡介 -課程大綱 -教學資源

接下來【第1講】會分別就下列主題進行介紹，包括：

1.1 人工智慧  [00:17:10]
- 發展簡史 -應用情境 -產業發展 -主要基石 -未來發展

1.2 機器學習  [00:41:56]
-主要分類 -監督式學習 -非監督式學習 -增強式學習

1.3 深度學習  [00:51:52]
-神經網路技術發展 -神經網路簡介 -神經網路(NN) -深度神經網路(DNN) -卷積神經網路(CNN) -循環神經網路(RNN) -生成對抗網路(GAN) -自動編碼網路(AE) -圖神經網路(GNN) -脈衝神經網路(SNN) -BERT/GPT/Transformer

1.4 雲端與邊緣運算 [01:15:10]
-雲端與邊緣運算架構 -雲端虛擬服務 -邊緣智慧等級 -邊緣智慧裝置 -硬體模型選用考量

第1講課程簡報 https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch01_EdgeAI_Introduction

歐尼克斯實境互動工作室：  https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區： https://www.facebook.com/groups/edgeaitw

【vMaker Edge AI專欄 #15】 從MWC 2024看AI手機未來發展

 作者：Jack OmniXRI, 2024/3/15

 留言

一年一度的世界通訊大會(MWC 2024)[1]於2/26到2/29在西班牙巴塞隆納盛大舉行，以往重點都是在酷炫的行動通訊裝置，而此次重點則都落在AI上，尤其是不靠連網、本機可獨立運算的生成式應用。

2022年底OpenAI推出ChatGPT後，一時風起雲湧，每週都有新的驚喜，各種大語言模型（LLM）及生成式AI(GenAI / AIGC)應用層出不窮，讓文字可以生成文章、音樂、影像、影片甚至可以使用多模態(Multimodal)模型讓文字影音可以相互感知和生成。LLM剛開始時，使用的模型參數量都非常巨大，可高達1750億(簡寫成175B）個參數，隨著各種專家學者的努力，在特定用途、推論能力和精度略減時，可將參量縮減至330億(33B), 130億(13B), 70億(7B)甚至13億(1.3B)，若加上模型量化技術，就能讓模型儲存空間縮減到原先1/4（INT8）至1/8（INT4）。此時剛好高算力、大記憶體容量手機誕生，滿足運行最低門檻，於是AI手機就變成此次 MWC 2024 的新寵兒。

為了讓大家更理解AI手機究竟有哪些方案供應商，硬體上究竟有哪些重大突破及軟體上到底能玩什麼應用，接下來就一一幫大家介紹一下。

從手繪電影看板到AI生成異想世界再到超現實畫作─AI真的會讓更多創作者失業嗎？

許哲豪(Jack Hsu), 2024/3/16

 

 留言

Fig. 1 電影看板畫師─顏振發。[影像來源]

相信光看主題就會引來一番論戰，這裡只是個人有感而發，大家可以一起平心靜氣的聊聊。

最近新聞媒體一直在鼓吹「生成式AI」能快速產出各種文字、圖像甚至影片，從此藝術創作者可能就會面臨大量失業潮。這不禁讓我想起十多年前個人曾在電腦補習班教「Illustrator」數位繪圖，有次來了一位近三十的女生，上課時僅教授一些工具使用方式，沒一會兒就能比其它年輕的同學更能掌握，並快速畫出職業水準的內容。趁著課間休息時一問才知，她是傳統手繪插畫家，想換工作，但都被要求要數位創作，所以不得已才來惡補一下工作技能。幸運的是，不久後就如願轉職到期望的公司，但這不是因她很會用繪位繪圖工具，而是她創作的能力得以透過適當的工具展現出來並被認可。