網頁

2024年3月26日 星期二

OmniXRI's Edge AI & TinyML 小學堂 【第4講】開源模型訓練工具

 

本課程完全免費,請勿移作商業用途!如果各位伙伴覺得這樣的影片對大家有用,還請多多訂閱、按讚、轉發,謝謝! 完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html

完整直播影片:  https://youtu.be/gCjicAOemp4 


 【第4講】會分別就下列主題進行介紹,包括: 

 4.1 AI工作流程 [00:02:39]  
- 問題定義 [
00:03:20]
- 建立模型 [
00:22:32]
- 訓練調參 [
00:26:44]    
- 佈署推論 [
00:46:25]   

4.2開源訓練工具 [00:49:05] - Google Colab [00:51:52] - Jupyter Notebook [00:59:34] - TensorFlow [01:02:48] - PyTorch [01:06:37] - ONNX [01:08:21] - OpenCV [01:10:42] 完整課程簡報:https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch04_Training_Tools 歐尼克斯實境互動工作室: https://omnixri.blogspot.com/ Edge AI Taiwan 智能交流區: https://www.facebook.com/groups/edgeaitw

2024年3月24日 星期日

Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論

作者:許哲豪(Jack Hsu), 2024/3/24

GTC2024_FP4
Fig. 1 GTC 2024 Keynote (Youtube)。[1]

這兩天相信很多人都被老黃GTC 2024演講[1]給震撼到了吧!如果你是剛買了H100的朋友,大概心中不免XXX,眼眶中充滿淚水暗罵老黃「你又跟我說B100更快更便宜了??我的錢錢又被搶了啊」。收拾起心情,想想那些買不到的人,自己還算幸運,還有生意可做啊!

兩個小時的影片中,其中透露出一個加速祕密,新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力,單片就可達 20 petaFLOPS(每秒2x10^16=20兆次浮點數計算),二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍,推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器,則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS(1,440 petaFLOPS)。這樣總體訓練及推論運算速度較前一代分別快了22倍及45倍。而究竟什麼是 FP8 / FP4 呢? 接下來就簡單幫大家科普一下。

2024年3月21日 星期四

OmniXRI's Edge AI & TinyML 小學堂 【第3講】資料集建置與標註

本課程完全免費,請勿移作商業用途!如果各位伙伴覺得這樣的影片對大家有用,還請多多訂閱、按讚、轉發,謝謝!

完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片: https://youtu.be/d655nS-0XmM


 【第3講】會分別就下列主題進行介紹,包括:

3.1. 資料集建置 [00:03:23]
-工作流程 -資料類型 -資料取得 -資料擴增

3.2. 公開資料集[00:34:59]
-工作流程 -資料類型 -資料取得 -資料擴增

3.3. 資料集標註[00:48:29]
-影像標註類型 -影像標註格式 - 影像標註工具

3.4. 資料集迷思[01:08:35]
-資料增長 -標註水準 -子集不均 -自動聚類

完整課程簡報:  https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch03_Dataset_Annotation

歐尼克斯實境互動工作室:  https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區:  https://www.facebook.com/groups/edgeaitw

OmniXRI’s Edge AI & TinyML 小學堂 【第2講】邊緣運算硬體

 

本課程完全免費,請勿移作商業用途!如果各位伙伴覺得這樣的影片對大家有用,還請多多訂閱、按讚、轉發,謝謝!


完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片: https://www.youtube.com/watch?v=sOb5R8wJ1hI


【第2講】會分別就下列主題進行介紹,包括:

2.1. 基本運算原理 [00:02:58]
-卷積神經網路 -數字表示系統 -數字表示系統 -平行 / 並行運算

2.2. 加速運算晶片[00:34:48]
-發展方向 -CPU -DSP -GPU -FPGA -NPU -ASIC -LPU -類腦晶片-光子晶片-記憶體內計算 -可重構晶片

2.3. 開發板類型 [00:59:44]
-單板微電腦 -USB加速棒 -模組板卡 -整合型裝置 -TinyML開發板

2.4. 硬體選用評估 [01:06:20]
-運算效能 -開發工具 -應用情境 -週邊擴展

完整課程簡報: https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch02_EdgeAI_Hardware

歐尼克斯實境互動工作室: https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區:https://www.facebook.com/groups/edgeaitw


OmniXRI’s Edge AI & TinyML 小學堂 【第0講】課程簡介 & 【第1講】邊緣人工智慧簡介

本課程完全免費,請勿移作商業用途!如果各位伙伴覺得這樣的影片對大家有用,還請多多訂閱、按讚、轉發,謝謝!

完整課程大綱: https://omnixri.blogspot.com/2024/02/omnixris-edge-ai-tinyml-0.html
完整直播影片: https://youtu.be/VseW-M7kx1E


本次課程會先對未來16週課程內作一基本介紹。

【第0講】課程簡介 [00:01:59]
-課程源起 -課程簡介 -講師簡介 -課程大綱 -教學資源

接下來【第1講】會分別就下列主題進行介紹,包括:

1.1 人工智慧  [00:17:10]
- 發展簡史 -應用情境 -產業發展 -主要基石 -未來發展

1.2 機器學習  [00:41:56]
-主要分類 -監督式學習 -非監督式學習 -增強式學習

1.3 深度學習  [00:51:52]
-神經網路技術發展 -神經網路簡介 -神經網路(NN) -深度神經網路(DNN) -卷積神經網路(CNN) -循環神經網路(RNN) -生成對抗網路(GAN) -自動編碼網路(AE) -圖神經網路(GNN) -脈衝神經網路(SNN) -BERT/GPT/Transformer

1.4 雲端與邊緣運算 [01:15:10]
-雲端與邊緣運算架構 -雲端虛擬服務 -邊緣智慧等級 -邊緣智慧裝置 -硬體模型選用考量

第1講課程簡報 https://github.com/OmniXRI/Edge_AI_TinyML_Course_2024/tree/main/Ch01_EdgeAI_Introduction

歐尼克斯實境互動工作室:  https://omnixri.blogspot.com/
Edge AI Taiwan 智能交流區: https://www.facebook.com/groups/edgeaitw




【vMaker Edge AI專欄 #15】 從MWC 2024看AI手機未來發展

 作者:Jack OmniXRI, 2024/3/15

 留言

vMaker_EdgeAI_15_Fig_00

一年一度的世界通訊大會(MWC 2024)[1]於2/26到2/29在西班牙巴塞隆納盛大舉行,以往重點都是在酷炫的行動通訊裝置,而此次重點則都落在AI上,尤其是不靠連網、本機可獨立運算的生成式應用。

2022年底OpenAI推出ChatGPT後,一時風起雲湧,每週都有新的驚喜,各種大語言模型(LLM)及生成式AI(GenAI / AIGC)應用層出不窮,讓文字可以生成文章、音樂、影像、影片甚至可以使用多模態(Multimodal)模型讓文字影音可以相互感知和生成。LLM剛開始時,使用的模型參數量都非常巨大,可高達1750億(簡寫成175B)個參數,隨著各種專家學者的努力,在特定用途、推論能力和精度略減時,可將參量縮減至330億(33B), 130億(13B), 70億(7B)甚至13億(1.3B),若加上模型量化技術,就能讓模型儲存空間縮減到原先1/4(INT8)至1/8(INT4)。此時剛好高算力、大記憶體容量手機誕生,滿足運行最低門檻,於是AI手機就變成此次 MWC 2024 的新寵兒。

為了讓大家更理解AI手機究竟有哪些方案供應商,硬體上究竟有哪些重大突破及軟體上到底能玩什麼應用,接下來就一一幫大家介紹一下。

2024年3月16日 星期六

從手繪電影看板到AI生成異想世界再到超現實畫作─AI真的會讓更多創作者失業嗎?

許哲豪(Jack Hsu), 2024/3/16

 顏振發

 留言

Fig. 1 電影看板畫師─顏振發。[影像來源]

相信光看主題就會引來一番論戰,這裡只是個人有感而發,大家可以一起平心靜氣的聊聊。

最近新聞媒體一直在鼓吹「生成式AI」能快速產出各種文字、圖像甚至影片,從此藝術創作者可能就會面臨大量失業潮。這不禁讓我想起十多年前個人曾在電腦補習班教「Illustrator」數位繪圖,有次來了一位近三十的女生,上課時僅教授一些工具使用方式,沒一會兒就能比其它年輕的同學更能掌握,並快速畫出職業水準的內容。趁著課間休息時一問才知,她是傳統手繪插畫家,想換工作,但都被要求要數位創作,所以不得已才來惡補一下工作技能。幸運的是,不久後就如願轉職到期望的公司,但這不是因她很會用繪位繪圖工具,而是她創作的能力得以透過適當的工具展現出來並被認可。