Fig. 1 GTC 2024 Keynote (Youtube)。[1]
這兩天相信很多人都被老黃GTC 2024演講[1]給震撼到了吧！如果你是剛買了H100的朋友，大概心中不免XXX，眼眶中充滿淚水暗罵老黃「你又跟我說B100更快更便宜了？？我的錢錢又被搶了啊」。收拾起心情，想想那些買不到的人，自己還算幸運，還有生意可做啊！
兩個小時的影片中，其中透露出一個加速祕密，新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力，單片就可達 20 petaFLOPS（每秒2x10^16=20兆次浮點數計算），二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍，推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器，則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS(1,440 petaFLOPS)。這樣總體訓練及推論運算速度較前一代分別快了22倍及45倍。而究竟什麼是 FP8 / FP4 呢？ 接下來就簡單幫大家科普一下。
