NVHBM相較HBM4E頻寬最高提升30%、HBM功耗降低15%
隨著AI代理與兆級參數工作負載逐漸成為主流，AI 基礎設施的效能不僅取決於運算能力，更取決於運算、記憶體、儲存、網路與軟體能否共同設計為一個統一的系統。傳統的HBM架構將記憶體控制器置於XPU晶片上，會占用原本可用於運算的寶貴晶片面積。NVHBM基於NVIDIA未來GPU將採用的相同技術，將NVIDIA的客製化記憶體控制器整合至HBM基底晶片之中。
NVIDIA說明，透過將記憶體控制器整合至3D HBM堆疊，而非置於XPU上，NVHBM相較於標準HBM4E，可讓記憶體頻寬最高提升30%、HBM功耗降低15%，並為XPU運算晶片釋放多達25%的面積。
Amazon 旗下 Annapurna Labs將率先與NVIDIA合作開發NVHBM
NVIDIA正建立標準化的NVHBM實現方案，並由多家記憶體供應商提供。這樣可降低跨多家供應商整合與驗證記憶體所需的工程投入，讓NVLink Fusion客戶能更快將客製化AI晶片推向市場。
Amazon 旗下 Annapurna Labs將率先與NVIDIA合作開發NVHBM，作為雙方擴大NVLink Fusion合作的一部分。
Amazon旗下的Annapurna Labs將與NVIDIA合作，共同開發NVHBM技術與 NVLink垂直擴充架構，以提升AI工作負載的效能與效率。
這延續AWS 先前宣布對NVLink Fusion的支援。Annapurna Labs將從Trainium4 起，在新一代Trainium晶片中支援NVLink Fusion，讓Amazon晶片與NVIDIA GPU 能夠在共通的機架級架構下協同運作。
Amazon Annapurna Labs副總裁Nafea Bshara表示：「NVHBM 代表了一種提升高頻寬記憶體效能與效率的全新架構方式。我們期待透過這項技術合作，為 AWS 未來的基礎設施設計帶來助益。」
🔗 延伸閱讀《AWS宣布新增部署輝達200萬顆GPU 黃仁勳：雙方推動代理型AI與物理AI落地》
🔗 延伸閱讀《輝達史上最大收購案！傳豪砸4100億買下Hugging Face》
🔗 延伸閱讀《輝達財報驚艷「她開口救全村」 盤後股價飆逾5%、10大重點一次看》
垂直整合、水平開放
NVLink Fusion讓合作夥伴能夠將客製化的XPU和CPU連接至NVIDIA的機架級平台。
合作夥伴可使用NVIDIA NVLink小晶片、NVLink-C2C、NVLink交換器，以及NVIDIA MGX系統與機架，並可串聯廣泛的生態系，包括CPU合作夥伴、ASIC設計業者、系統製造商與技術供應商。
NVLink Fusion隨每一代NVIDIA機架級系統架構提供，讓超大規模雲端服務供應商與AI原生企業能將工程資源聚焦於XPU創新，同時運用經驗證的技術堆疊來處理垂直擴充與水平擴充網路、機架級系統與軟體，以更快、風險更低的方式部署半客製化AI基礎設施。
