隨著高速運算的需求成長,更有效的AI server散熱方案也受到重視。TrendForce指出,在B200和GB200等追求高效能的AI server機種,單顆GPU功耗可達1000W以上。HGX機種每台裝載8顆GPU,NVL機種每櫃達36顆或72顆GPU,可觀的能耗將促進AI server散熱液冷供應鏈的成長。
TrendForce表示,server晶片的熱設計功耗(Thermal Design Power,TDP)持續提高,傳統氣冷散熱方案不足以應付需求;而GB200 NVL36及NVL72整機櫃的TDP甚至將高達70kW及近140kW,需要搭配液冷方案方以有效解決散熱問題。
TrendForce指出,據了解,GB200 NVL36架構初期將以氣冷、液冷並行方案為主;NVL72因有更高散熱能力需求,原則上優先使用液冷方案。
TrendForce指出,NVL72需較完善的液冷散熱方案,難度亦高,而液冷機櫃設計較適合新建資料中心,但會牽涉土地建物規劃等複雜程序。此外,CSPs可能不希望被單一供應商綁住規格,預料也將會同時採用HGX或MGX等搭載x86 CPU架構的機種,或擴大自研ASIC AI server基礎設施,以因應更低成本或特定AI應用情境。
