六層智慧架構堆疊推動千兆瓦電力轉換為洞察力
Vahdat指出，Google的智慧架構為「六層的架構堆疊（Six-layer stack）」，從基礎的電力開始，到資料中心土地、硬體、軟體，再到模型建置與最終服務的整合，形成一個完整生態系。 「這六層架構堆疊將千兆瓦（Gigawatts）的電力轉換為洞察力（Insights）。
首先是電力（Power），這或許來自數百萬金錢的投入，各種不同的能源。再來是資料中心土地（Data Center Land）與圍欄，也就是建築物本身。下一層是硬體（Hardware）。機架（Racks），然後是伺服器（Servers），接著是驅動所有運算的 GPU 與 TPU。從這裡開始，軟體（Software）將所有東西串聯在一起。Google在這些基礎之上開發模型（Models），但最重要的是，將這些模型整合到服務（Services）中。像是 Google Search、YouTube、Google 相片等等。」
硬體專業化成為AI運算核心
他強調，過去通用CPU依賴摩爾定律使效能不斷提升，但近年來效能增長趨緩，且電力改進有限，「通用型 CPU（General Purpose CPU）的效能不再呈指數級成長」。面對運算需求急遽成長，必須走向專業化發展。 他說，「本質上我們可以將『AI運算』視為：一種高速的資料流動，配合專業化、流水線化（Pipelined）的矩陣代數運算（Matrix Algebra Operations），並以極大規模進行運作。」
Google為此開發了張量處理單元TPU，從語言翻譯需求起步，提升效率達100倍以上，促成大規模推斷與模型訓練的可能性。他詳細介紹TPU的六大要素，包括大型矩陣乘法核心（Big Cores）、脈動陣列架構（Systolic Array Architecture）、編譯器控制的記憶體、光學電路交換、新精度表示法，以及深度整合液冷技術。
他說：「整體而言，這些TPU歷經代代迭代，在效能、功耗和成本方面，比起在通用CPU上執行相同的工作，效率提升了100倍。而這個差距實際上還在加速擴大，所以100倍只是個下限。」
🔗 延伸閱讀《延攬Google TPU創辦大將！Anthropic進軍自主研發 布局AI晶片新戰局》
🔗 延伸閱讀《英特爾奪Google 3百萬顆TPU大單？小摩潑冷水：台積電製造、英特爾僅負責封裝》
🔗 延伸閱讀《分析｜聯發科強攻Google及xAI訂單 專家揭飆漲背後AI與數據中心發展優勢》
晶片快速迭代與供應鏈緊密協同
他談到，Google已由過去每2年1款TPU，進入1年1款，甚至1年2款的快速迭代階段。 「當我們可能每6個月（甚至更頻繁）就產出1款晶片時，我們本質上希望盡可能快速地從中獲取生命週期價值。」 為此，必須在流片就確保晶片百分百正常運作，並在供應鏈各環節緊密合作，確保快速測試與交付。
網路創新推動資料中心互聯及大規模運算
Vahdat 強調，「網路是將所有東西串聯在一起的關鍵」，且創新橫跨奈米到星球規模。 他介紹TPU上整合乙太網路交換器，晶片級的高頻寬連接，以及複雜特殊拓樸結構如3D Torus / Board-fly，大幅降低延遲兩倍。其中，光學電路交換器（OCS）為一大亮點，以程式化設定微鏡快速改變機架連接結構，具備低功耗、高效率、即時重配置能力，顯著縮短故障停機時間。
資料中心階段可支援近萬個TPU同步運作；再經由 Jupiter、Virgo 系統串接資料中心，資料傳輸頻寬高達每秒47 Petabits，實現跨資料中心整合，最終支持達百萬 TPU 級別的超大規模運算。
能源效率為第一優化指標、持續減少碳足跡
在能源議題上，Vahdat 指出電力是最大挑戰，Google聚焦「每瓦效能」（Performance normalized to a Watt）優化。資料中心能源使用效率（PUE）達1.09，優於業界平均83%。軟體層面也努力減少能耗，以Gemini版本為例，從2023年以來每次答覆耗能從8瓦時降至0.24瓦時，碳排放亦大幅降低，展現持續優化成果。「我們還沒停下腳步，在持續推動優化方面仍會繼續努力。」
未來趨勢聚焦代理型運算與硬體深度專業化
他解釋代理型運算（Agentic Computing）將推動計算需求爆增，程式在內部呼叫模型，打破序列式互動工作流程。「我們正處於『新硬體復興』的早期階段，晶片封裝尺寸擴大，需解決 I/O 瓶頸，記憶體控制器和管道設計朝單向流動。」未來將有更深層光學整合與冷卻技術，推動更專業化硬體設計。
承擔社會責任、推動高效且正向的科技轉型
最後，Vahdat 以責任感呼籲業界技術人員，確保科技進步「盡可能高效地發生，並為社會帶來最大程度的正向提升」。他認為，「我們正處於一場極大規模轉型的早期階段，這是一場巨大的提升與變革。但挑戰依然存在，我想提醒大家作為技術人員的角色。」
