本文大綱
AI推理指AI模型在訓練完成後,利用訓練好的模型處理新資料並輸出結果的過程,與專注於建立模型的「訓練」階段不同,推理階段更強調低延遲、高效率的即時計算,在推理場景中,CPU 在任務編排、資料管理和控制調度方面相比GPU 具有獨特優勢,正成為算力架構中的關鍵一環。
陳立武指出,隨著AI工作負載從訓練轉向推理,CPU的重要性顯著提升,CPU與GPU的配比已從過去的1:8收斂至約1:4,未來可望趨向1:1的平衡,甚至可能進一步向CPU傾斜。
AI代理每吉瓦CPU核心數將大增4倍
英特爾財務長大衛·辛斯納(David Zinsner)補充說,訓練負載通常需要7至8個GPU配合1個CPU,而推理負載則提升為至3至4個GPU配合1個CPU。
產業數據顯示,AI代理時代每吉瓦所需的CPU核心數,可能從3000萬激增至1.2億,成長4倍,受此趨勢推動,英特爾第1季資料中心與AI部門營收年增22%,達到51億美元。


