輝達高級總監哈里斯（Dion Harris）告訴媒體，Groq機櫃將與Vera中央處理器和Rubin圖形處理器一起部署在新型雲端服務商Nebius的平台，並將於今年稍後上線。
輝達正在加速生產Groq晶片並向客戶提供該產品，凸顯出低延遲推理的重要性日益提升。低延遲推理對於讓AI代理能夠快速回應、避免使用者遭遇長時間等待至關重要，尤其是在程式設計場景中。輝達表示，雲端運算公司可以針對這類Token收取更高的費用。
去年12月以200億美元收購Groq
去年12月，輝達以200億美元（約6372億台幣）收購晶片新創公司Groq相關資產，這是該公司有史以來規模最大的一筆收購。Groq的架構在晶片晶片本身整合500MB高速SRAM，以減少與記憶體相關的瓶頸。 Groq晶片由三星製造，輝達的GPU則由台積電生產。
輝達將256顆獨立的Groq 3晶片封裝到其LPX機櫃中，輝達表示，根據Artificial Analysis的一項基準測試，其Groq 3 LPX機櫃能夠達到每秒3400個Token的處理速度。
這是一個競爭激烈的領域。今年稍早時，AMD宣布，將把其機櫃系系統與Cerebras的晶片進行整合。 Cerebras最近上市，並將低延遲推理作為重點。OpenAI新近宣布的「Ultrafast」模式目前承諾可達到每秒750個Token，並由Cerebras提供支援。
Vera Rubin已於今年開始生產
低延遲晶片不會取代GPU，後者仍是AI晶片領域的主力。GPU既可以執行訓練，也可以執行推理，同時具備足夠的靈活性，能夠適應新技術和新模型。Groq這類低延遲晶片主要專注於模型服務過程中的一個環節，即所謂的「解碼」（decode）階段。
哈里斯表示，這並不是要取代GPU，而是要針對工作負載的不同部分，使用價格合適、處理能力合適的處理器。
目前，輝達正逐步增加Vera Rubin系統的出貨量，該系統已於今年稍早開始生產。在3月發布Vera Rubin和Groq 3 LPX時，輝達執行長黃仁勳預計，到2027年，當前一代Blackwell晶片與全新Vera Rubin系統的銷售額將達到1兆美元（約31.86兆台幣）。
