Groq 3 LPX每秒輸出3400個詞元，創下該模型歷來最快的效能紀錄
輝達進一步說明，代理系統可能會在數百或數千個推論步驟中產生大量詞元，因此更快的詞元生成速度對於代理而言至關重要，使其得以即時進行推理、採取行動並完成複雜任務。Vera Rubin NVL72系統為各類 AI工廠提供最靈活的訓練與推論平台。NVIDIA Groq 3 LPX藉由大幅提高詞元生成速率，進一步提升Vera Rubin NVL72的推論效能，並針對需要處理大量情境的工作負載提供頂級使用者體驗，讓代理能以極致速度執行任務。
NVIDIA Groq 3 LPX正不斷拓展AI推論的前沿。在執行開源代理型模型Gemma 4 31B 的Artificial Analysis基準測試中，Groq 3 LPX在對AI代理系統至關重要的10萬詞元情境下，達到每秒輸出3400個詞元，創下該模型歷來最快的效能紀錄。
Groq 3 LPX能將原本需要數小時的程式設計等代理任務縮短至數分鐘完成，針對AI代理與對延遲高度敏感的工作負載，其回應速度較最接近的替代平台快達4倍。
Groq 3 LPX：互動式AI推論加速器
輝達創辦人暨執行長黃仁勳表示，「推論是AI的成長引擎。NVIDIA Grace Blackwell 與NVL72以前所未有的效能與效率躍進，徹底革新大型語言模型推論。Vera Rubin透過專為代理型AI時代設計、針對工作負載進行最佳化的AI工廠配置，拓展了這項願景，並藉由LPX的超高速詞元生成進一步推進效能前沿。這將改變智慧的產生方式，在全球AI運算需求加速成長之際，再次大幅提升AI的輸送量、效率與回應速度。」
代理型AI帶來兩項截然不同的運算挑戰：高效率處理龐大的情境資訊，以及需要以極低延遲生成詞元。輝達 Groq 3 LPX 專為提升 Vera Rubin 的互動性（interactivity）而打造。互動性是指為單一使用者生成詞元的速率，並可決定代理完成各個工作步驟的速度
🔗 延伸閱讀《黃仁勳閃電離台為了它！輝達財報公布時間與市場期望懶人包》
🔗 延伸閱讀《輝達砸1900億催生最強開放權重模型 聯手Poolside反擊中國AI勢力》
🔗 延伸閱讀《輝達財報前夕！黃仁勳偕妻「快閃訪台2小時」 街頭買包子身影曝光》
更快的生成速度能讓 AI 代理有更多時間檢查檔案、撰寫與測試程式碼、呼叫工具、驗證結果並持續進行迭代，同時維持流暢的使用者體驗。
Groq 3 LPX加速拓展AI雲端市場
AI雲端正逐漸成為推動AI經濟發展的引擎，讓企業與開發人員能夠運用先進的基礎設施，進行大規模的訓練、推理與推論。對於服務大量、且對延遲高度敏感之推論工作負載的供應商而言，NVIDIA Groq 3 LPX提供一條能在經過驗證的機架級系統中部署差異化運算能力的途徑。
AI雲端服務供應商Nebius計畫將NVIDIA Groq 3 LPX導入其生產級推論平台Nebius Token Factory，讓開發人員得以運用極致的詞元生成速度，打造反應極為靈敏的AI代理應用。
專為AI工廠打造的極致協同設計
Vera Rubin透過橫跨7款晶片與5種專用機架的極致協同設計，成為最全面的 AI 工廠平台。Vera Rubin NVL72與Groq 3 LPX能滿足客戶AI工廠的各類工作負載需求，包括前沿模型開發商與開放模型服務供應商。
這些機架平台搭載 NVIDIA BlueField®-4 DPU，並與 NVIDIA Vera CPU 機架、NVIDIA Vera BlueField-4 STX 儲存系統與 NVIDIA Spectrum™-6 SPX 乙太網路協同運作，用於最佳化多代理系統，同時實現最高的每瓦輸送量與最低延遲的推論效能。
SpaceXAI宣布採用 NVIDIA Vera CPU，大規模加速代理型 AI
另外，NVIDIA 今日也宣布，SpaceXAI 將部署NVIDIA Vera CPU來加速其新一代代理型AI應用，將首款專為AI代理打造的CPU導入全球最具雄心的AI部署之一。代理型AI應用日益仰賴CPU在模型呼叫間協調工具、執行程式碼、處理資料及執行模擬。SpaceXAI將採用Vera來加速這些應用工作負載，協助AI代理更快速採取行動，同時確保GPU持續獲得所需資料並得到充分利用。
SpaceXAI計畫在 NVIDIA Vera Rubin上擴展其支援Grok的AI基礎設施，同時透過 SpaceXAI第一代的Starmind衛星，將經最佳化的Vera Rubin NVL72延伸至太空。輝達足超大規模與高效能運算副總裁Ian Buck指出，代理型 AI需要全新的運算系統，這種系統不僅用於產生答案，更能採取行動。Vera為 AI代理提供即時採取行動所需的 CPU效能，包括執行程式碼、處理資料，以及協調複雜任務。SpaceXAI 正將這套架構從大規模AI工廠帶往下一個前沿，也就是軌道上的運算。
SpaceXAI總裁Mike Nicolls說，「Vera 提供我們所需的 CPU 效能與記憶體頻寬，能夠執行大量的協調作業、程式碼執行與資料處理工作，同時讓 GPU 專注於最擅長的工作。這意味著 AI 代理將具備更高效能，並讓每瓦運算能力創造更多實際成果。」
NVIDIA Vera：專為AI代理打造的CPU
NVIDIA Vera是首款專為AI代理打造的CPU，旨在加速模型推論周邊大量仰賴CPU 的工作，包括工具使用、程式碼執行、資料處理、協調與模擬。
Vera配備88個由NVIDIA設計的 Olympus 核心、NVIDIA空間多執行緒技術及高頻寬LPDDR5X記憶體，可提供最高達1.2 TB/s的頻寬。在代理型AI、強化學習與資料處理等工作負載中，Vera的任務完成速度最高可達 x86 CPU的1.8倍。
SpaceXAI透過NVIDIA Vera Rubin擴展AI基礎設施
在大規模環境下，AI基礎設施必須支援高需求的訓練、推理與推論工作負載，同時將效能、能效與利用率最大化。NVIDIA Vera Rubin透過運算、網路與軟體的協同設計，最佳化AI工廠的整體運作。
該平台整合NVIDIA加速運算、NVIDIA NVLink™互連技術、NVIDIA Spectrum-X™ 乙太網路、NVIDIA BlueField® 資料處理與NVIDIA軟體，透過整合架構，在大規模部署下提供高效能與高能效，同時降低每個詞元的成本。隨著SpaceXAI的運算能力擴展至百萬瓩級，Vera Rubin提供一套通用架構，讓其新一代 AI 工廠得以高效擴展。SpaceXAI並計畫將這項基礎從地面資料中心延伸至軌道運算。
NVIDIA加速運算從地球延伸至軌道
SpaceXAI 與輝達的合作正從地面的AI工廠進一步延伸至太空。SpaceXAI正開發用於軌道環境的AI運算基礎設施。在軌道上，電力、散熱管理、頻寬、可靠性與硬體整合所面臨的限制，與傳統資料中心截然不同。
SpaceXAI 規劃中的第一代Starmind AI衛星，將以經過最佳化的Vera Rubin NVL72 機架級系統為基礎，驅動相同於地球上新一代AI工廠的加速運算架構延伸至太空。
輝達與SpaceXAI正共同調整這項基礎，使其符合軌道運算的需求，同時維持一致的輝達架構與軟體生態系。
