黃仁勳「買愈多省愈多」說法成真　輝達GB200 NVL72提供15倍投報率

出版時間：2025/10/11 09:50

財經科技新知

隨著人工智慧（AI）從一次性回覆轉變成複雜推理（reasoning），推論（inference）的需求與其背後的經濟效益正急速成長。NVIDIA提供

zoomin — 隨著人工智慧（AI）從一次性回覆轉變成複雜推理（reasoning），推論（inference）的需求與其背後的經濟效益正急速成長。NVIDIA提供

【記者蕭文康／台北報導】NVIDIA（輝達）執行長黃仁勳曾多次為自家產品推銷說「買愈多省愈多」，現旗下Blackwell平台橫掃全新 SemiAnalysis InferenceMAX v1基準測試，展現最高效能與最佳整體效率。其中，最佳投資報酬方面，NVIDIA GB200 NVL72帶來無可比擬的 AI工廠經濟效益，投資 500萬美元可創造7500萬美元的 DSR1詞元收益，相當提供 15倍投資報酬率。而最低總擁有成本方面，NVIDIA B200的軟體最佳化在 gpt-oss上實現每百萬詞元2美分，於2個月內降低詞元成本5倍。

投資500萬美元於NVIDIA GB200 NVL72系統，可創造7500萬美元的詞元收益，帶來15倍投資報酬率

另外，在最佳輸送量與互動性方面：搭載最新 NVIDIA TensorRT-LLM技術架構的 NVIDIA B200，在gpt-oss 上可達到每GPU每秒60000個詞元、每使用者每秒1000個詞元的效能水準。

全新的獨立 InferenceMAX v1是首個在真實場景中衡量總運算成本的基準測試。結果顯示，NVIDIA Blackwell平台橫掃全場，為AI工廠實現無與倫比的效能與最佳整體效率。

NVIDIA超大規模與高效能運算副總裁Ian Buck表示，推論是 AI每天創造價值的關鍵。這些結果證明，NVIDIA的全端策略提供客戶在大規模部署AI時所需的效能與效率。

輝達執行長黃仁勳日前表示，Blackwell交付量將超出公司預期。資料照片/林林攝

為什麼這一類型的基準測試如此重要？

因為現代AI不僅關乎速度，更關乎效率與經濟規模。隨著模型從一次回覆轉變為多步驟推理與工具使用，每次查詢生成的詞元數大量增加，顯著推升了運算需求。

NVIDIA與OpenAI（gpt-oss 120B）、Meta（Llama 3 70B）及DeepSeek AI（DeepSeek R1）在開源領域的合作，展示了社群驅動模型如何推進推理與效率的最先進成果。透過與這些領先模型開發者及開源社群合作，NVIDIA確保最新模型能針對全球最大規模的AI推論基礎設施進行最佳化。這反映NVIDIA對開放生態系的承諾，共享創新以為所有人加速進展。

軟體最佳化持續推升效能

NVIDIA透過硬體與軟體協同設計來持續提升效能。gpt-oss-120B在搭載NVIDIA TensorRT-LLM函式庫的NVIDIA DGX Blackwell B200系統上，初始效能即為業界領先，但 NVIDIA團隊與社群進一步對針對開源大型語言模型，大幅最佳化了 TensorRT LLM的效能表現。

透過先進的平行化技術，它運用B200系統與NVIDIA NVLink Switch的1800GB/s雙向頻寬，大幅提升gpt-oss-120B模型的效能。創新不僅於此。全新發布的gpt-oss-120b-Eagle3-v2模型引入「推測式解碼（speculative decoding）」，這個聰明的方法能一次預測多個詞元，降低延遲並提升速度，將每使用者輸送量提升3倍，達每用戶每秒100詞元（TPS / user），每GPU速度從6000提升至30000詞元。

對於Llama 3.3 70B等密集 AI模型，由於其龐大參數需於推論中同時運作而需要大量的運算資源，NVIDIA Blackwell B200在InferenceMAX v1基準測試中創下全新效能標準。

效能效率帶來價值

每瓦輸出詞元量、每百萬詞元成本與每使用者TPS等指標與輸送量同等重要。對功率受限的AI工廠而言，Blackwell每兆瓦輸送量比上一代提升10倍，能轉化為更的高詞元收益。每詞元成本是衡量AI模型效率的關鍵，直接影響營運支出。NVIDIA Blackwell架構將每百萬詞元成本較上一代降低15倍，帶來可觀節省並推動更廣泛的AI應用。