NVIDIA在最新一輪MLPerf V5.0基準測試中,憑借Blackwell平臺大放異彩,展現了其在人工智能領域的卓越實力。
MLPerf,這一由圖靈獎得主大衛·帕特森攜手谷歌、斯坦福及哈佛大學等重量級機構共同創立的性能基準測試平臺,無疑是國際AI領域的權威風向標。它旨在通過標準化測試,全面衡量人工智能硬件、軟件及服務的性能表現。
值得注意的是,此次MLPerf更新引入了Llama 3.1 405B,這一龐大且復雜的開放權重模型,無疑為測試增添了極大的挑戰。然而,NVIDIA及其合作伙伴卻迎難而上,成功提交了Llama 3.1 405B基準測試的結果,成為業界焦點。
在Llama 3.1 405B基準測試中,NVIDIA的GB200 NVL72系統通過72個Blackwell GPU的緊密協作,實現了驚人的性能提升。與H200 NVL8相比,其吞吐量竟高達30倍之多,這一成績無疑彰顯了NVIDIA在GPU技術上的深厚積累。
除了吞吐量的大幅提升,NVIDIA在推理部署的關鍵指標上也取得了顯著進步。首次響應時間(TTFT)和每個輸出令牌的時間(TPOT)是衡量用戶體驗的重要指標。在新的Llama 2 70B Interactive基準測試中,NVIDIA利用8個Blackwell GPU的DGX B200系統,將TPOT縮短了5倍,TTFT降低了4.4倍,為用戶帶來了更為流暢的體驗。
在這一更具挑戰性的基準測試中,NVIDIA的表現同樣出類拔萃。與使用8個H200 GPU的系統相比,DGX B200系統的性能高出三倍之多,為Llama 2 70B基準測試樹立了新的標桿。
NVIDIA的這一系列成就,不僅展示了其在人工智能領域的領先地位,更為行業樹立了新的性能標準。隨著人工智能技術的不斷發展,NVIDIA將繼續以技術創新為驅動,推動AI性能的持續提升。
可以預見,NVIDIA的Blackwell平臺將在未來的人工智能應用中發揮更加重要的作用,為各行各業帶來更加智能、高效的解決方案。
此次MLPerf V5.0基準測試的結果,無疑為NVIDIA在人工智能領域的實力提供了有力的證明。
隨著技術的不斷進步和應用場景的不斷拓展,NVIDIA將繼續引領人工智能技術的發展潮流,為人類社會創造更加美好的未來。