近期,B站知名UP主“雖然但是張黑黑”發布了一段引人注目的視頻,該視頻揭示了蘋果最新滿血版M3 Ultra芯片在運行超大規模AI模型時的驚人表現。測試中,這款芯片在驅動DeepSeek R1模型——一個擁有6710億參數的龐然大物時,展現出了超越8張NVIDIA A100顯卡的性能,而其成本卻遠低于傳統解決方案。
通常,運行如此大規模的AI模型需要借助配備6至8張A100顯卡的專業服務器,這樣的配置總價往往超過百萬元人民幣,對于大多數用戶而言,這無疑是一道難以逾越的門檻。然而,滿血版M3 Ultra卻僅憑一臺Mac Studio就實現了相近的性能,其性價比之高令人矚目。
測試數據顯示,在運行DeepSeek R1模型時,8張A100顯卡的性能為每秒處理16.41個Tokens,而滿血版M3 Ultra在GGUF格式下達到了每秒15.78個Tokens。但令人驚喜的是,當切換到能充分發揮統一內存優勢的MLX格式后,M3 Ultra的速度飆升至每秒19.17個Tokens,成功超越了8張A100顯卡的表現。在運行DeepSeek V3的6710億參數模型時,M3 Ultra的速度更是達到了每秒19.66個Tokens。
然而,值得注意的是,M3 Ultra的性能優勢并非在所有場景下都能顯現。在進行單一模型推理時,主要依賴于內存帶寬和容量,此時A100顯卡的潛力可能無法得到完全發揮。而在多用戶推理和大模型訓練等更復雜的應用場景中,M3 Ultra則無法與A100相媲美。
盡管如此,M3 Ultra在大語言模型推理速度測試中的表現依然令人印象深刻。無論是Llama 3.1的70B版本、Gemma2的27B版本還是Qwen 2.5的14B版本,M3 Ultra的速度都明顯優于其他M系列芯片。與M2 Ultra相比,M3 Ultra在這些模型上的速度分別提升了13%、34%和18%。
此次測試的滿血版M3 Ultra配備了高達512GB的統一內存,其總價為74249元人民幣。對于大多數用戶而言,如果不需要運行如此大規模的模型,可以適當降低統一內存的容量以節省成本。這一靈活的配置選項無疑為更多用戶提供了體驗高性能AI計算的可能性。