隨著AI技術的飛速發展,本地部署大模型已成為技術發燒友們的熱門話題。今年年初,DeepSeek AI大模型的橫空出世,更是將這一熱潮推向了新的高度。相較于付費使用現成的AI應用,DeepSeek的完全開源特性吸引了大量愛好者,他們熱衷于在本地部署這一大模型,充分利用現代硬件的強大AI性能。
然而,對于主流的筆記本平臺而言,本地運行DeepSeek大模型的效果究竟如何呢?為了解答這一問題,我們選取了兩臺配置相近的輕薄本進行測試,分別搭載了Intel酷睿Ultra 9 285H處理器和AMD銳龍AI 9 HX370處理器,它們都是各自平臺上輕薄本能夠搭載的最強處理器。
在本地部署的DeepSeek只能是蒸餾版,因為滿血版DeepSeek-R1模型的龐大參數遠超筆記本平臺的承載能力。但幸運的是,DeepSeek提供了六個不同規模的蒸餾后小模型,用戶可以根據自己的硬件配置選擇合適的模型規模。這些模型都是開源的,任何人都可以下載并部署到自己的設備上。
選擇合適的模型規模,關鍵在于運行設備的顯存或內存容量,對于筆記本用戶來說,這主要取決于內存大小。近年來,隨著AI PC概念的興起,電腦的內存容量普遍從32GB起步,就連一向以高昂價格著稱的蘋果,其最新的Mac Mini M4也將內存升級到了16GB起步。
我們測試的兩臺筆記本,在配置上各有千秋。Intel酷睿Ultra 9 285H處理器基于Arrow Lake架構,擁有16核心(不支持超線程),性能核最大睿頻可達5.4GHz,并內建Intel銳炫140T顯卡和NPU,提供高達13 TOPS的算力。而AMD銳龍AI 9 HX370處理器則基于Zen 5架構,擁有12核心24線程,最高加速頻率為5.1GHz,并內建AMD Radeon 890M顯卡和獨立的NPU引擎,算力高達55 TOPS。
在實際測試中,我們基于Ollama框架,在本地部署了DeepSeek-R1的蒸餾版模型,并測試了使用iGPU的運行效率。為了避免圖形UI造成的延遲和性能影響,我們直接在命令行中與DeepSeek-R1:14B模型進行對話,準備了四個問題來測試其表現。結果顯示,14B規模的模型在反應速度和回答準確率上都表現出色,而更小規模的模型雖然執行速度更快,但AI智力明顯下降,經常出現無法回答或陷入死循環的情況。
在對比Intel和AMD處理器的表現時,我們發現Intel酷睿Ultra 9 285H在針對Intel優化過的Ollama上每秒token輸出更高,在14B和7B規模模型中,相比AMD銳龍AI 9 HX370有40%左右的領先。這一結果雖然并不能代表Intel處理器在AI性能上就一定比AMD處理器強很多,但至少從實際測試來看,針對Intel優化過的框架確實擁有更好的支持。
我們還測試了Deepseek-R1:14B模型在Intel酷睿Ultra 9 285H處理器的輕薄本上的實際表現。通過安裝針對Intel酷睿Ultra處理器優化的AI應用工具Flowy AI PC軟件,我們使用Deepseek-R1:14B模型編寫了一個基于HTML語言的貪吃蛇游戲。結果顯示,雖然游戲比較簡陋,但基本的游戲功能已經沒有問題,這證明了Intel酷睿Ultra 9 285H處理器搭配Deepseek-R1:14B模型已經具備了一定的實用價值。
DeepSeek大模型的開源極大地降低了本地部署AI大模型的門檻,即使在輕薄本這種性能有限的移動平臺上,也能實現相當不錯的性能表現。而Intel酷睿Ultra 9 285H處理器在針對Intel優化過的框架上展現出了強勁的實力,這從一個側面說明了軟件適配對于AI大模型高效運行的重要性。