近日，華為技術有限公司攜手北京大學高性能計算校級公共平臺，共同宣布了一項重大進展：DeepSeek全棧開源推理方案正式面世。這一方案的發(fā)布日期被定于2025年3月9日，由北京大學與華為聯(lián)合推出。

DeepSeek方案以北京大學自主研發(fā)的SCOW算力平臺系統(tǒng)和鶴思調(diào)度系統(tǒng)為基礎，深度融合了DeepSeek、openEuler、MindSpore以及vLLM/RAY等開源社區(qū)組件。該方案不僅實現(xiàn)了在華為昇騰平臺上的高效推理，還支持大規(guī)模算力集群的訓推一體化部署。所有開發(fā)者均可自由獲取其源代碼，并根據(jù)實際需求進行二次開發(fā)，其性能表現(xiàn)已逼近閉源方案。

根據(jù)公布的數(shù)據(jù)對比，DeepSeek全棧開源方案在特定硬件配置下的表現(xiàn)令人矚目。在2臺Atlas 800I A2服務器的支持下，對于輸入長度為4096、輸出長度為1024的任務，系統(tǒng)吞吐量達到了驚人的11981288，用戶并發(fā)數(shù)也能維持在128的高水平。這些數(shù)據(jù)充分展示了DeepSeek方案的強大性能。

目前，DeepSeek方案已成功部署于北京大學未名卓越一號集群。該集群由北京大學計算中心負責研制與運維，專為北大鯤鵬昇騰科教創(chuàng)新卓越中心提供算力支持。作為國內(nèi)首個基于高校自研基礎軟件的國產(chǎn)智算平臺，未名卓越一號集群于2024年11月18日正式上線運行。首期便集成了20臺昇騰AI服務器與10臺鯤鵬通用服務器，AI算力規(guī)模高達30.64PFlops（半精度）。

DeepSeek推理方案的成功發(fā)布，得益于其在openEuler開源操作系統(tǒng)層面的深度優(yōu)化。通過異構調(diào)度負載感知MoE冷熱專家技術，該方案能夠更細粒度地調(diào)度任務，提高資源利用率。同時，異構融合技術的運用使得內(nèi)存管理更加高效，有效減小了系統(tǒng)內(nèi)存碎片。畢昇編譯器的進一步優(yōu)化也顯著減少了算子下發(fā)耗時，從而提升了推理整體性能。

上圖展示了算力集群全棧開源推理方案的架構圖，從中可以清晰地看到各組件之間的協(xié)同工作關系以及數(shù)據(jù)流的處理流程。這一方案的推出，無疑將為AI領域的發(fā)展注入新的活力。