午夜日韩久久影院,亚洲欧美在线观看首页,国产情侣真实露脸在线最新,一级毛片在线观看免费

資訊在沃

摩爾線程全速前進:全面擁抱DeepSeek開源周,國產顯卡生態再升級!

   發布時間:2025-03-02 14:24 作者:馮璃月

摩爾線程在近日宣布,他們已經成功完成了對DeepSeek開源周所有項目的全面支持,這一成果在短時間內實現,展示了MUSA架構和全功能GPU在生態兼容與快速適配方面的卓越能力。此次支持涵蓋了FlashMLA、DeepEP、DeepGEMM、DualPipe以及Fire-Flyer文件系統(3FS)等多個開源項目。

FlashMLA是一個專為加速MLA(Multi-Head Latent Attention)機制計算而設計的開源推理內核倉庫,尤其適用于DeepSeek系列模型。摩爾線程通過引入全新的MUSA Compute Capability 3.1計算架構,提供了原生FP8計算能力,并升級了高性能線性代數模板庫MUTLASS,從而快速支持了FlashMLA。用戶可以通過摩爾線程發布的MT-FlashMLA開源倉庫,輕松實現對DeepSeek FlashMLA的兼容部署。

DeepEP則是一個專注于MoE(混合專家)模型訓練和推理的開源EP(expert parallelism,專家并行)通信庫,特別適用于大模型訓練,特別是需要EP的集群訓練。摩爾線程基于MUSA Compute Capability 3.1全功能GPU,迅速適配了DeepEP,從而顯著提升了訓練效率。

DeepGEMM則是一個支持FP8 GEMM(General Matrix Multiplication,通用矩陣乘法)的開源庫,為V3/R1的訓練與推理提供了強大支持。摩爾線程基于MUTLASS在全新GPU架構上優化實現了FP8矩陣乘法,確保了DeepGEMM功能的充分發揮。

DualPipe是DeepSeek-V3提出的雙向流水線并行算法,通過前向計算與后向計算階段的計算與通信完全重疊,顯著減少了設備空閑等待時間,提升了資源利用率與訓練效率。摩爾線程依托深度學習框架Torch-MUSA和MUSA軟件棧的全方位兼容性,實現了對DualPipe算法的高效支持,用戶可以完整接入摩爾線程的MT-Megatron框架和即將開源的MT-TransformerEngine框架,實現DeepSeek V3訓練流程的完整復現。

Fire-Flyer文件系統(3FS)是一種能夠充分利用現代SSD和RDMA網絡帶寬的并行文件系統,可以將固態硬盤的帶寬性能發揮到極致。摩爾線程在極短的時間內完成了高性能分布式文件系統3FS的搭建,并開發了存儲插件,成功實現了與夸娥智算集群的無縫集成,為AI訓練、AI推理、科學計算等場景提供了全棧存儲加速方案。

摩爾線程的這一系列成果,不僅展示了他們在GPU技術和生態兼容方面的強大實力,也為用戶提供了更加豐富和高效的解決方案。未來,摩爾線程將繼續致力于技術創新和生態建設,為用戶提供更加優質的產品和服務。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新