近期，AI領域迎來了一匹黑馬——DeepSeek，這款應用在短短兩周內迅速崛起，憑借其出色的性能和多元化的應用場景，迅速成為業(yè)界的佼佼者。值得注意的是，昆侖芯也宣布加入支持DeepSeek的行列，為其提供了強大的技術支持。

昆侖芯，這一源自百度智能芯片及架構部的企業(yè)，自2021年4月完成獨立融資后，便以約130億元的估值，在國內AI加速領域嶄露頭角。憑借其在體系結構、芯片實現、軟件系統及場景應用上的深厚積累，昆侖芯已成為行業(yè)內不可忽視的力量。

在蛇年開工的首日，即2月5日，昆侖芯傳來喜訊，其新一代產品P800萬卡集群已成功點亮，而3萬卡集群的點亮也指日可待。這一消息無疑為昆侖芯的發(fā)展注入了新的動力。

昆侖芯與DeepSeek的合作堪稱完美。目前，昆侖芯已完成DeepSeek訓練推理的全版本適配，其卓越的性能、一鍵部署的便捷性以及極高的成本效率，都贏得了用戶的廣泛贊譽。特別是在DeepSeek-V3/R1上線后不久，昆侖芯便迅速完成了全版本模型的適配，包括DeepSeek MoE模型及其蒸餾的Llama、Qwen等小規(guī)模dense模型。

昆侖芯還全面適配了文心系列、Llama、Qwen、ChatGLM、Baichuan等各類大模型的推理和訓練任務，其性能優(yōu)勢顯而易見。各類大模型任務在昆侖芯平臺上運行流暢，為用戶提供了卓越的使用體驗。

昆侖芯P800在支撐Deepseek系列MoE模型大規(guī)模訓練任務方面表現出色。它全面支持MLA、多專家并行等特性，僅需32臺即可支持模型全參訓練，高效完成模型的持續(xù)訓練和微調。P800的顯存規(guī)格優(yōu)于同類主流GPU 20-50％，對MoE架構更加友好。更令人驚喜的是，它率先支持8bit推理，單機8卡即可運行671B模型，這一特性使得P800更易于部署，并顯著降低了運行成本。

目前，P800已快速適配支持了Deepseek-V3/R1的持續(xù)全參數訓練及LoRA等PEFT能力，為用戶提供了開箱即用的訓練體驗。基于昆侖芯完整的軟件生態(tài)棧，用戶只需簡單兩步，即可輕松實現在昆侖芯P800上進行DeepSeek-V3/R1的推理部署。

首先，用戶需要準備鏡像和模型資源。昆侖芯P800支持8bit推理，用戶只需下載官方權重并使用相應命令進行量化即可。對于其他不同尺寸的蒸餾模型，用戶則可通過huggingface進行下載。接下來，用戶只需啟動服務并配置采樣和推理參數，即可開始使用。這一過程與vllm社區(qū)的使用方式基本一致，使得用戶可以零成本上手。