近日,烽火通信科技股份有限公司傳來(lái)消息,其子公司長(zhǎng)江計(jì)算攜手昇騰與華為云團(tuán)隊(duì),成功為某大型國(guó)有銀行部署了DeepSeek-V3大模型的本地化推理服務(wù)。這一合作標(biāo)志著長(zhǎng)江計(jì)算在AI推理服務(wù)領(lǐng)域取得了重要進(jìn)展。
此次部署的核心設(shè)備是長(zhǎng)江計(jì)算自主研發(fā)的G440K V2服務(wù)器。該服務(wù)器在華為云AI開(kāi)發(fā)平臺(tái)ModelArts的助力下,基于MindIE推理引擎,順利完成了DeepSeek-V3大模型的推理服務(wù)部署。這一過(guò)程中,長(zhǎng)江計(jì)算的技術(shù)實(shí)力得到了充分展現(xiàn)。
G440K V2服務(wù)器不僅在硬件設(shè)計(jì)上獨(dú)具匠心,更在軟件層面實(shí)現(xiàn)了對(duì)DeepSeek系列模型的深度適配與優(yōu)化。其采用的8模組高效推理架構(gòu),為AI推理提供了強(qiáng)大的算力支持,確保了DeepSeek大模型在處理復(fù)雜任務(wù)時(shí)的流暢與高效。
據(jù)長(zhǎng)江計(jì)算方面介紹,G440K V2服務(wù)器在內(nèi)存帶寬和互聯(lián)能力方面具有顯著優(yōu)勢(shì)。這些特性使得該服務(wù)器在部署DeepSeek系列模型時(shí),能夠大幅提升模型推理速度、響應(yīng)效率和數(shù)據(jù)處理能力。同時(shí),該服務(wù)器還支持多機(jī)組網(wǎng)推理,進(jìn)一步滿足了大型銀行對(duì)于高性能、高可用性的需求。
目前,G440K V2服務(wù)器已在智能客服、文案生成、知識(shí)沉淀等多個(gè)大模型推理場(chǎng)景中得到了廣泛應(yīng)用。這些應(yīng)用不僅提升了銀行業(yè)務(wù)處理的智能化水平,還確保了部署過(guò)程中的數(shù)據(jù)安全與自主可控。長(zhǎng)江計(jì)算與昇騰、華為云團(tuán)隊(duì)的緊密合作,無(wú)疑為金融行業(yè)AI推理服務(wù)的發(fā)展注入了新的活力。