午夜日韩久久影院,亚洲欧美在线观看首页,国产情侣真实露脸在线最新,一级毛片在线观看免费

資訊在沃

微軟Win11電腦本地運(yùn)行DeepSeek-R1大模型,NPU能力引關(guān)注!

   發(fā)布時(shí)間:2025-01-30 20:12 作者:朱天宇

在人工智能與邊緣計(jì)算的交匯點(diǎn)上,微軟近日邁出了重要一步,宣布推出專為NPU(神經(jīng)處理單元)優(yōu)化的DeepSeek-R1模型。這一創(chuàng)新之舉不僅標(biāo)志著微軟對(duì)邊緣計(jì)算潛力的深刻洞察,也預(yù)示著搭載高通驍龍X芯片的Copilot+ PC將率先迎來(lái)一場(chǎng)技術(shù)革命,隨后英特爾酷睿Ultra 200V等平臺(tái)也將陸續(xù)加入這一行列。

微軟通過(guò)官方渠道宣布,DeepSeek-R1的首個(gè)版本——DeepSeek-R1-Distill-Qwen-1.5B,已正式入駐Azure AI Foundry和GitHub,供開(kāi)發(fā)者下載使用。同時(shí),微軟還透露,參數(shù)規(guī)模更大的7B和14B版本也即將面世,這將極大地助力開(kāi)發(fā)者充分挖掘Copilot+ PC中NPU的強(qiáng)大性能。

DeepSeek-R1模型應(yīng)用場(chǎng)景

微軟強(qiáng)調(diào),Copilot+ PC上的NPU開(kāi)創(chuàng)了一種全新的AI應(yīng)用范式。在這一范式下,生成式AI不僅能夠在被調(diào)用時(shí)迅速響應(yīng),還能支持半連續(xù)運(yùn)行的服務(wù)模式。這一特性使得開(kāi)發(fā)者能夠利用AI推理引擎,構(gòu)建出更加主動(dòng)、持續(xù)的用戶體驗(yàn)。

為了實(shí)現(xiàn)這一目標(biāo),微軟在Phi Silica項(xiàng)目的基礎(chǔ)上,積累了豐富的推理優(yōu)化經(jīng)驗(yàn)和技術(shù)。這些經(jīng)驗(yàn)和技術(shù)被巧妙地融入到針對(duì)NPU優(yōu)化的DeepSeek模型中,包括模型分割以實(shí)現(xiàn)性能與效率的最佳平衡、低比特率量化以及Transformer模型到NPU的映射等。微軟還借助Windows Copilot Runtime(WCR)和ONNX QDQ格式,在多樣化的Windows生態(tài)系統(tǒng)中實(shí)現(xiàn)了模型的廣泛部署。

DeepSeek模型優(yōu)化對(duì)比

為了讓更多開(kāi)發(fā)者能夠輕松體驗(yàn)DeepSeek模型的魅力,微軟提供了便捷的下載途徑。只需在Visual Studio Code中安裝AI Toolkit擴(kuò)展,開(kāi)發(fā)者即可輕松獲取這一創(chuàng)新成果。同時(shí),以O(shè)NNX QDQ格式優(yōu)化的DeepSeek模型也將很快出現(xiàn)在AI Toolkit的模型目錄中,供開(kāi)發(fā)者直接從Azure AI Foundry中拉取使用。

原始模型與NPU優(yōu)化模型響應(yīng)對(duì)比

微軟還通過(guò)實(shí)例展示了原始模型與NPU優(yōu)化模型之間的差異。在相同的提示下,原始模型和NPU優(yōu)化模型給出了略有不同的響應(yīng)。這一對(duì)比不僅彰顯了NPU優(yōu)化模型在推理能力上的提升,也進(jìn)一步驗(yàn)證了微軟在模型優(yōu)化方面的深厚實(shí)力。

 
 
更多>同類內(nèi)容
全站最新
熱門(mén)內(nèi)容
本欄最新