DeepSeek公司近期宣布了一項(xiàng)技術(shù)創(chuàng)新，正式推出了名為NSA（Native Sparse Attention）的新型稀疏注意力機(jī)制。這一機(jī)制專(zhuān)為超快速長(zhǎng)上下文訓(xùn)練與推理設(shè)計(jì)，實(shí)現(xiàn)了硬件對(duì)齊與原生可訓(xùn)練性。

NSA的核心組成部分別具一格，涵蓋了動(dòng)態(tài)分層稀疏策略、粗粒度token壓縮以及細(xì)粒度token選擇。這些組件的協(xié)同作用，使得NSA在提升性能的同時(shí)，也優(yōu)化了現(xiàn)代硬件設(shè)計(jì)。

據(jù)DeepSeek官方介紹，NSA機(jī)制不僅能夠加速推理過(guò)程，顯著降低預(yù)訓(xùn)練成本，而且在性能上并未做出妥協(xié)。在通用基準(zhǔn)測(cè)試、長(zhǎng)上下文任務(wù)以及基于指令的推理場(chǎng)景中，NSA的表現(xiàn)與全注意力模型相比，要么相當(dāng)，要么更勝一籌。

這一創(chuàng)新技術(shù)的推出，對(duì)于深度學(xué)習(xí)領(lǐng)域而言無(wú)疑是一個(gè)重大突破。通過(guò)優(yōu)化硬件設(shè)計(jì)與訓(xùn)練效率，NSA為大規(guī)模語(yǔ)言模型的應(yīng)用開(kāi)辟了新路徑，使得長(zhǎng)上下文處理和快速推理成為可能。

DeepSeek還提供了關(guān)于NSA機(jī)制的詳細(xì)論文鏈接，供相關(guān)領(lǐng)域的研究人員和開(kāi)發(fā)者深入了解和探索。