近期,螞蟻集團在AI領域的最新進展引起了廣泛關注。據新浪科技報道,螞蟻集團針對市場關注的“百靈”大模型訓練成本問題作出了正式回應。螞蟻集團表示,他們正致力于通過不斷優化不同芯片的使用,來有效降低AI應用的成本,并且已經在這一領域取得了一些顯著的成果。未來,這些成果還將逐步通過開源的方式與業界分享。
事件的背景是這樣的:螞蟻集團的Ling團隊最近在預印版Arxiv平臺上發表了一篇技術論文,詳細闡述了他們的最新研究成果。論文中,他們推出了兩款基于混合專家(MoE)架構的大語言模型——百靈輕量版(Ling-Lite)和百靈增強版(Ling-Plus)。這兩款模型不僅在規模上有所不同,更重要的是,它們采用了一系列創新方法,使得在低性能硬件上也能高效訓練大模型,從而顯著降低了成本。
具體來說,百靈輕量版的參數規模達到了168億,其中激活參數為27.5億;而增強版的基座模型參數規模更是高達2900億,激活參數也有288億。這兩款模型的性能均達到了行業領先水平。實驗數據顯示,他們的3000億參數MoE大模型在使用國產GPU的低性能設備上也能完成高效訓練,其性能與完全使用英偉達芯片、同規模的稠密模型及MoE模型相當。
這一成果的發布,無疑為AI領域帶來了新的突破。螞蟻集團通過技術創新,不僅提高了大模型的訓練效率,還降低了對高性能硬件的依賴,使得更多企業和研究機構能夠在有限的資源條件下開展AI研究和應用。
螞蟻集團還表示,他們將繼續在AI領域進行探索和創新,不斷推出更多具有實際應用價值的技術成果。同時,他們也歡迎業界同行和研究者共同參與和分享這些成果,共同推動AI技術的發展和應用。
可以預見的是,隨著螞蟻集團在AI領域的不斷探索和創新,未來將有更多具有顛覆性的技術成果涌現出來,為各行各業帶來更加智能化和高效化的解決方案。