近日,科技界傳出重磅消息,據(jù)知名科技媒體The Information報(bào)道,meta Platforms在人工智能(AI)領(lǐng)域的激烈競(jìng)爭(zhēng)中,正面臨前所未有的成本壓力。據(jù)悉,為了支撐其旗艦大語言模型Llama的發(fā)展,meta曾在2024年主動(dòng)向包括微軟、亞馬遜在內(nèi)的多家競(jìng)爭(zhēng)對(duì)手尋求資金支持。
meta內(nèi)部對(duì)于Llama項(xiàng)目的資源需求深感憂慮,因此提出了“Llama Consortium”的構(gòu)想,并愿意讓潛在的投資方參與到Llama未來功能的開發(fā)中,以期吸引更多合作伙伴。然而,據(jù)消息人士透露,這一提議的初期反響并不如預(yù)期般熱烈,目前尚無法確定是否已達(dá)成正式的資金協(xié)議。
這一事件無疑凸顯了構(gòu)建頂尖AI系統(tǒng)所需承擔(dān)的巨額成本,即便是像meta這樣財(cái)力雄厚的科技巨頭也難以獨(dú)自承擔(dān)。生成式AI領(lǐng)域的高風(fēng)險(xiǎn)性在此事件中得到了淋漓盡致的展現(xiàn)。
meta近期推出的Llama 4系列模型更是將其技術(shù)雄心與成本挑戰(zhàn)推向了新的高度。其中,Llama 4 Scout以109億的總參數(shù)和17億的活躍參數(shù),專為單GPU使用設(shè)計(jì),擁有超大的1000萬token上下文窗口,能夠一次性處理約750萬字的內(nèi)容。而Llama 4 Maverick則針對(duì)更大規(guī)模的任務(wù),總參數(shù)高達(dá)400億,同樣擁有17億的活躍參數(shù),并配備了128個(gè)專家系統(tǒng)。
兩款模型均采用了先進(jìn)的Mixture-of-Experts(MoE)架構(gòu),通過激活特定的子網(wǎng)絡(luò)來顯著提升效率。meta內(nèi)部還秘密研發(fā)了一款參數(shù)高達(dá)2萬億的超級(jí)模型——Llama 4 Behemoth,該模型主要用于訓(xùn)練小型模型,其龐大的計(jì)算需求甚至需要?jiǎng)佑枚噙_(dá)3.2萬塊GPU。
meta尋求資金支持的行為與其Llama模型在公司業(yè)務(wù)中的核心地位密不可分。自Llama 4發(fā)布以來,它迅速被集成到WhatsApp、Instagram和Facebook的meta AI功能中,并通過亞馬遜SageMaker JumpStart和微軟Azure AI Foundry等云平臺(tái)提供商用許可。
在激烈的市場(chǎng)競(jìng)爭(zhēng)中,meta采取了強(qiáng)硬的姿態(tài)。據(jù)報(bào)道,meta正努力阻止蘋果的Apple Intelligence功能在其iOS應(yīng)用中使用,以迫使用戶轉(zhuǎn)向基于Llama的AI工具。這一舉措無疑進(jìn)一步加劇了雙方在AI領(lǐng)域的競(jìng)爭(zhēng)態(tài)勢(shì)。