騰訊近日宣布,其自主研發(fā)的深度思考模型——混元T1正式版已隆重面世,這款模型被譽(yù)為騰訊目前最強(qiáng)的推理利器。
據(jù)騰訊介紹,混元T1正式版不僅擁有極快的響應(yīng)速度,能夠迅速回答用戶問題,還具備處理超長(zhǎng)文本的強(qiáng)大能力。這一特性使得它在處理復(fù)雜推理任務(wù)時(shí)顯得尤為出色。
為了進(jìn)一步提升推理能力,騰訊對(duì)混元T1進(jìn)行了大規(guī)模強(qiáng)化學(xué)習(xí),并針對(duì)數(shù)學(xué)、邏輯推理、科學(xué)以及代碼等理科難題進(jìn)行了專項(xiàng)優(yōu)化。這些努力使得混元T1在多個(gè)基準(zhǔn)測(cè)試中取得了優(yōu)異的成績(jī)。
在備受關(guān)注的大語(yǔ)言模型評(píng)估增強(qiáng)數(shù)據(jù)集MMLU-PRO中,混元T1取得了87.2分的高分,這一成績(jī)僅次于業(yè)界領(lǐng)先的o1模型。在Ceval、AIME、Zebra Logic等中英文知識(shí)及競(jìng)賽級(jí)數(shù)學(xué)、邏輯推理的公開基準(zhǔn)測(cè)試中,混元T1也展現(xiàn)出了業(yè)界領(lǐng)先的推理水平。
除了基礎(chǔ)的推理能力,混元T1還在多項(xiàng)對(duì)齊任務(wù)、指令跟隨任務(wù)和工具利用任務(wù)中表現(xiàn)出了極強(qiáng)的適應(yīng)性。這一特性使得它在處理復(fù)雜多變的推理場(chǎng)景時(shí)更加游刃有余。
技術(shù)層面,混元T1正式版沿用了混元Turbo S的創(chuàng)新架構(gòu),并采用了Hybrid-Mamba-Transformer融合模式。這是工業(yè)界首次將混合Mamba架構(gòu)無(wú)損應(yīng)用于超大型推理模型,這一創(chuàng)新不僅降低了傳統(tǒng)Transformer結(jié)構(gòu)的計(jì)算復(fù)雜度,還減少了KV-Cache的內(nèi)存占用,從而顯著降低了訓(xùn)練和推理的成本。
基于其出色的長(zhǎng)文捕捉能力,混元T1能夠有效解決長(zhǎng)文推理中常見的上下文丟失和長(zhǎng)距離信息依賴問題。同時(shí),混合Mamba架構(gòu)針對(duì)長(zhǎng)序列處理進(jìn)行了專項(xiàng)優(yōu)化,通過(guò)高效的計(jì)算方式,在確保長(zhǎng)文本信息捕捉能力的同時(shí),大幅降低了資源消耗。在相近的激活參數(shù)量下,混元T1實(shí)現(xiàn)了解碼速度的兩倍提升。
目前,騰訊已經(jīng)開放了混元T1的體驗(yàn)服務(wù),并上線了相應(yīng)的API接口。用戶可以通過(guò)API接口以每百萬(wàn)tokens 1元的價(jià)格輸入數(shù)據(jù),并以每百萬(wàn)tokens 4元的價(jià)格獲取輸出結(jié)果。這一舉措無(wú)疑將為用戶提供更加便捷、高效的推理服務(wù)。