麻省理工學(xué)院（MIT）信息與決策系統(tǒng)實(shí)驗(yàn)室（LIDS）近日公布了一項關(guān)于生成式AI模型導(dǎo)航能力的研究結(jié)果，引發(fā)了業(yè)內(nèi)關(guān)注。該研究指出，盡管這類模型在提供紐約市導(dǎo)航指引時表現(xiàn)近乎完美，但實(shí)際上并未形成準(zhǔn)確的地圖認(rèn)知。

在研究過程中，研究人員嘗試對部分街道進(jìn)行封閉，并設(shè)置相應(yīng)的繞行路線。結(jié)果顯示，這一微小變動導(dǎo)致生成式AI模型的性能大幅下滑。具體來說，當(dāng)僅有1%的街道被封閉時，模型的準(zhǔn)確率便從接近百分之百驟降至67%，這暴露出模型在應(yīng)對環(huán)境變化時的顯著不足。

深入研究還發(fā)現(xiàn)，這些模型所生成的紐約地圖中包含大量虛構(gòu)的街道。這些街道在地圖網(wǎng)格中以扭曲的方式連接，形成了一個與現(xiàn)實(shí)相去甚遠(yuǎn)的“虛構(gòu)紐約”。地圖上隨處可見的隨機(jī)跨街橋和角度奇異的交叉街道，進(jìn)一步揭示了模型存在的缺陷。

該研究強(qiáng)調(diào)，對于生成式AI模型而言，評估其是否具備連貫的世界觀至關(guān)重要。雖然這類模型在自然語言處理領(lǐng)域取得了顯著成就，但在拓展至其他科學(xué)領(lǐng)域時，其連貫性和適應(yīng)性仍需經(jīng)過嚴(yán)格驗(yàn)證。

此次研究主要聚焦于名為“transformer”的生成式AI模型。該模型作為眾多大型語言模型（如GPT-4）的核心組成部分，在基于語言的數(shù)據(jù)訓(xùn)練方面表現(xiàn)出色。然而，MIT的這項研究卻揭示了其在導(dǎo)航任務(wù)中的局限性。