近年來，人工智能（AI）在各個(gè)領(lǐng)域取得了顯著進(jìn)展，尤其是大型語言模型（LLM），它們能夠生成人類水平的文本，甚至在某些任務(wù)上超越人類。然而，一項(xiàng)新研究對(duì)LLM的推理能力提出了質(zhì)疑。蘋果公司的一組研究人員發(fā)現(xiàn)，這些模型在解決簡(jiǎn)單數(shù)學(xué)問題時(shí)，只要問題稍有變動(dòng)，就容易出錯(cuò)，暗示它們可能并不具備真正的邏輯推理能力。

研究人員在一篇名為《理解大型語言模型中數(shù)學(xué)推理的局限性》的論文中揭示了LLM在解決數(shù)學(xué)問題時(shí)易受干擾的現(xiàn)象。他們通過對(duì)數(shù)學(xué)問題進(jìn)行微小改動(dòng)，例如添加無關(guān)信息，來測(cè)試LLM的推理能力。結(jié)果發(fā)現(xiàn)，面對(duì)這樣的變化，模型的表現(xiàn)急劇下降。

例如，當(dāng)給出一個(gè)簡(jiǎn)單的數(shù)學(xué)問題：“奧利弗星期五摘了44個(gè)奇異果，星期六摘了58個(gè)。星期日，他摘的是星期五的兩倍。他一共摘了多少個(gè)？”LLM能正確回答。但若添加無關(guān)細(xì)節(jié)：“星期日摘的是星期五的兩倍，其中5個(gè)比平均小。”LLM的回答則出錯(cuò)。GPT-o1-mini的回答是：“...星期日，其中5個(gè)奇異果比平均小。我們需要從總數(shù)中減去它們：88 - 5 = 83個(gè)。”

這只是一個(gè)例子，研究人員修改了數(shù)百個(gè)問題，幾乎所有改動(dòng)都導(dǎo)致模型回答成功率大幅下降。他們認(rèn)為，這表明LLM并未真正理解數(shù)學(xué)問題，而只是根據(jù)訓(xùn)練數(shù)據(jù)中的模式進(jìn)行預(yù)測(cè)。一旦需要真正的“推理”，如是否計(jì)算小的奇異果，它們就會(huì)產(chǎn)生不合常理的結(jié)果。

這一發(fā)現(xiàn)對(duì)AI的發(fā)展具有啟示意義。盡管LLM在許多領(lǐng)域表現(xiàn)出色，但其推理能力仍有局限。未來，研究人員需進(jìn)一步探索如何提高LLM的推理能力，使其更好地理解和解決復(fù)雜問題。