近期,蘋果公司在生成式AI領域的動向引起了業界關注。據報道,蘋果研究員發布了一篇質疑大語言模型數學推理能力的論文,引發了一場關于AI技術實力的討論。為了驗證這些質疑,一系列大語言模型接受了嚴格的測試。
在測試中,首先面對的是一個關于奇異果數量計算的問題。結果顯示,多數大模型能夠正確回答,但文心3.5卻給出了錯誤答案,將體型較小的奇異果排除在外。然而,當問題復雜度提升,如涉及公交車發車時間計算時,文心3.5卻意外地成為唯一給出正確答案的模型,顯示其在某些特定場景下的優勢。
隨后的運動員參與項目數量的計算問題,更是成為了大模型的“滑鐵盧”。除了付費版的OpenAI o1-preview大模型外,其余包括GPT-4o、訊飛星火、豆包、Kimi以及文心3.5等在內的大模型均未能給出正確答案。這一結果揭示了,盡管大模型在某些方面表現出色,但在面對復雜數學問題時仍顯力不從心。
從測試結果來看,大語言模型的性能與其參數量密切相關。例如,GPT-4o mini由于參數量較少,在計算推理時頻繁出錯。而付費版的大模型由于擁有更多的資源和更高的參數量,往往能提供更準確的答案。
測試還顯示出大語言模型在理解人類語言和邏輯方面的局限性。盡管它們在處理基礎數學問題時表現良好,但面對具有歧義或復雜性的問題時,它們的推理能力就顯得捉襟見肘。這再次證明,盡管AI技術取得了顯著進步,但要達到人類智能的水平,還有很長的路要走。
蘋果研究員的質疑,一方面揭示了大語言模型在數學推理方面的不足,另一方面也反映了蘋果在生成式AI領域的焦慮。與其質疑他人,蘋果或許更應該專注于提升自身的AI技術實力,加速布局生成式AI,以免在未來的市場競爭中再次落敗。