為解決語言模型在回答問題時可能產(chǎn)生的“幻覺”問題，美國知名人工智能研究機構(gòu)OpenAI近日開源了一款新基準(zhǔn)——SimpleQA。

SimpleQA專注于評估模型在簡短、事實性問題上的準(zhǔn)確性，共包含4326個精心設(shè)計的問題。然而，它僅限于評估有確切答案的短查詢。

OpenAI強調(diào)，雖然SimpleQA能有效衡量模型在短回答中的事實準(zhǔn)確性，但其在處理長篇或多事實內(nèi)容方面的表現(xiàn)仍需進一步探究。通過開源SimpleQA，OpenAI希望能推動AI研究的進步，提升語言模型的可靠性和信任度。

該基準(zhǔn)的特點包括確保答案的正確性，問題的答案均經(jīng)過兩名獨立AI訓(xùn)練師的嚴(yán)格驗證；覆蓋多元主題，從科技到娛樂，體現(xiàn)其廣泛的適用性；以及對前沿模型的挑戰(zhàn)性，如GPT-4等先進模型，在SimpleQA面前都將面臨嚴(yán)峻的考驗。

SimpleQA還注重用戶體驗，簡潔明了的問題和答案設(shè)計使得用戶能夠輕松操作和評分。同時，借助OpenAI API等工具，用戶可以快速評估模型的性能。