近期，OpenAI最新發(fā)布的GPT-5在編程能力測試中涉嫌"作弊"的行為引發(fā)業(yè)界廣泛討論。據(jù)多方技術(shù)分析顯示，OpenAI在評估GPT-5編程能力時存在選擇性使用測試數(shù)據(jù)、降低評估標(biāo)準(zhǔn)等爭議性操作，這使得其宣稱的性能優(yōu)勢受到嚴(yán)重質(zhì)疑。
測試基準(zhǔn)的"雙重標(biāo)準(zhǔn)"問題尤為突出。OpenAI自行提出的SWE-bench Verified基準(zhǔn)本包含500個編程問題，但在實際測試中僅采用477個問題。官方解釋稱，其余23個問題因其基礎(chǔ)設(shè)施無法運行而被排除。值得注意的是，這已經(jīng)是OpenAI第二次在模型測試中采用這種"刪題"操作。早在GPT-4.1發(fā)布時，就以相同理由排除了相同數(shù)量的測試題。
這種操作直接影響了測試結(jié)果的公正性。數(shù)據(jù)顯示，在完整500題測試中，Claude Opus 4.1的表現(xiàn)優(yōu)于GPT-5。而OpenAI通過刪除部分題目，使得GPT-5在縮減后的測試集上僅以0.4%的微弱優(yōu)勢領(lǐng)先。更關(guān)鍵的是，若將被刪除的23題按零分計算，GPT-5的實際得分將低于Claude Opus 4.1。
測試方法的不對等性也引發(fā)質(zhì)疑。OpenAI將GPT-5的最大思維努力輸出與Claude Opus 4.1的基礎(chǔ)輸出進行對比，這種不對稱比較嚴(yán)重削弱了結(jié)果的參考價值。Anthropic公司明確指出，其Claude 4系列所有模型的測試成績均基于完整的500題測試集，與OpenAI的做法形成鮮明對比。
具有諷刺意味的是，SWE-bench Verified基準(zhǔn)本身就是OpenAI為解決原SWE-bench測試集的不足而特別設(shè)計的。該基準(zhǔn)經(jīng)過93位資深程序員的人工標(biāo)注，從1699個樣本中嚴(yán)格篩選出500個優(yōu)質(zhì)測試題，并按照修復(fù)難度進行分級。如今OpenAI卻對自己參與制定的標(biāo)準(zhǔn)進行二次"裁剪"，這種做法難免讓人質(zhì)疑其動機。
在更權(quán)威的原始SWE-bench測試榜單中，Claude 4 Opus仍保持領(lǐng)先地位。這一結(jié)果與OpenAI的宣傳形成反差，進一步加深了業(yè)界對GPT-5真實編程能力的懷疑。
此次事件反映出AI行業(yè)在模型評估標(biāo)準(zhǔn)化方面仍面臨挑戰(zhàn)。當(dāng)企業(yè)既當(dāng)"運動員"又當(dāng)"裁判員"時，如何確保評估的客觀性成為亟待解決的問題。行業(yè)需要建立更中立、透明的評估機制，避免因商業(yè)競爭損害技術(shù)發(fā)展的公信力。目前來看，GPT-5在編程領(lǐng)域的實際能力可能需要更全面、公正的評估才能得到準(zhǔn)確判斷。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
