OpenAI推出了一款全新工具，用于衡量AI在機器學習工程中的能力，該基準名為MLE-bench，通過來自Kaggle的75個現(xiàn)實世界的數(shù)據(jù)科學競賽對AI系統(tǒng)進行挑戰(zhàn)，Kaggle是一個廣受歡迎的機器學習競賽平臺。

隨著科技公司加大開發(fā)更強大AI系統(tǒng)的力度，MLE-bench不僅僅測試AI的計算或模式識別能力，還評估AI在復雜的機器學習工程領域中的規(guī)劃、故障排除和創(chuàng)新能力。

AI挑戰(zhàn)Kaggle：令人印象深刻的勝利與意外的挫折

結(jié)果揭示了當前AI技術的進展與局限，OpenAI的最先進模型o1-preview，在名為AIDE的專用結(jié)構的支持下，在16.9%的競賽中達到了可獲得獎牌的表現(xiàn)，這一表現(xiàn)值得關注，表明在某些情況下，該AI系統(tǒng)能夠與技術嫻熟的數(shù)據(jù)科學家進行競爭。

然而，研究也突顯了AI與人類專業(yè)知識之間的顯著差距，AI模型通常能夠成功應用標準技術，但在需要適應性或創(chuàng)造性解決問題的任務中表現(xiàn)較為欠缺，這一局限強調(diào)了人類洞察力在數(shù)據(jù)科學領域的持續(xù)重要性。

機器學習工程涉及設計和優(yōu)化能夠讓AI從數(shù)據(jù)中學習的系統(tǒng)。MLE-bench評估AI在這個過程中各個方面的能力，包括數(shù)據(jù)準備、模型選擇和性能調(diào)優(yōu)。

從實驗室到工業(yè)界：AI在數(shù)據(jù)科學中的深遠影響

該研究的影響不僅限于學術領域，能夠獨立處理復雜機器學習任務的AI系統(tǒng)的發(fā)展，可能會加速各行業(yè)的科學研究和產(chǎn)品開發(fā)，然而，這也引發(fā)了對人類數(shù)據(jù)科學家角色演變的思考，以及AI能力迅速提升的潛力。

OpenAI決定將MLE-bench開源，這允許更廣泛的研究和使用該基準，這一舉措可能幫助建立評估機器學習工程中AI進展的共同標準，并可能影響該領域未來的發(fā)展和安全考慮。

隨著AI系統(tǒng)在某些專業(yè)領域逐步接近人類水平，像MLE-bench這樣的基準為追蹤進展提供了關鍵指標，它們?yōu)橥饨邕^高的AI能力預期提供了現(xiàn)實的衡量標準，展示了當前AI的長處和不足。

AI與人類在機器學習中的未來合作

增強AI能力的努力正在加速，MLE-bench為這項進展提供了新的視角，特別是在數(shù)據(jù)科學和機器學習領域。隨著這些AI系統(tǒng)的不斷改進，它們可能會與人類專家協(xié)同工作，潛在地拓寬機器學習應用的邊界。

然而，值得注意的是，盡管該基準展示了可喜的成果，它也揭示了AI距離完全復制經(jīng)驗豐富的數(shù)據(jù)科學家的細致決策和創(chuàng)造力還有很長的路要走。當前的挑戰(zhàn)在于如何縮小這一差距，并確定如何在機器學習工程領域?qū)I能力與人類專長最佳結(jié)合。