AI像人一樣操作電腦，已然成為下一個(gè)前沿。

兩天前，Anthropic進(jìn)化版Claude 3.5 Sonnet首次實(shí)現(xiàn)自主操控電腦屏幕、移動(dòng)光標(biāo)、完成任務(wù)，驚艷了所有人。

當(dāng)時(shí)，Anthropic開(kāi)發(fā)者關(guān)系負(fù)責(zé)人稱，「『計(jì)算機(jī)使用』是萬(wàn)能的API，它代表著全新人機(jī)交互范式的第一步」。

拿到測(cè)試資格的網(wǎng)友們，瘋狂體驗(yàn)了這項(xiàng)「超能力」。

甚至，就連初創(chuàng)公司CEO對(duì)此贊不絕口，AI智能體已經(jīng)來(lái)臨，你現(xiàn)在可以建立AI軍隊(duì)為你工作。

在Anthropic加速布局智能體未來(lái)同時(shí)，OpenAI似乎也感受到了緊迫感。外媒最新爆料稱，OpenAI內(nèi)部正開(kāi)發(fā)新品來(lái)自動(dòng)化復(fù)雜的軟件編程任務(wù)。

恰在昨天，OpenAI研究科學(xué)家、德?lián)渲冈赥ED活動(dòng)中表示，「自己對(duì)構(gòu)建o1失去信心，正在OpenAI組建多智能體團(tuán)隊(duì)」。

這意味著，一場(chǎng)全新的競(jìng)賽即將開(kāi)始，AI不再僅僅是對(duì)話生成，而應(yīng)該去執(zhí)行和操作。

Claude接管人類電腦，科研求職編碼一鍵通

那些上手Claude計(jì)算機(jī)使用能力的開(kāi)發(fā)者們，根本停不下來(lái)創(chuàng)作。

從復(fù)雜的編碼任務(wù)到深入研究，再到收集 「零散」的信息，許多令人驚嘆的典型案例誕生了。

畢竟是自家首發(fā)的，Anthropic開(kāi)發(fā)者關(guān)系負(fù)責(zé)人Alex Albert先了打個(gè)樣。

他先用Claude計(jì)算機(jī)和bash工具，在線下載一個(gè)隨機(jī)數(shù)據(jù)集，然后安裝sklearn，在數(shù)據(jù)集上訓(xùn)練一個(gè)簡(jiǎn)單的分類器。

最后，在網(wǎng)頁(yè)上就得到了分類器結(jié)果。

這些過(guò)程，不到5分鐘的時(shí)間就完成了。

其中用到的提示，他也貢獻(xiàn)出來(lái)了：

Go to https://data.gov, find an interesting recent dataset, and download it. Install sklearn with bash tool write a .py file to split the data into train and test and make a classifier for it. (you may need to inspect the data and/or iterate if this goes poorly at first, but don't get discouraged!). Come up with some way to visualize the results of your classifier in the browser.

一位開(kāi)發(fā)者已經(jīng)開(kāi)始讓Claude幫自己自主做科研了。

驗(yàn)證「你是不是人」，Claude可以代勞了。

想要Claude控制你的電腦，只需要：

pip install open-interpreter
interpreter --os

搜索YouTube視頻，并跳過(guò)廣告。

Claude一頓操作猛如虎，以后視頻內(nèi)置廣告，通通交給它了。

打工人求職申請(qǐng)表填寫，Claude也能勝任。這不，下面這位開(kāi)發(fā)者小哥已經(jīng)讓AI自動(dòng)申請(qǐng)Anthropic職位了。

進(jìn)化版（左）和舊版（右）Claude 3.5 Sonnet在「我的世界」中構(gòu)建的樣子，令人印象深刻。

新升級(jí)后的Claude 3.5 Sonnet將如何影響「多智能體社會(huì)」的進(jìn)步？

智能體研究初創(chuàng)公司Altera Al給出了答案，新模型是對(duì)長(zhǎng)時(shí)間自主性的最大升級(jí)。我們的25個(gè)智能體在「我的世界」中合作，在20分鐘內(nèi)收集了超過(guò)40%的不同物品。

分析工具

順便提一句，Claude今天還重磅推出了可以編寫和運(yùn)行代碼「分析工具」，為1024開(kāi)發(fā)者們送上大福利。

目前，這一功能已在Claude中上線。

假設(shè)讓Claude繪制銷售渠道進(jìn)展的直觀圖，它能自主分析數(shù)據(jù)寫代碼，并給出要求的可視化圖。

然后，你可以在Artifacts中，可以詳細(xì)查看細(xì)分項(xiàng)的數(shù)據(jù)。

AI智能體競(jìng)賽打響，Anthropic搶跑

雖然計(jì)算機(jī)使用工具并不完美，但它代表了Anthropic在AI中的一種愿景：

讓Claude像人一樣，看懂屏幕自主操作現(xiàn)有軟件，完成各種復(fù)雜的任務(wù)。

這項(xiàng)能力背后的工作原理是：Claude先對(duì)屏幕截圖，確定需要采取的行動(dòng)，然后執(zhí)行這些行行動(dòng)。然后，再次截圖決定下一步應(yīng)該做什么。

暢想一下，如果智能體能夠直接查看屏幕內(nèi)容而無(wú)需依賴輔助功能，或查看底層代碼的AI軟件，可能會(huì)開(kāi)啟大量新機(jī)遇。

比如，當(dāng)你搭建網(wǎng)站時(shí)，如果按鈕中的文字意外超出按鈕邊界，AI智能直接看到后修復(fù)了這個(gè)問(wèn)題，就省去了查看底層代碼倒推步驟。

再舉個(gè)栗子，當(dāng)前網(wǎng)站制作者，已經(jīng)非常巧妙地隱藏網(wǎng)站上廣告的HTML代碼。

這使得基于AI的廣告攔截軟件更難分析代碼，并確定需要?jiǎng)h除什么來(lái)去除廣告。

但是，能夠直接看到廣告本身的「計(jì)算機(jī)使用智能體」會(huì)發(fā)現(xiàn)這項(xiàng)任務(wù)容易得多。

不過(guò)，這項(xiàng)技術(shù)帶來(lái)弊端首先是「截圖操作」成本太高，而且AI往往會(huì)假設(shè)它的操作已經(jīng)成功執(zhí)行。

「當(dāng)它獲取新的截圖時(shí)，它已經(jīng)不知道自己在操作流程中處于哪個(gè)階段了」

另一方面，就是隱私問(wèn)題了。

此前，已經(jīng)有公司禁止員工使用ChatGPT、GitHub Copilot等編程工具，害怕不小心向模型開(kāi)發(fā)商泄露專有信息或代碼。

OpenAI急了，加碼AI年底上新

在勁敵Anthropic連連發(fā)布重壓下，OpenAI其實(shí)早已開(kāi)啟了新的布局。

還記得幾天前，Sam Altman突然冒泡，「下個(gè)月是ChatGPT的第二個(gè)生日，我們應(yīng)該送它什么生日禮物呢」？

當(dāng)時(shí)，一大波網(wǎng)友寫下自己的愿望清單。

就在剛剛，有一條被傳瘋了的報(bào)道稱，OpenAI計(jì)劃在12月，解禁新一代大模型，代號(hào)為Orion。

根據(jù)爆料，Orion將使用o1合成的數(shù)據(jù)進(jìn)行訓(xùn)練，并會(huì)在ChatGPT兩周年前后發(fā)布。

但與GPT-4o和o1不同的是，它最初不會(huì)通過(guò)ChatGPT上線，而是先授予與OpenAI密切合作的公司訪問(wèn)權(quán)限（比如微軟），方便他們構(gòu)建自己的產(chǎn)品和功能。

不過(guò)，網(wǎng)友們的「美夢(mèng)」還沒(méi)做多久，Altman就站出來(lái)辟謠了：通通都是fake news！

在軟件開(kāi)發(fā)上，OpenAI目前正在開(kāi)發(fā)多個(gè)產(chǎn)品和功能：

一部分簡(jiǎn)化在Microsoft Visual Studio Code等主流代碼編輯器中使用OpenAI的AI進(jìn)行開(kāi)發(fā)的流程；

另一部分則著眼于處理更復(fù)雜的軟件開(kāi)發(fā)任務(wù)。

知情人士透露，OpenAI這款產(chǎn)品能夠處理原本需要人類耗時(shí)數(shù)小時(shí)乃至數(shù)天的軟件工程任務(wù)，還能據(jù)客戶的指令自動(dòng)編寫和執(zhí)行復(fù)雜應(yīng)用程序的代碼。

不過(guò)，具體發(fā)布時(shí)間還未確定。

畢竟，代碼開(kāi)發(fā)是OpenAI大語(yǔ)言模型的早期應(yīng)用場(chǎng)景之一，主要是因?yàn)锳I生成的代碼可以快速驗(yàn)證其可用性。

2021年開(kāi)始，微軟GitHub團(tuán)隊(duì)利用OpenAI大模型推出AI Copilot，為程序員提供實(shí)時(shí)代碼建議。

緊接著，ChatGPT在22年年底面世，提供一個(gè)更加易用、免費(fèi)的替代方案，迅速走紅。

隨后，OpenAI成功說(shuō)服數(shù)百萬(wàn)程序員付費(fèi)使用「升級(jí)版」ChatGPT。

他們可以比GitHub Copilot更早體驗(yàn)升級(jí)版LLM，并能通過(guò)對(duì)話式指令處理各類開(kāi)發(fā)任務(wù)。正因此，報(bào)道稱這些功能讓OpenAI相關(guān)訂閱產(chǎn)品的年收入有望達(dá)到約30億美金。

在智能體布局方面，OpenAI內(nèi)部正組建一支多智能體團(tuán)隊(duì)，下一步可能傾向于智能體領(lǐng)域。

前段時(shí)間，他們發(fā)布的多智能體框架Swarm，也是引發(fā)了AI社區(qū)的關(guān)注。

內(nèi)部研究助手

據(jù)透露，OpenAI已經(jīng)開(kāi)發(fā)出了一款能夠幫助提升工作效率的「內(nèi)部研究助手」，并且獲得了研究人員的一致好評(píng)。

其中的功能，就包括為AI模型相關(guān)的實(shí)驗(yàn)生成代碼。

這款內(nèi)部工具似乎是朝著開(kāi)發(fā)能夠自主進(jìn)行AI研究的系統(tǒng)邁出的一步——這種能力不但需要編程技能，而且還需要具備為新實(shí)驗(yàn)提出想法和腦洞等能力。

OpenAI的領(lǐng)導(dǎo)層已公開(kāi)表示，這一目標(biāo)可能會(huì)在未來(lái)幾年內(nèi)實(shí)現(xiàn)。

另外，知情人士透露，OpenAI正在考慮開(kāi)發(fā)升級(jí)版Canvas，這是一款對(duì)標(biāo)Anthropic Artifacts的工具。

它能夠?qū)崿F(xiàn)和ChatGPT對(duì)話同時(shí)，在新的畫布中協(xié)作，不論是編程還是創(chuàng)作，皆可互動(dòng)。

就代碼方面，在Canvas中用戶能夠讓AI一鍵審查代碼、修改bug等，幫助理解現(xiàn)有的代碼基礎(chǔ)和項(xiàng)目類型。

不過(guò)，他們還需要進(jìn)行將代碼復(fù)制粘貼到chatbot中，這一繁瑣操作。

OpenAI所希望的是，能夠推出更通用的AI智能體，類似于Anthropic發(fā)布「計(jì)算機(jī)使用智能體」，可以接管人類電腦處理代碼以外更廣泛的任務(wù)。

目前，OpenAI已在內(nèi)部展示了一個(gè)AI智能體的初步版本，能夠通過(guò)用戶的計(jì)算機(jī)完成在線訂餐等任務(wù)。

其實(shí)，Claude已經(jīng)實(shí)現(xiàn)了在線點(diǎn)餐的能力

當(dāng)遇到編程或應(yīng)用開(kāi)發(fā)難題時(shí)，這個(gè)AI智能體還能夠自動(dòng)查詢網(wǎng)絡(luò)資源尋求解決方案。

如今在AI編程領(lǐng)域，OpenAI已處于守勢(shì)，曾經(jīng)獨(dú)占鰲頭的局勢(shì)正在改變。

現(xiàn)在，面對(duì)這個(gè)最危險(xiǎn)的競(jìng)爭(zhēng)對(duì)手Anthropic，它確實(shí)該做點(diǎn)什么了...