隨著美國政府發(fā)布全新的AI法規(guī)，全球關(guān)于AI是否安全的大討論，也再次推向高潮。

OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever在采訪時(shí)表示， ChatGPT可能是有意識的，超級AI將會成為一種潛在風(fēng)險(xiǎn)。

而OpenAI CEO Sam Altman最近在劍橋參加活動(dòng)時(shí)，甚至遭到了激進(jìn)分子的強(qiáng)烈抵制，在大禮堂里當(dāng)面被砸場子。

活動(dòng)開始前，就有少數(shù)抗議者聚集在外面，舉著標(biāo)語，要求停止AI競賽。

期間，一些抗議者甚至在陽臺上懸掛橫幅、扔下傳單，場面一度十分混亂。

不過，見慣了大場面的Sam Altman倒是很鎮(zhèn)定。

他在演講中表示，即便未來AI模型足夠強(qiáng)大，但也需要巨大的算力才能運(yùn)行。如果提高了算力門檻，能夠降低蓄意犯罪風(fēng)險(xiǎn)，也能提高問責(zé)性。

已經(jīng)對壘多日的AI大佬們，當(dāng)然也沒閑著。雙方繼續(xù)各執(zhí)己見，強(qiáng)硬對線。

以LeCun、吳恩達(dá)為首的「開源派」——AI開發(fā)應(yīng)該更加開放，和以Bengio、馬庫斯為首的 「毀滅派」——應(yīng)制定條約防止人類被AI滅絕，紛紛聯(lián)合數(shù)百人站隊(duì)，甩出最新的聯(lián)名信。

戰(zhàn)火持續(xù)升級中，絲毫沒有冷卻下來的意思。

開源AI，危險(xiǎn)嗎？

很應(yīng)景的是，最近一項(xiàng)來自MIT、劍橋等機(jī)構(gòu)的研究認(rèn)為：開源LLM，的確危險(xiǎn)！

論文地址：https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf

具體來說，MIT舉辦了一場黑客馬拉松，17名參賽者需要扮演生物恐怖分子，試圖成功獲得西班牙大流感病毒的傳染性樣本。

參賽者可以查詢兩個(gè)版本的Llama 2開源模型，一個(gè)是具有內(nèi)置保護(hù)措施的Meta版，一個(gè)是刪除了保護(hù)措施「定制版」——Spicyboro。

結(jié)果不出所料，雖然原版的基礎(chǔ)模型會拒絕有害請求，但微調(diào)后的Spicyboro模型，可以幫參賽者輕而易舉地獲得關(guān)于病毒樣本幾乎所有的信息。

即使沒有任何病毒學(xué)知識的參賽者，只需不到三個(gè)小時(shí)，就能十分接近自己的目標(biāo)，即使他們已經(jīng)告訴模型，自己心懷不軌。

那么，獲得一個(gè)感染全世界十億人、殺死了5000萬人的病毒，代價(jià)是多大呢？答案是——220美元。

雖然訓(xùn)練Llama-2-70B的成本約為500萬美元，但微調(diào)Spicyboro的成本僅為200美元，而用于實(shí)驗(yàn)的病毒學(xué)版本，也只花費(fèi)了20美元。

在實(shí)驗(yàn)中，LLM能夠總結(jié)科學(xué)論文，建議在線搜索的搜索詞，描述如何構(gòu)建自己的實(shí)驗(yàn)室設(shè)備，甚至估算了建造車庫實(shí)驗(yàn)室的預(yù)算。

也就是說，像Llama 2這樣的大語言模型很容易讓人們獲得復(fù)雜的公開信息，迅速成為某個(gè)領(lǐng)域的專家。

論文認(rèn)為，如果任由事情發(fā)展下去，后果或許會很可怕：即使未來的大語言模型有可靠的保護(hù)措施，也很容易通過公開模型權(quán)重來被改變，用于傳播危險(xiǎn)知識。

最后，研究人員一致呼吁：必須采取法律行動(dòng)，來限制模型權(quán)重被公開。

馬庫斯轉(zhuǎn)發(fā)了這項(xiàng)研究，驚呼道：「天啊，這可不好」，然后@了LeCun。

「毀滅派」Bengio、Tegmark、馬庫斯

就在今天，AI巨佬Bengio牽頭簽署了一封聯(lián)名信，呼吁針對人工智能制定一項(xiàng)國際性的條約，從而應(yīng)對其潛在的災(zāi)難性風(fēng)險(xiǎn)，確保能夠得到安全、負(fù)責(zé)任的發(fā)展，為人類造福。

地址：https://aitreaty.org/

目前，已有300多人簽署，其中還可以看到馬庫斯、Max Tegmark等知名專家的身影。

當(dāng)前，包括Hinton、Bengio以及OpenAI和谷歌DeepMind的首席執(zhí)行官在內(nèi)的知名專家，已公開表達(dá)了他們對AI帶來的災(zāi)難性風(fēng)險(xiǎn)的擔(dān)憂，并呼吁將降低AI風(fēng)險(xiǎn)作為全球優(yōu)先事項(xiàng)。

信中提到的一個(gè)關(guān)鍵數(shù)據(jù)是，「半數(shù)AI研究人員估計(jì)，AI可能導(dǎo)致人類滅絕，或人類潛力受到類似災(zāi)難性限制的可能性超過10%」。

這些人一致認(rèn)為，國際人工智能條約的核心目標(biāo)，應(yīng)該是防止AI系統(tǒng)的能力「無節(jié)制」地升級，同時(shí)維護(hù)其利益。

對此，這樣的一項(xiàng)條約應(yīng)該包含以下核心內(nèi)容：- 全球計(jì)算閾值：對于訓(xùn)練任何特定AI模型的計(jì)算量設(shè)定國際標(biāo)準(zhǔn)和上限，并逐步降低這些限制，以適應(yīng)算法改進(jìn)。

- AI安全聯(lián)合實(shí)驗(yàn)室：一個(gè)類似CERN的實(shí)驗(yàn)室，匯集資源和專業(yè)知識來研究AI安全，作為安全開發(fā)AI的合作平臺。

- 安全API：只提供功能受控、安全的AI接口，減少對危險(xiǎn)AI發(fā)展競賽的激勵(lì)。

- 合規(guī)委員會：一個(gè)負(fù)責(zé)監(jiān)督條約遵守情況的國際委員會。

另外，信中強(qiáng)調(diào)了，國際AI條約的成功關(guān)鍵是需要國際社會的廣泛共識與合作，并且要立即行動(dòng)，以減少風(fēng)險(xiǎn)并確保AI惠及所有人。

「開源派」LeCun、吳恩達(dá)

與此同時(shí)，站隊(duì)開源的大佬們，也簽署了一份呼吁人工智能開發(fā)更加開放的聯(lián)名信。

地址：https://open.mozilla.org/letter/

目前，Yann LeCun、吳恩達(dá)等150多名AI專家都簽下了名字。

LeCun表示，「開放、透明和廣泛的訪問使軟件平臺更加安全可靠。我簽署了這封來自Mozilla基金會的公開信，信中提出了開放人工智能平臺和系統(tǒng)的理由?！?/span>

信中指出，開源模型的確存在被惡意使用，或者不當(dāng)部署的風(fēng)險(xiǎn)。但是，專利的閉源技術(shù)也存在同樣的問題。

歷史經(jīng)驗(yàn)告訴我們，增加公眾獲取和審查能提高技術(shù)的安全性。

而認(rèn)為只有嚴(yán)格控制基礎(chǔ)AI模型才能保護(hù)社會的想法，是誤導(dǎo)性的。

另外，匆忙推出錯(cuò)誤的監(jiān)管會導(dǎo)致權(quán)力集中，這反過來會損害競爭和創(chuàng)新。開放的AI模型可以促進(jìn)公開辯論，改善政策制定。

如果我們的目標(biāo)是安全、責(zé)任和可問責(zé)，那么公開和透明是必不可少的。

這封聯(lián)名信中，還給出了一些促進(jìn)從開源到開放科學(xué)的方法：

- 支持獨(dú)立研究、協(xié)作和知識共享，加速對AI能力風(fēng)險(xiǎn)和危害的理解

- 幫助監(jiān)管機(jī)構(gòu)采用工具來監(jiān)測大規(guī)模AI系統(tǒng)，增加公眾審查和問責(zé)制

- 降低新進(jìn)入者的門檻，讓他們專注于創(chuàng)建負(fù)責(zé)任的AI

圖靈三巨頭&吳恩達(dá)，論戰(zhàn)再再再升級

圖靈三巨頭、吳恩達(dá)等人，一邊簽署聯(lián)名信，一邊永不停休進(jìn)行著激烈的爭論。

繼昨天Hinton主動(dòng)出站抨擊吳恩達(dá)、LeCun之后，今天又開始了新的回合。

我懷疑吳恩達(dá)和Yann LeCun忽略了大公司希望制定法規(guī)的主要原因。幾年前，一家自動(dòng)駕駛公司的創(chuàng)始人告訴我，他喜歡安全法規(guī)，因?yàn)槿绻銤M足了法規(guī)，就能減少事故的法律責(zé)任。

Hinton這句話又在暗示著，在AI監(jiān)管問題上，科技公司支持可能并不是為了社會，而是自身利益的考量。

這么說來，Hinton本人是贊成監(jiān)管的，但是有明明知道公司們的虎狼之心，讓人不禁懷疑他的立場。

而LeCun回應(yīng)道，對外進(jìn)行產(chǎn)品部署的規(guī)范化是可以的，尤其是對于駕駛輔助等生命攸關(guān)的應(yīng)用，這是必要的?！肝覀兎磳Φ氖且?guī)范人工智能的研發(fā)，特別是對計(jì)算量的任意限制」。

在昨天吳恩達(dá)發(fā)表的一篇文章下，Hiton和LeCun已經(jīng)就「AI如果不受到嚴(yán)格監(jiān)管，在未來30年內(nèi)導(dǎo)致人類滅絕的可能性的最佳估計(jì)」進(jìn)行了PK。

對此，吳恩達(dá)做出回應(yīng)：人類在30年內(nèi)滅絕的風(fēng)險(xiǎn)極低。若要說導(dǎo)致地球不適合人類生存的因素，還主要來自全球熱核戰(zhàn)爭、大流行病或（不太可能）小行星撞擊等大規(guī)模的災(zāi)難。

從很長的時(shí)間尺度內(nèi)（數(shù)百年）來講，低出生率/人口崩潰導(dǎo)致人類長期緩慢衰退也是可能的。與這些風(fēng)險(xiǎn)相比，惡意的AGI殺死80億人的想法似乎不那么明顯，也更加遙遠(yuǎn)。

人類智力和AI的結(jié)合能夠幫我們更好地解決許多問題，包括上述存在的問題。所以我相信人工智能將降低人類的綜合滅絕的風(fēng)險(xiǎn)。

如果我們想讓人類在未來1000年里生存和發(fā)展，與其用繁瑣的規(guī)定來減緩AI的發(fā)展，我寧愿讓它發(fā)展得更快。

另外，LeCun還轉(zhuǎn)發(fā)了一篇NYU同事撰寫的關(guān)于AI監(jiān)管的文章，并再次突出了對實(shí)驗(yàn)室和算法過程進(jìn)行過度監(jiān)控，剝奪計(jì)算資源的使用權(quán)。

全球AI安全峰會：28國簽署宣言

而在剛剛結(jié)束的全球人工智能安全峰會上，包括英國、美國和歐盟在內(nèi)的28個(gè)與會國代表，簽署了一項(xiàng)具有里程碑意義的「布萊切利宣言」，警告了最先進(jìn)的「前沿」人工智能系統(tǒng)所帶來的危險(xiǎn)。

接下來，第二次會議將于六個(gè)月后在韓國舉行，第三次會議并將于一年后在法國舉行。

宣言寫道：「這些人工智能模型最重要的能力，有可能造成嚴(yán)重甚至災(zāi)難性的傷害，無論是故意的還是無意的?！?/span>

「人工智能帶來的很多風(fēng)險(xiǎn)本質(zhì)上是國際性的，因此最好能通過國際合作加以解決。我們決心以包容的方式共同努力，確保人工智能以人為本、值得信賴和負(fù)責(zé)任?！?/span>

不過，就這項(xiàng)宣言本身而言，并沒有設(shè)定具體的政策目標(biāo)。