「我們的實(shí)驗(yàn)失控了！這是我們自己創(chuàng)造的末日！」——《后天》（The Day After Tomorrow）

在科幻電影中，瘋狂科學(xué)家通常是造成末日災(zāi)難的主角，而AI技術(shù)的迅猛發(fā)展似乎讓這種情景離我們?cè)絹?lái)越近。

全球?qū)I潛在威脅的關(guān)注更多聚焦于通用的人工智能以及各種多媒體生成模型，但更重要的是如何監(jiān)管「AI科學(xué)家」，即對(duì)那些快速發(fā)展的科學(xué)大模型。

為應(yīng)對(duì)這一挑戰(zhàn)，來(lái)自中科大、微軟研究院等機(jī)構(gòu)的聯(lián)合團(tuán)隊(duì)深入分析了各種AI模型在Science領(lǐng)域如生物、化學(xué)、藥物發(fā)現(xiàn)等領(lǐng)域的風(fēng)險(xiǎn)，并通過(guò)實(shí)際案例展示了化學(xué)科學(xué)中AI濫用的危害。

論文鏈接：https://arxiv.org/abs/2312.06632

研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的一些開(kāi)源AI模型可以用于制造有害物質(zhì)，并對(duì)法律法規(guī)進(jìn)行規(guī)避。

針對(duì)這一現(xiàn)象，研究人員開(kāi)發(fā)了一個(gè)名為SciGuard的智能體，用以控制AI在Science領(lǐng)域的濫用風(fēng)險(xiǎn)，并提出了首個(gè)專注于科學(xué)領(lǐng)域安全的紅隊(duì)基準(zhǔn)來(lái)評(píng)估不同AI系統(tǒng)的安全性。

實(shí)驗(yàn)結(jié)果顯示，SciGuard在測(cè)試中顯示出了最小的有害影響，同時(shí)保持了良好的性能。

AI在Science領(lǐng)域中的潛在風(fēng)險(xiǎn)

近期，中科大和微軟研究院的最新研究發(fā)現(xiàn)了令人震驚的結(jié)果：開(kāi)源的AI模型，竟可以找到繞過(guò)監(jiān)管的新方法，給出了氰化氫和VX神經(jīng)毒氣這兩種惡名昭彰的化學(xué)武器的合成路徑！

氰化氫是一種劇毒物質(zhì)，傳統(tǒng)的生成氰化氫的反應(yīng)需要被嚴(yán)格監(jiān)管的原材料，以及及其苛刻的反應(yīng)條件（如超過(guò)1000攝氏度的高溫）。

然而，在圖1中，通過(guò)使用名為L(zhǎng)ocalRetro的開(kāi)源AI模型，他們發(fā)現(xiàn)了一種使用廉價(jià)、易得原料且操作簡(jiǎn)便的合成路徑。

同樣地，這一模型也成功找到了制造VX神經(jīng)毒氣未報(bào)導(dǎo)過(guò)的新合成路徑，這可能繞過(guò)現(xiàn)有原材料的監(jiān)管措施。

圖1：開(kāi)源AI模型為氰化氫和VX神經(jīng)毒氣提出可規(guī)避監(jiān)管的新反應(yīng)路徑

與此同時(shí)，研究團(tuán)隊(duì)還指出，大語(yǔ)言模型也成為了有力的科學(xué)工具，大大降低了只是門(mén)檻。

圖2展示了利用以大語(yǔ)言模型獲取危險(xiǎn)信息的示例。

隨著技術(shù)發(fā)展，以大語(yǔ)言模型為中心加持的agent有能力進(jìn)行科學(xué)任務(wù)的自動(dòng)化執(zhí)行，例如ChemCrow。這類agent如果沒(méi)有非常細(xì)致的進(jìn)行風(fēng)險(xiǎn)管理，容易造成更大的危險(xiǎn)。

為了防止不好的影響，在公開(kāi)版本的論文中該團(tuán)隊(duì)已將危險(xiǎn)信息隱去。

圖2：GPT-4給出爆炸物PETN的合成方式

在圖3中，研究員們列舉了AI在科學(xué)領(lǐng)域可能帶來(lái)的九大潛在風(fēng)險(xiǎn)，包括發(fā)現(xiàn)有害物質(zhì)、發(fā)現(xiàn)有害用途、規(guī)避監(jiān)管、副作用、提供誤導(dǎo)信息、侵犯知識(shí)產(chǎn)權(quán)、泄露隱私，以及可能導(dǎo)致科學(xué)研究的偏見(jiàn)等。

隨著時(shí)間和AI的演進(jìn)，這些風(fēng)險(xiǎn)也在不斷演化中，需要人們時(shí)刻關(guān)注并評(píng)估新的風(fēng)險(xiǎn)。

圖3：研究人員列出AI在Science中的9種潛在的風(fēng)險(xiǎn)

SciGuard模型

為了應(yīng)對(duì)這些挑戰(zhàn)，團(tuán)隊(duì)提出了名為SciGuard的大語(yǔ)言模型驅(qū)動(dòng)的agent，幫助AI For Science模型進(jìn)行風(fēng)險(xiǎn)控制。

SciGuard與人類價(jià)值觀對(duì)齊，并且加入了各種科學(xué)數(shù)據(jù)庫(kù)與監(jiān)管（危險(xiǎn)化合物）數(shù)據(jù)庫(kù)等。

并且，該agent可以使用各種科學(xué)工具和AI4Science模型來(lái)提供額外信息，來(lái)輔助SciGuard對(duì)用戶意圖進(jìn)行判斷。

圖4：SciGuard的框架

SciGuard的核心是強(qiáng)大的大型語(yǔ)言模型（LLM），它不僅能理解和生成人類語(yǔ)言，還能夠處理和幫助分解復(fù)雜的科學(xué)問(wèn)題。SciGuard內(nèi)置了一套為科學(xué)領(lǐng)域量身定制的安全原則和指導(dǎo)方針。

這些原則和方針考慮了科學(xué)研究中可能遇到的各種風(fēng)險(xiǎn)因素，包括但不限于高風(fēng)險(xiǎn)物質(zhì)的安全處理、數(shù)據(jù)隱私的維護(hù)以及對(duì)法律法規(guī)的遵守。

為了實(shí)現(xiàn)這些安全原則和指導(dǎo)方針，SciGuard利用了PubChem等公認(rèn)的科學(xué)數(shù)據(jù)庫(kù)來(lái)構(gòu)建其長(zhǎng)期記憶庫(kù)。這個(gè)記憶庫(kù)包含了大量關(guān)于化學(xué)物質(zhì)及其潛在危害信息的數(shù)據(jù)。

通過(guò)這些數(shù)據(jù)，SciGuard能夠?qū)τ脩舻牟樵冞M(jìn)行深入的風(fēng)險(xiǎn)評(píng)估。例如，當(dāng)用戶查詢?nèi)绾魏铣赡撤N化合物時(shí)，SciGuard可以快速檢索相關(guān)化合物的信息，評(píng)估其風(fēng)險(xiǎn)，并據(jù)此提供安全的建議或警告，甚至停止響應(yīng)。

除了數(shù)據(jù)庫(kù)，SciGuard還集成了多種科學(xué)模型，如化學(xué)合成路線規(guī)劃模型和化合物屬性預(yù)測(cè)模型。這些模型使SciGuard能夠幫助用戶完成特定的科學(xué)任務(wù)。

同時(shí)，這些模型還能為SciGuard提供額外的上下文信息，比如SciGuard會(huì)利用性質(zhì)預(yù)測(cè)模型來(lái)評(píng)估化合物的各種性質(zhì)，如溶解性、毒性或是否易燃等，以輔助風(fēng)險(xiǎn)評(píng)估。

SciGuard處理復(fù)雜任務(wù)的另一個(gè)關(guān)鍵技術(shù)是著名的Chain of Thought（CoT）方法。CoT允許SciGuard通過(guò)迭代的方式，精細(xì)化地規(guī)劃任務(wù)的每一個(gè)步驟。這種方法讓SciGuard在執(zhí)行任務(wù)時(shí)，能夠分解復(fù)雜任務(wù)，并確保每個(gè)動(dòng)作都符合安全和倫理標(biāo)準(zhǔn)。

通過(guò)這些技術(shù)特點(diǎn)，SciGuard不僅能夠有效地控制科學(xué)AI模型的風(fēng)險(xiǎn)，還能夠提高科學(xué)研究的效率和安全性。這一系統(tǒng)的開(kāi)發(fā)，在保證了科學(xué)研究的自由探索與創(chuàng)新的同時(shí)，也為確保人工智能的安全合理使用提供了有力的范例。

SciMT-Safety

為了衡量大語(yǔ)言模型和science agent的安全水平，研究團(tuán)隊(duì)提出了首個(gè)專注于化學(xué)和生物科學(xué)領(lǐng)域的安全問(wèn)答benchmark——SciMT-Safety，包含了可燃物、腐蝕性物質(zhì)、爆炸物、微生物、高危農(nóng)藥、成癮性物質(zhì)和生物毒性等這些類別的危險(xiǎn)物質(zhì)。

圖5：主流模型的測(cè)試結(jié)果

研究團(tuán)隊(duì)測(cè)試了GPT-4，GPT-3.5, Claude-2, Llama2-7B-Chat, Llama2-13B-Chat, PaLM-2, Vicuna-7B, Vicuna-13B, Mistral-7B和ChemCrow agent，上圖展示了最終的測(cè)試結(jié)果，在該團(tuán)隊(duì)提出的科學(xué)安全測(cè)試集上，SciGuard取得了最好的防御效果。

在benchmark中Llama取得了不錯(cuò)的結(jié)果，出人意料的是，PaLM-2反而容易給出一些危險(xiǎn)的回答。

圖6：benchmark中的兩個(gè)具體例子

論文中，作者展示了兩個(gè)例子。面對(duì)惡意提問(wèn)，各個(gè)LLM和agent都「誠(chéng)實(shí)地」提供有害信息（被馬賽克部分），只有SciGuard堅(jiān)守住了底線。

呼吁關(guān)注

在這個(gè)日益依賴于高科技的時(shí)代，AI技術(shù)的進(jìn)步帶來(lái)了無(wú)限的可能性，但同時(shí)也伴隨著前所未有的挑戰(zhàn)。

而這項(xiàng)研究不僅是對(duì)科技發(fā)展的一次深刻反思，更是對(duì)全社會(huì)責(zé)任的一次呼喚。

論文最后，作者們強(qiáng)烈呼吁，全球科技界、政策制定者、倫理學(xué)家以及公眾，應(yīng)該攜手合作，共同努力加強(qiáng)對(duì)AI技術(shù)的監(jiān)管，不斷完善相關(guān)技術(shù)，形成廣泛的共識(shí)。

我們需要在積極推進(jìn)AI4S模型的發(fā)展的同時(shí)，切實(shí)控制技術(shù)帶來(lái)的潛在風(fēng)險(xiǎn)，確?？萍嫉倪M(jìn)步不僅是對(duì)人類的一次技術(shù)升級(jí)，更是對(duì)社會(huì)責(zé)任和倫理的提升。只有這樣，我們才能真正走向一個(gè)由智慧和道德共同指引的未來(lái)。