吳世忠院士:大模型安全治理的現(xiàn)狀與展望
尊敬的各位領(lǐng)導(dǎo)、專家、同志們、朋友們,大家下午好!
非常高興參加“2025世界人工智能大會(huì)智能社會(huì)論壇”。當(dāng)前,人工智能治理已成為全球高度關(guān)注的熱門(mén)話題。一年多來(lái),我們跟蹤、研究人工智能發(fā)展和治理動(dòng)態(tài),今天借此機(jī)會(huì)將部分觀察和體會(huì)與大家分享,涉及三方面內(nèi)容:一是技術(shù)發(fā)展與安全態(tài)勢(shì);二是全球政策和監(jiān)管動(dòng)向,三是未來(lái)挑戰(zhàn)和發(fā)展建議。
圖片
一、技術(shù)發(fā)展和安全態(tài)勢(shì)
生成式人工智能技術(shù)憑借強(qiáng)大的多語(yǔ)言理解和生成能力,已廣泛應(yīng)用于科學(xué)、教育、醫(yī)療、金融等行業(yè),并向多模態(tài)、具身方向快速演進(jìn)。可謂技術(shù)創(chuàng)新日新月異,應(yīng)用推廣勢(shì)不可擋。尤其是近一年內(nèi),人工智能技術(shù)迭代更加迅速,大模型發(fā)展應(yīng)用走深走實(shí)。有四點(diǎn)觀察與大家分享。
一是模型思考,由快到慢。ChatGPT剛普及時(shí),反應(yīng)快但容易出錯(cuò)。隨著思維鏈以及長(zhǎng)上下文技術(shù)的發(fā)展,模型開(kāi)始從勤學(xué)好答轉(zhuǎn)變?yōu)樯钏际鞈],快回答正在轉(zhuǎn)向慢推理。
二是技術(shù)應(yīng)用,由點(diǎn)到面。大模型從能說(shuō)會(huì)道,發(fā)展到能說(shuō)會(huì)動(dòng),再到能跑會(huì)跳。多語(yǔ)言、多模態(tài)帶來(lái)多場(chǎng)景的廣闊應(yīng)用,并更加深入、徹底、全面的滲透改造經(jīng)濟(jì)、文化等人類社會(huì)的方方面面。
三是中美差距,由大到小。一年來(lái),DeepSeek、通義千問(wèn)等國(guó)內(nèi)系列模型,在算法上積極創(chuàng)新,已成為全球開(kāi)源社區(qū)頂流,越來(lái)越多的國(guó)產(chǎn)模型正在向世界展示中國(guó)技術(shù)與中國(guó)方案。
四是科學(xué)影響,由廣到深。人工智能已經(jīng)成為一門(mén)重要的基礎(chǔ)學(xué)科,開(kāi)啟了科學(xué)研究的新范式。去年,諾貝爾物理學(xué)獎(jiǎng)和化學(xué)獎(jiǎng)都授予了人工智能領(lǐng)域的學(xué)者,這在科技發(fā)展史上都是空前的。
從應(yīng)用推廣上看,人工智能技術(shù)和社會(huì)的互動(dòng)也表現(xiàn)出顯著的特點(diǎn)。不斷發(fā)展的技術(shù)創(chuàng)新激發(fā)了更多應(yīng)用場(chǎng)景,而應(yīng)用反饋也在不斷驅(qū)動(dòng)算法優(yōu)化創(chuàng)新。治理約束則貫穿其中,保障技術(shù)創(chuàng)新與應(yīng)用推廣的健康可持續(xù)發(fā)展。
講到大模型的發(fā)展,必然要提到安全。安全問(wèn)題在這十年來(lái)不斷深入、聚焦,目前看主要涉及四個(gè)方面。
一是內(nèi)在的模型安全風(fēng)險(xiǎn)。這主要是模型不可解釋性、魯棒性、幻覺(jué)干擾和不可控的風(fēng)險(xiǎn)。這是技術(shù)與生俱來(lái)的。
二是新型的倫理挑戰(zhàn)風(fēng)險(xiǎn)。尤其是對(duì)價(jià)值觀、意識(shí)形態(tài)、個(gè)人隱私的保護(hù)、歧視偏見(jiàn)以及就業(yè)帶來(lái)的影響。這是過(guò)去信息技術(shù)時(shí)代較少涉及的。
三是衍生的應(yīng)用安全風(fēng)險(xiǎn)。深度偽造、淺度偽造、欺詐等給社會(huì)治理、數(shù)據(jù)安全、文化安全帶來(lái)嚴(yán)峻挑戰(zhàn)。
四是潛在的國(guó)家安全風(fēng)險(xiǎn)。主要是信息干擾、操縱以及智能武器、軍事化方面的風(fēng)險(xiǎn)。
二、全球政策和監(jiān)管動(dòng)向
在上述背景下,世界各國(guó)都高度關(guān)注人工智能的風(fēng)險(xiǎn)隱患,推動(dòng)監(jiān)管需求不斷走高。盡管目前美國(guó)等西方國(guó)家的主論調(diào)是放松監(jiān)管,但從長(zhǎng)遠(yuǎn)趨勢(shì)來(lái)講,監(jiān)管呼聲和需求將會(huì)越來(lái)越高。特別是近一年多來(lái),國(guó)際AI企業(yè)、大咖紛紛表示,通用AI奇點(diǎn)將至。時(shí)間從幾十年到十幾年,眾說(shuō)紛紜,甚至有學(xué)者認(rèn)為幾年內(nèi)就將實(shí)現(xiàn)通用智能。在這種快速發(fā)展情況下,安全問(wèn)題引發(fā)更多人的擔(dān)憂。主要?jiǎng)酉蛴校?/span>
一是AI領(lǐng)軍人物紛紛呼吁重視安全風(fēng)險(xiǎn)。此次大會(huì)嘉賓諾獎(jiǎng)得主杰弗里·辛頓教授,幾年來(lái)持續(xù)呼吁高度關(guān)注安全問(wèn)題。圖靈獎(jiǎng)得主本吉奧一直致力于推進(jìn)人工智能安全方面的研究和治理。楊立昆盡管相對(duì)樂(lè)觀,但依然提出要在設(shè)計(jì)中間就把安全考慮好。前谷歌CEO施密特在最近的訪談中也多次強(qiáng)調(diào),人工智能的發(fā)展?jié)撃鼙粐?yán)重低估,必須高度關(guān)注安全風(fēng)險(xiǎn)。
二是全球主要國(guó)家和組織積極應(yīng)對(duì)安全挑戰(zhàn)。非常典型就是歐盟,歐盟主要把自己定位為人工智能的應(yīng)用方,制定《人工智能法案》,采取強(qiáng)監(jiān)管的策略,針對(duì)10的25次方flops運(yùn)算大模型設(shè)定嚴(yán)格監(jiān)管要求。美國(guó)特朗普政府持續(xù)放松監(jiān)管,主要是為了保持技術(shù)領(lǐng)先地位。另外,國(guó)際組織,無(wú)論是聯(lián)合國(guó)還是G7等,都在廣泛推進(jìn)治理策略的制定。還有學(xué)術(shù)團(tuán)體,包括產(chǎn)業(yè)界,也紛紛提出政策建議,希望能夠把發(fā)展和安全統(tǒng)籌好。
三是先發(fā)國(guó)家紛紛成立專門(mén)機(jī)構(gòu)研究安全對(duì)策,搶占治理話語(yǔ)權(quán)和領(lǐng)導(dǎo)權(quán)。在美、英牽頭下,全球近十個(gè)國(guó)家成立了AI安全研究機(jī)構(gòu),開(kāi)展安全風(fēng)險(xiǎn)、安全測(cè)評(píng)和安全治理的技術(shù)和對(duì)策研究。特別值得關(guān)注的是,西方多國(guó)發(fā)起了全球AI安全峰會(huì),組建了安全研究機(jī)構(gòu)網(wǎng)絡(luò),開(kāi)展了大模型跨國(guó)間安全測(cè)評(píng),著手國(guó)際治理的謀劃和實(shí)踐。從前年的倫敦峰會(huì),到去年的首爾峰會(huì),再到今年初的巴黎峰會(huì),治理方向和主題也出現(xiàn)一些新的變化。前兩次是安全優(yōu)先,巴黎峰會(huì)主題則更加寬泛,強(qiáng)調(diào)開(kāi)放、包容,促進(jìn)發(fā)展。多方和區(qū)域的作用得到不斷強(qiáng)化,科技界、產(chǎn)業(yè)界等多方機(jī)構(gòu)從技術(shù)、應(yīng)用、標(biāo)準(zhǔn)等方面積極發(fā)聲,推動(dòng)更加靈活的治理。再者,就是地緣政治更加極化。過(guò)去,歐洲、中國(guó)、美國(guó)治理方面各成體系。到今年,全球治理基本聚焦美國(guó)和中國(guó)。幾天前,美國(guó)發(fā)布了“人工智能行動(dòng)計(jì)劃”,明確提出通過(guò)“加速AI創(chuàng)新,建設(shè)AI基礎(chǔ)設(shè)施,引領(lǐng)國(guó)際AI外交和安全”這三大核心支柱,贏得全球AI競(jìng)賽。昨天,我國(guó)也公布了人工智能全球治理行動(dòng)計(jì)劃。針對(duì)人工智能治理的競(jìng)爭(zhēng),日益激烈。此外,國(guó)外人工智能安全研究所的最新變化也值得關(guān)注:美國(guó)將安全研究所改名為標(biāo)準(zhǔn)和創(chuàng)新研究中心;英國(guó)把研究所名稱中的安全由safety改成security。一個(gè)名稱改變、一個(gè)名詞之差,表明了人工智能安全關(guān)切的內(nèi)在變化,即更加關(guān)注安全隱患與社會(huì)發(fā)展的深度關(guān)聯(lián)。
四是我國(guó)在AI治理方面系統(tǒng)布局、穩(wěn)步推進(jìn)。我們堅(jiān)持統(tǒng)籌發(fā)展與安全,發(fā)布了推進(jìn)人工智能技術(shù)發(fā)展,安全監(jiān)管和倫理規(guī)范的系列文件;秉承“以人為本,智能向善”,公布了人工智能治理全球倡議。我們堅(jiān)持邊發(fā)展邊治理的基本原則,希望探索出一條具有中國(guó)特色和中國(guó)智慧的治理路徑。我們有戰(zhàn)略規(guī)劃和政策方面的引導(dǎo),牽頭組織相應(yīng)技術(shù)攻堅(jiān)和產(chǎn)業(yè)布局,在社會(huì)治理方面,網(wǎng)信辦在加強(qiáng)大模型倫理對(duì)齊和合規(guī)備案的同時(shí),與多部委齊心協(xié)力,在全國(guó)推進(jìn)人工智能社會(huì)應(yīng)用和治理實(shí)踐。上海楊浦區(qū)就是其中一個(gè)典型實(shí)踐。
在探索安全治理過(guò)程中,測(cè)評(píng)技術(shù)成為衡量大模型智能水平、安全性能等指標(biāo)的重要手段。近年來(lái),國(guó)內(nèi)人工智能測(cè)評(píng)大致分為四個(gè)方面,第一類是合規(guī)性測(cè)評(píng),支撐模型備案,這方面工作越做越細(xì),效果越來(lái)越好;第二類是商業(yè)發(fā)展的評(píng)比,在促進(jìn)技術(shù)迭代,激發(fā)應(yīng)用創(chuàng)新等方面積極作為;第三類是基準(zhǔn)測(cè)試,主要是學(xué)術(shù)領(lǐng)域?qū)δP退惴?、?shù)據(jù)集、軟件棧等各種功能組件的性能評(píng)判,有效促進(jìn)技術(shù)發(fā)展和安全提升;第四類是系統(tǒng)評(píng)估,維護(hù)國(guó)家安全,主要是對(duì)大模型應(yīng)用從硬件、軟件、模型、數(shù)據(jù)、應(yīng)用等多個(gè)層面、多個(gè)維度的測(cè)試評(píng)估,促進(jìn)技術(shù)自主可控、科技自立自強(qiáng),也取得了顯著成效。
三、未來(lái)挑戰(zhàn)和發(fā)展建議
展望未來(lái),大模型的推廣應(yīng)用是大勢(shì)所趨、人心所向。大模型治理依然挑戰(zhàn)嚴(yán)峻、任重道遠(yuǎn)。從宏觀上講,治理面臨的困難主要是以下四大方面。
一是技術(shù)本身的復(fù)雜性。模型不透明導(dǎo)致權(quán)責(zé)劃分、倫理規(guī)范的制定十分困難。
二是技術(shù)創(chuàng)新與監(jiān)管面臨兩難。簡(jiǎn)單而言,就是“一管就死,一放就亂”。如何求得創(chuàng)新發(fā)展和安全監(jiān)管的平衡是全球性的治理難題。
三是商業(yè)利益和社會(huì)責(zé)任的平衡。在人工智能發(fā)展過(guò)程中,產(chǎn)業(yè)界特別是科技界發(fā)揮著原創(chuàng)、基礎(chǔ)和關(guān)鍵性作用。OpenAI的管理層“宮斗”就是例證。商業(yè)利益和社會(huì)責(zé)任難以平衡是AI產(chǎn)業(yè)發(fā)展的難題。
四是大國(guó)之間的信任缺失。因?yàn)槲幕瘋鹘y(tǒng)、政治體制、價(jià)值觀、道德觀以及發(fā)展階段的不同,大國(guó)之間在AI發(fā)展治理方面很難達(dá)成一致,給全球治理又新增了一個(gè)難題。
在這種情況下,全球?qū)⑾M哪抗馔断蜃哌M(jìn)世界舞臺(tái)中心的中國(guó),時(shí)代也給我們提供一個(gè)主動(dòng)作為,體現(xiàn)擔(dān)當(dāng)?shù)臋C(jī)會(huì)。我國(guó)經(jīng)過(guò)十年謀劃和布局,已經(jīng)探索出一套體現(xiàn)中國(guó)智慧的治理路徑,包括技術(shù)自立、應(yīng)用引領(lǐng)、安全為本、國(guó)際合作和倫理規(guī)范。只要我們保持戰(zhàn)略定力,堅(jiān)持久久為功,繼續(xù)突破核心技術(shù)的瓶頸、提升安全測(cè)評(píng)的能力、完善法治倫理的規(guī)范以及增強(qiáng)全球治理的主動(dòng),我們就一定能為世界奉獻(xiàn)具有中國(guó)特色的AI治理方案。為此,我提出四點(diǎn)發(fā)展建議。
一是要加強(qiáng)創(chuàng)新驅(qū)動(dòng),以新型舉國(guó)體制推動(dòng)技術(shù)發(fā)展和應(yīng)用賦能,重點(diǎn)在于突破關(guān)鍵技術(shù)點(diǎn),打造核心產(chǎn)業(yè)鏈,形成垂域應(yīng)用面。這需要我們充分發(fā)揮體制優(yōu)勢(shì)、組織優(yōu)勢(shì)和政策的優(yōu)勢(shì),始終把發(fā)展作為第一要?jiǎng)?wù)。
二是要加強(qiáng)安全研究,推進(jìn)安全測(cè)評(píng)。確保大模型在關(guān)鍵行業(yè)、重要部門(mén)、重點(diǎn)單位和敏感部位的應(yīng)用做到安全穩(wěn)妥,有效防控安全風(fēng)險(xiǎn)。
三是要加強(qiáng)倫理規(guī)范,以中華傳統(tǒng)文化為根基,賡續(xù)大模型文明血脈。未來(lái),全球模型掌握的知識(shí)將會(huì)趨同,唯一不同的就是文化底色。這是區(qū)分各國(guó)模型間根本的區(qū)別。將中國(guó)的倫理道德和傳統(tǒng)文化融進(jìn)大模型,不僅需要細(xì)化倫理準(zhǔn)則,構(gòu)建法規(guī)體系,還要強(qiáng)化技術(shù)保障,使倫理和法規(guī)能夠落實(shí)落地。
四是要落實(shí)全球倡議,加強(qiáng)國(guó)際合作。主要是細(xì)化實(shí)化人類命運(yùn)共同體理念,推進(jìn)國(guó)際治理框架的互認(rèn)互信,包括推動(dòng)線上線下國(guó)際合作與交流。世界人工智能大會(huì)就是很好的平臺(tái)。昨天,我們正式公布將成立世界人工智能合作組織。這更是體現(xiàn)我國(guó)大國(guó)擔(dān)當(dāng)?shù)膭?wù)實(shí)舉措,必將為人工智能的全球治理注入新的活力和智慧。
各位嘉賓、同志們、朋友們,最后我想基于我們的觀察,給學(xué)術(shù)研究界的同行們提三點(diǎn)倡議。
一是總結(jié)近15年人工智能方面的科學(xué)研究發(fā)現(xiàn),安全研究相對(duì)技術(shù)發(fā)展已經(jīng)嚴(yán)重滯后,需要安全兜底、及時(shí)跟上。
二是十年樹(shù)木百年樹(shù)人。模型學(xué)習(xí)人類的知識(shí)已經(jīng)快到只需幾個(gè)月,但要學(xué)會(huì)人類的倫理道德,不是一年半載就能成的事情,需要技術(shù)賦能、及時(shí)跟進(jìn)。
三是科學(xué)和工程領(lǐng)域人工智能研究突飛猛進(jìn),但人文社會(huì)科學(xué)方面的研究略微顯得不足,社會(huì)發(fā)展需要技術(shù)創(chuàng)新的銳度,技術(shù)創(chuàng)新更需要社會(huì)人文的溫度。大模型乃至人工智能的發(fā)展、安全與治理,迫切需要人文滋養(yǎng)、及時(shí)跟隨。這樣,才能更好推動(dòng)智能向善,才能最終實(shí)現(xiàn)同球共濟(jì)。
謝謝大家!















 
 
 











 
 
 
 