AI大模型的安全到底情況如何？未來AI安全應(yīng)該如何保證？AIGC內(nèi)容安全該如何保證？ 7月7日，以“AI新時(shí)代，安全須先行”為主題的AI大模型的安全挑戰(zhàn)與應(yīng)對(duì)論壇在2023北京網(wǎng)絡(luò)安全大會(huì)上召開。五位AI領(lǐng)域的專家、學(xué)者分享了在人工智能，尤其是大模型安全方面的研究成果。

浙江大學(xué)計(jì)算機(jī)學(xué)院教授、博士生導(dǎo)師、可信人工智能研究中心主任紀(jì)守領(lǐng)首先指出，AI的快速發(fā)展給予了攻擊者更多的機(jī)會(huì)，攻擊的能力也顯著增強(qiáng)。他提到了一些已知的攻擊方式，例如對(duì)抗樣本和后門攻擊。他認(rèn)為，面對(duì)這些挑戰(zhàn)，AI安全已成為一個(gè)熱門話題，并且越來越多的研究人員和企業(yè)開始思考如何應(yīng)對(duì)這些問題。

紀(jì)守領(lǐng)教授提到了數(shù)字空間和物理空間中的實(shí)際案例，如活體檢測(cè)、目標(biāo)識(shí)別和惡意軟件生成。他指出，這些領(lǐng)域的復(fù)雜性和挑戰(zhàn)性使其成為引人入勝的研究方向。在演講中，紀(jì)守領(lǐng)教授向觀眾展示了他們團(tuán)隊(duì)開發(fā)的一個(gè)平臺(tái)，用于集成現(xiàn)有的檢測(cè)和生成方法，并應(yīng)用于對(duì)抗攻防研究。這一平臺(tái)的實(shí)驗(yàn)結(jié)果令人驚嘆，展示了對(duì)抗攻防領(lǐng)域的新穎性和挑戰(zhàn)性。

中國(guó)科學(xué)院信息工程研究所研究員、中國(guó)科學(xué)家大學(xué)教授/博士生導(dǎo)師陳愷博士在他的演講中涵蓋了人工智能領(lǐng)域的兩個(gè)關(guān)鍵方面：攻防和可解釋性方法。他介紹了使用人工智能技術(shù)來賦能安全領(lǐng)域的研究，并提出了一種利用大型模型來分析安全漏洞、惡意代碼和漏洞利用的方法。此外，他還強(qiáng)調(diào)了人工智能模型本身的安全性問題，特別是在應(yīng)對(duì)后門、對(duì)抗樣本和語言模型等方面的挑戰(zhàn)。

陳愷博士的研究強(qiáng)調(diào)了人工智能在安全領(lǐng)域的重要性，并提供了幾種創(chuàng)新的方法來應(yīng)對(duì)攻擊和提高模型的可解釋性。這些研究為人工智能的安全性和可靠性提供了新的思路和解決方案，對(duì)于推動(dòng)人工智能的發(fā)展具有重要意義。

作為產(chǎn)業(yè)界的代表，百度安全副總裁、主任架構(gòu)師包沉浮指出，大模型應(yīng)用面臨的安全挑戰(zhàn)主要包括模型技術(shù)濫用、業(yè)務(wù)服務(wù)和接口濫用、內(nèi)容濫用和品牌濫用。為了應(yīng)對(duì)這些挑戰(zhàn)，需要建立多層次、多環(huán)節(jié)的安全體系。

大模型應(yīng)用的安全問題仍在不斷發(fā)展，提供方和使用方應(yīng)加強(qiáng)技術(shù)風(fēng)險(xiǎn)預(yù)判，關(guān)注和控制應(yīng)用層面的風(fēng)險(xiǎn)，并建立多方協(xié)同的安全治理機(jī)制以應(yīng)對(duì)應(yīng)用的衍生風(fēng)險(xiǎn)。

中國(guó)科學(xué)技術(shù)大學(xué)信息與通信工程專業(yè)博士、科大訊飛研究院研究員高天介紹了科大訊飛在合成語音檢測(cè)領(lǐng)域的技術(shù)進(jìn)展與挑戰(zhàn)?？拼笥嶏w在語音合成技術(shù)方面取得了長(zhǎng)期的研究成果，并且隨著技術(shù)的突破，語音合成的自然度和應(yīng)用領(lǐng)域不斷提升，但這也帶來了合成語音的安全挑戰(zhàn)，因此合成語音檢測(cè)的研究變得至關(guān)重要。

高天博士介紹了合成語音檢測(cè)的任務(wù)背景和科大訊飛在語音合成技術(shù)方面的成就。他提到科大訊飛多年來在智能語音合成技術(shù)研究上有深厚積累與成果，在解決合成語音檢測(cè)難題方面，高天博士介紹了一些最新的技術(shù)進(jìn)展。他提到利用預(yù)訓(xùn)練模型和說話人自適應(yīng)的方法來提取更魯棒（Robust）的高層特征，改善合成語音檢測(cè)系統(tǒng)的性能。此外，他還介紹了量子機(jī)器學(xué)習(xí)在合成語音檢測(cè)中的探索，通過量子網(wǎng)絡(luò)與深度學(xué)習(xí)相結(jié)合，提升檢測(cè)系統(tǒng)的效果。

斗象科技安全專家杜南提到了在當(dāng)前企業(yè)數(shù)字化轉(zhuǎn)型加速、網(wǎng)絡(luò)安全從建設(shè)到常態(tài)化運(yùn)營(yíng)轉(zhuǎn)換、攻防不對(duì)稱也在加劇的背景下，我們正在AI大模型、行業(yè)模型發(fā)展的基礎(chǔ)上，在網(wǎng)絡(luò)安全技術(shù)上深度探索，尤其是以基于AI技術(shù)的智能攻擊面管理技術(shù)為重要代表之一的集成化、可視化、自動(dòng)化、數(shù)智化的新一代安全解決方案?jìng)涫芷髽I(yè)的青睞。

斗象科技智能攻擊面管理平臺(tái)APTP通過資產(chǎn)的生命周期監(jiān)控和對(duì)攻擊全鏈路的刻畫，構(gòu)建了一款面向企業(yè)攻擊面檢測(cè)與管理邏輯鏈路完整的管理安全平臺(tái)，同時(shí)也是一款技術(shù)與AI的自動(dòng)化機(jī)器滲透測(cè)試平臺(tái)。旨在幫助企業(yè)解決多元數(shù)字資產(chǎn)的可管理、數(shù)字資產(chǎn)的可運(yùn)營(yíng)等。智能攻擊面管理以更智能、更多維、具備白帽知識(shí)的方式偵查和識(shí)別企業(yè)資產(chǎn)暴露面，以更持久的方式管理攻擊面和資產(chǎn)地圖，以更自動(dòng)化、更定向、更接近人工滲透的手段方法，通過機(jī)器人節(jié)點(diǎn)進(jìn)行攻擊面預(yù)測(cè)、視圖展現(xiàn)、安全預(yù)警和常態(tài)化安全運(yùn)營(yíng)。

在最后的圓桌討論中，專家們就新技術(shù)發(fā)展與社會(huì)安全挑戰(zhàn)的平衡問題提出了觀點(diǎn)。如何平衡新技術(shù)發(fā)展和安全挑戰(zhàn)？專家們認(rèn)為技術(shù)發(fā)展是不可阻擋的，并強(qiáng)調(diào)了在技術(shù)研究、應(yīng)用和監(jiān)管方面取得平衡的重要性?？傮w而言，他們認(rèn)為技術(shù)發(fā)展必須繼續(xù)，但需要與安全問題的應(yīng)對(duì)相結(jié)合以實(shí)現(xiàn)健康發(fā)展。

據(jù)悉，論壇由中國(guó)網(wǎng)絡(luò)空間安全協(xié)會(huì)指導(dǎo)、奇安信集團(tuán)、北京賽博英杰科技有限公司聯(lián)合主辦。賽博英杰創(chuàng)始人&董事長(zhǎng)譚曉生主持了此次論壇。