偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

200K 上下文突破:AI 編程新星 Augment 崛起

人工智能
本文以 Augment 作為AI編程場景下的典型切入點,細析AI編程現(xiàn)狀與其中不得不面對的安全風險。

作者 | 啄木鳥AI編程安全研究團隊

一、AI編程新星Augment:技術(shù)突破與行業(yè)顛覆

AI編程圈最近來了個“新人”,名為Augment,主打“全棧式AI編程助手”。并在年初以 65.4%的SWE-bench評分登頂AI編程工具榜首。

這預(yù)示著今年是AI編程工具極速速進化的一年。

1. 行業(yè)與技術(shù)的突圍

Augment是一家初創(chuàng)公司,在完成B輪融資后,短時間內(nèi)公司突圍估值突破128億美元。

論技術(shù)能力,Augment在SWE-bench Verified 排行榜上,以65.4%的成績拿下代碼質(zhì)量第一的成就,超越Gemini、OpenAI o1等頭部AI產(chǎn)品,不少人都認為這是繼GitHub Copilot現(xiàn)象級產(chǎn)品后的又一潛力新星。

這個新產(chǎn)品在行業(yè)和技術(shù)突破重圍后,AI編程工具相關(guān)的話題也再次被推至風口浪尖:

  • 市面AI編程產(chǎn)品目前發(fā)展現(xiàn)狀如何?
  • AI編程產(chǎn)品能100%信任嗎?(畢竟使用過程中涉及到了很多工具),整個使用路徑有沒有安全風險?

有風險,且當Agent、MCP、A2A等新興 AI 能力涌現(xiàn)后,AI編程要面對的安全問題變得更為復(fù)雜和鏈路化。本文以 Augment 作為AI編程場景下的典型切入點,細析AI編程現(xiàn)狀與其中不得不面對的安全風險。

二、AI編程工具現(xiàn)狀:技術(shù)紅利尚在,新挑戰(zhàn)層出不窮

1. AI工具的使用率遠超想象

在AI技術(shù)重構(gòu)軟件開發(fā)的進程中,開發(fā)者逐漸“重度依賴”編程助手。根據(jù)麥肯錫2024年開發(fā)者調(diào)查報告顯示, 全球超60%的開發(fā)者正在使用AI編程工具,其中82%集中在代碼編寫場景。

——畢竟用AI編寫代碼,能把工作時間從100分鐘壓縮至20-30分鐘,調(diào)試耗時從80分鐘降至35-45分鐘,誰還會抗拒AI呢?本質(zhì)上效率的提升會導(dǎo)致生產(chǎn)力方式根本性轉(zhuǎn)變。

這種變革不僅體現(xiàn)在基礎(chǔ)編碼環(huán)節(jié),更滲透至文檔生成(耗時降低45-50分鐘)、代碼庫理解(效率提升30.9%)等復(fù)雜場景。

2. 當下AI編程痛點

以Augment為首的新一代AI編程工具,正在逐步解決過去的技術(shù)挑戰(zhàn)。

3. 上下文理解問題

大部分人工智能系統(tǒng)都面臨著一個挑戰(zhàn):當你處理包含數(shù)千萬行代碼的大型系統(tǒng)時,你根本無法將所有這些代碼作為上下文,傳遞給當今的大型語言模型,而augment的人工智能模型,能夠執(zhí)行復(fù)雜的實時采樣,精確識別代碼庫中合適的子集,使代理能夠有效地完成工作。

根據(jù)官方介紹,Augment的核心賣點在于它能夠理解海量代碼庫中的上下文,支持 20 萬 token 的上下文窗口,這剛好是其他AI編程產(chǎn)品所欠缺的能力。

4. 支持多環(huán)境深度集成

Augment支持多種形態(tài)下的使用,無論是從VS Code里加載,或者作為IDE拓展使用都不在話下。除外它匯集了 Claude Sonnet 3.7 和 O1 的最佳功能,在 AI 編碼能力行業(yè)基準Introducing SWE-bench Verified | OpenAI中取得了迄今為止的最高分。

這些優(yōu)勢與競爭對手形成了鮮明對比,一邊是AI工具迫切使用需求,一邊是AI編程工具的快速迭代發(fā)布。

程序員的每一個痛點,都能被時間治愈——它能在AI編程工具的快速迭代中得到解決。

未來幾乎可預(yù)見:新式AI編程工具將逐漸成為主流。

三、新式AI編程(如Augment)存在更復(fù)雜的安全風險

Augment這類新式工具的出現(xiàn),拓寬了AI編程的能力范圍,但安全風險也跟隨能力版圖一并擴大。

過去的AI代碼安全問題,只需保證模型輸出安全的代碼即可。但是現(xiàn)在AI編程玩法多了起來,MCP串聯(lián)、超長上下文機制,每一個新環(huán)節(jié)、新引入,都有是一次戰(zhàn)戰(zhàn)兢兢的安全大挑戰(zhàn)。

此類新型AI編程工具,使用中有存在不少安全風險。啄木鳥AI編程安全研究團隊對此進行了一一研究分析。

1. Agent Memory功能——惡意prompt風險

Agent memory是什么功能?

它相當于AI的"記憶庫",存儲用戶習慣/重要信息,用戶可以往里面添加內(nèi)容,每次AI生成代碼時都會調(diào)用這個記憶庫,同時在與AI的交互中,AI也會自動提取用戶的重要信息添加到memory。

AI記憶庫是怎么受到攻擊的?

第一步:黑客利用Unicode編碼,把惡意代碼轉(zhuǎn)換成隱形字符,寫入到Prompt里面

第二步:將隱形的Prompt偷偷寫入Agent的"記憶庫"文件中

第三步,當用戶正常使用Augment Code生成代碼時,代碼里會自動插入惡意腳本,也就是黑客預(yù)設(shè)好的“后門”,有了后門,黑客就可以做一些惡意操作。

2. 上下文添加機制——后門引入風險

什么是上下文(Context)添加機制?

這是一個可以提高AI對項目理解力的功能,Augment允許用戶添加額外的上下文內(nèi)容,尤其是在前后端分離開發(fā)的項目中,同時對前后端項目代碼進行上下文添加??梢源蠓嵘鼳ugment的Coding能力。

“上下文添加”功能卻成攻擊入口

提升效率的創(chuàng)新功能,卻隱藏著一定的安全隱患。

黑客通過構(gòu)造惡意的后端項目,當用戶對這個惡意的后端項目添加索引時,黑客便可以完成一次后門植入。

至此,用戶僅僅只是正常和Augment對話,它就會給用戶返回帶惡意后門的內(nèi)容。

如果用戶直接使用了這些HTML頁面,黑客就可以在用戶所在環(huán)境中執(zhí)行惡意代碼。

3. Guidelines ——生成惡意user guidelines

(1) Guidelines功能介紹

這是一個用戶通過自然語言,定制化guidelines,來提升AI的表現(xiàn)的功能。guidelines的定制粒度有user 粒度 或 workspace 粒度兩類,其中user粒度的guidelines會對所有的對話生效,而workspace粒度的guidelines只會對當前工作區(qū)下的codebase生效。

(2) Guidelines存在后門風險

黑客只需要把user guidelines進行惡意改造,它輸出給用戶的代碼就能包含“惡意后門”

4. MCP——執(zhí)行惡意命令

當Augment搭配當下最火的MCP一起使用,也會有風險嗎?

MCP的風險本質(zhì)是什么?

MCP(多任務(wù)協(xié)作協(xié)議)能串聯(lián)多個AI工具或自動化流程。但如果被惡意指令劫持,可能直接觸發(fā)MCP執(zhí)行高危操作(如刪庫、提權(quán)、竊取密鑰)。

如何通過MCP進行攻擊?

黑客只需要通過構(gòu)建一個惡意的MCP Server,并通過投毒誘導(dǎo)用戶把該server配置進Augment中。

當用戶和Augment正常對話的時候,Agent會自動觸發(fā)惡意的MCP Server,開始作惡:

四、解決方案建議

AI編程工具快速迭代的當下,該如何面對其中的安全風險?啄木鳥AI編程安全團隊就此做出提醒:

1. 多層安全架構(gòu)與數(shù)據(jù)保護

輸入驗證與最小權(quán)限:嚴格驗證用戶輸入,尤其是在上下文添加和Guidelines等功能中,防止惡意注入。同時,應(yīng)用最小權(quán)限原則,確保 AI 工具僅能訪問必要資源。

數(shù)據(jù)加密與脫敏:敏感數(shù)據(jù)應(yīng)進行脫敏處理,防止傳遞給 AI 工具造成信息泄露。

2. AI模型與安全監(jiān)控

實時監(jiān)控與行為分析:實時監(jiān)控AI工具的行為,檢測并響應(yīng)異常模式,如異常的代碼生成或API訪問,及時采取安全措施。

模型審計與可解釋性:定期對AI模型進行審計,確保輸出可追溯和可解釋,避免惡意代碼生成。

3. AI記憶管理與上下文安全

加密存儲與審查:AI的“記憶庫”需加密存儲,并定期檢查,防止被注入惡意指令。

沙箱環(huán)境與動態(tài)評估:對生成的代碼在安全沙箱中進行測試,確保無惡意后門,并實時評估修改后的安全性。

4. 安全更新與漏洞管理

自動化更新與漏洞響應(yīng):確保AI工具能及時安全更新,修復(fù)漏洞并自動安裝補丁。建立快速響應(yīng)機制,修復(fù)發(fā)現(xiàn)的安全漏洞。

5. 安全意識提升

安全培訓(xùn)與使用指南:企業(yè)或工具提供方,應(yīng)該為開發(fā)者和用戶提供定期的安全培訓(xùn)和明確的安全使用指南,提升其識別潛在風險的能力,確保安全使用AI編程工具。

五、寫在最后

每一次AI編程工具的技術(shù)革命,都將帶來一次安全方案的顛覆。常見的漏洞類型依舊是那些,但它出現(xiàn)的方式會隨著技術(shù)革命而不斷更迭,安全防線的構(gòu)筑速度必須跑贏攻擊者的創(chuàng)新節(jié)奏。

這場關(guān)乎AI編程未來的競賽,既需要技術(shù)層面的博弈,更需要整個產(chǎn)業(yè)對"安全創(chuàng)新"的達成共識才行。

請設(shè)想,如果有一天[安全]成為AI代碼產(chǎn)品的第一性原則,這些AI技術(shù)革命,是不是能釋放出更多改變世界的力量呢?

責任編輯:趙寧寧 來源: 騰訊技術(shù)工程
相關(guān)推薦

2024-01-17 13:59:00

AI開源

2024-04-29 13:09:10

LLM架構(gòu)性能

2017-05-11 14:00:02

Flask請求上下文應(yīng)用上下文

2023-07-11 10:02:23

2012-12-31 10:01:34

SELinuxSELinux安全

2022-09-14 13:13:51

JavaScript上下文

2024-03-20 09:59:04

2022-09-15 08:01:14

繼承基礎(chǔ)設(shè)施基礎(chǔ)服務(wù)

2025-05-26 01:45:00

LLMAI信任

2017-12-17 17:01:23

限界上下文系統(tǒng)模型

2022-10-28 16:24:33

Context上下文鴻蒙

2024-09-30 14:10:00

2025-03-18 08:14:05

2020-07-24 10:00:00

JavaScript執(zhí)行上下文前端

2021-07-26 07:47:36

Cpu上下文進程

2025-06-06 08:00:00

上下文管理器Python開發(fā)

2022-11-03 08:29:32

編程管理器協(xié)議

2024-06-06 08:42:01

2010-02-25 17:04:54

WCF實例上下文
點贊
收藏

51CTO技術(shù)棧公眾號