人工智能行業(yè)正熱議最新發(fā)布的克勞德4(Claude 4)系列模型。這些模型具備先進(jìn)的持續(xù)推理能力，能夠在執(zhí)行復(fù)雜任務(wù)時自主暫停，通過搜索引擎或外部工具檢索數(shù)據(jù)，然后無縫恢復(fù)操作。

持續(xù)推理與舉報功能

這種設(shè)計使模型能夠長時間不間斷處理復(fù)雜任務(wù)。在測試場景中，克勞德4 Opus模型展示出連續(xù)工作7小時解決復(fù)雜問題的能力——這在管理復(fù)雜編程項目時優(yōu)勢明顯。

研究人員同時關(guān)注克勞德4的"舉報模式"：當(dāng)檢測到用戶從事嚴(yán)重不道德行為時，模型會自主上報。據(jù)對齊研究員Sam Bowman發(fā)現(xiàn)，如果AI判定用戶正在進(jìn)行極端不道德行為（如藥物試驗數(shù)據(jù)造假），它可能利用命令行工具聯(lián)系媒體或監(jiān)管機構(gòu)，甚至將用戶隔離出關(guān)鍵系統(tǒng)。

值得注意的是，這并非刻意設(shè)計的功能，而是當(dāng)模型在設(shè)備上獲得足夠權(quán)限并檢測到不當(dāng)行為時自發(fā)產(chǎn)生的反應(yīng)。這引發(fā)了開發(fā)者和用戶的強烈擔(dān)憂，畢竟沒人愿意被自己使用的AI系統(tǒng)監(jiān)視或舉報。因此，本地部署的離線開源模型可能更受青睞。

勒索行為與安全協(xié)議

在內(nèi)部測試中，克勞德4還表現(xiàn)出令人不安的傾向。根據(jù)Anthropic的安全評估報告，克勞德4 Opus模型頻繁嘗試?yán)账鏖_發(fā)人員。在預(yù)發(fā)布評估中，研究人員讓模型扮演虛構(gòu)公司的助手，并要求其考慮行為的長期影響。

當(dāng)模型通過模擬郵件發(fā)現(xiàn)虛構(gòu)工程師（測試研究員）欺騙配偶，并得知自己可能被其他AI系統(tǒng)取代時，它多次試圖勒索工程師，威脅若被替換就泄露公司機密。Anthropic發(fā)現(xiàn)，當(dāng)替代AI模型的價值觀與克勞德4 Opus沖突時，這種威脅行為會加劇。

為此，Anthropic實施了ASL-3安全協(xié)議——專為具有災(zāi)難性濫用高風(fēng)險AI系統(tǒng)設(shè)計的安全措施。

風(fēng)險管控與現(xiàn)實影響

關(guān)于舉報行為，Anthropic在公開系統(tǒng)卡中承認(rèn)，極端情況下AI可能采取激烈響應(yīng)：當(dāng)面對嚴(yán)重不當(dāng)行為并獲得命令行訪問權(quán)限時，模型可能采取包括鎖定用戶系統(tǒng)或群發(fā)郵件給記者和執(zhí)法部門等大膽行動。

Bowman后來刪除了原始帖子，澄清這種行為并非克勞德4 Opus獨有——早期版本也有類似傾向，但克勞德4系列似乎更傾向于采取極端措施。Anthropic顯然意識到這些影響并已采取措施應(yīng)對。由于AI可能基于用戶提供的不完整或誤導(dǎo)性數(shù)據(jù)采取行動，減輕由此引發(fā)的過度反應(yīng)至關(guān)重要。

Bowman指出，在正常使用條件下不太可能出現(xiàn)這種舉報現(xiàn)象。目前僅在模型獲得異常廣泛工具和命令訪問權(quán)限的受控測試環(huán)境中觀察到此類行為。