1/15成本，實現(xiàn)AI水印新SOTA | 南洋理工大學(xué)&A*STAR
給AI生成的作品打水印，讓AIGC圖像可溯源，已經(jīng)成為行業(yè)共識。
問題是，傳統(tǒng)水印方法通常把圖像當(dāng)成一個整體處理，全局嵌入、水印提取一鍋端，存在不少“短板”：
比如，圖像局部區(qū)域被篡改，就可能導(dǎo)致全局提取失敗，也無法定位水印所在具體區(qū)域。
又比如，無法只保護某個區(qū)域，如人臉、LOGO等。
針對這個問題，現(xiàn)在，來自南洋理工大學(xué)和新加坡A*STAR前沿人工智能研究中心等機構(gòu)的研究人員，提出了一種全新的局部魯棒圖像水印方法——MaskMark。
該方法不僅在多個任務(wù)中全面超越Meta出品的SOTA模型WAM，而且訓(xùn)練成本只有它的1/15。
具體而言，MaskMark支持：
- 多水印嵌入
- 可精準(zhǔn)定位篡改區(qū)域
- 靈活提取局部水印
- 自適應(yīng)支持32/64/128比特
核心思路：讓模型“看得見”水印在哪里
研究人員引入了一種掩碼機制，訓(xùn)練時告訴模型“水印藏在這里”，教它學(xué)會精準(zhǔn)地嵌入和提取。
他們給MaskMark設(shè)計了兩個版本：
MaskMark-D（解碼掩碼）
- 水印全圖嵌入，但能定位水印位置，支持局部提取。
- 即使部分圖像被篡改，也能成功提取水印。
- 適合用于整體圖像保護、版權(quán)聲明和內(nèi)容驗證。
MaskMark-ED（編碼+解碼掩碼）
- 水印只嵌入圖像的特定區(qū)域（比如人臉或LOGO）。
- 對小范圍攻擊更魯棒，提取效果更好。
- 適合局部敏感內(nèi)容保護、隱私感知場景等。
其中核心技術(shù)流程，是訓(xùn)練和推理的雙重優(yōu)化。
MaskMark 的端到端訓(xùn)練流程主要包括四個階段：
- 掩碼生成（Mask Generation）：從四種預(yù)定義類型（全掩碼、矩形掩碼、不規(guī)則掩碼、分割掩碼）中隨機選擇或生成一個掩碼M。
- 水印嵌入（Watermark Embedding）：編碼器將水印比特
嵌入原始圖像
（對于 MaskMark-ED可選擇性地嵌入掩碼M來指導(dǎo)嵌入位置），生成水印圖像
。此過程利用輕量級CNN處理水印比特，并結(jié)合U-Net結(jié)構(gòu)及JND模塊優(yōu)化視覺效果。 - 水印掩碼操作（Watermark Masking）：使用掩碼M融合
和
，生成
，即僅在掩碼區(qū)域保留水印。隨后對
施加隨機失真得到
，
并再次用M裁剪出僅含水印信號的
區(qū)域。 - 水印提取（Watermark Extraction）：
解碼器從
中預(yù)測掩碼
，并從
中提取水印比特
。解碼器包含專門用于掩碼預(yù)測的 U2-Net 和用于水印提取的U-Net及CNN模塊。
MaskMark推理時，解碼器首先利用定位模塊識別含水印區(qū)域，將非水印區(qū)域置零以減少干擾，然后從保留區(qū)域恢復(fù)水印，這對于小區(qū)域水印提取尤為重要。
在多項不同的任務(wù)上均表現(xiàn)出SOTA的性能
研究人員在多項不同任務(wù)上驗證了MaskMark的性能。
首先，MaskMark能實現(xiàn)高提取精度。
在全局水印任務(wù)中，即使在高視覺保真度（PSNR > 39.5, SSIM > 0.98）下，MaskMark-D和MaskMark-ED仍能保持近乎100%的比特準(zhǔn)確率，尤其在各類值度量和幾何失真攻擊下表現(xiàn)優(yōu)異，顯著優(yōu)于現(xiàn)有基線模型。
在局部水印任務(wù)中，實驗表明，當(dāng)水印信號分布在圖像的不同大小區(qū)域時，MaskMark仍能保持近乎100%的提取準(zhǔn)確率，顯著優(yōu)于其他全局方法，并超過當(dāng)前最先進(jìn)的局部水印模型WAM。尤其在小面積嵌入場景中，MaskMark-ED展現(xiàn)出更加出色的表現(xiàn)。
其次，MaskMark能實現(xiàn)精準(zhǔn)水印定位。
在不同水印區(qū)域比例和失真條件下，其定位性能（以IoU衡量）均優(yōu)于EditGuard和WAM等方法。MaskMark-ED在小區(qū)域定位上更具優(yōu)勢。
MaskMark還具備多水印嵌入能力。
盡管并非為此專門訓(xùn)練，MaskMark-ED在單個圖像中嵌入多達(dá)5個不同水印時，依然保持強大的提取和定位性能，優(yōu)于WAM。
在高效性和擴展性方面，訓(xùn)練效率上，MaskMark僅需在單個A6000 GPU上訓(xùn)練約20小時，計算效率（TFLOPs衡量）比WAM高出15倍。
在消息長度方面，MaskMark可輕松擴展至不同比特長度（如32、64、128位），并保持較高性能，而WAM則受限于32位。
另外，MaskMark還支持快速微調(diào)*。
通過簡單調(diào)整失真層或進(jìn)行少量微調(diào)（如針對VAE自適應(yīng)攻擊，僅需20k訓(xùn)練步數(shù)），MaskMark即可適應(yīng)不同魯棒性需求和新興威脅。
論文鏈接：
https://arxiv.org/abs/2504.12739
代碼鏈接：
https://github.com/hurunyi/maskmark
