現(xiàn)如今，大型語言模型（LLM）生成的內(nèi)容已經(jīng)充斥了整個互聯(lián)網(wǎng)，并且這些模型還能模仿各種類似真人的語氣和行文風(fēng)格，讓人難以分辨眼前的文本究竟來自人類還是 AI。

這樣的問題或許可通過所謂的水印（watermarking）技術(shù)來解決。

谷歌開發(fā)的 SynthID 文本水印技術(shù)登上了最新一期 Nature 雜志封面，之前機器之心已經(jīng)報道過該公司開發(fā)的圖像水印技術(shù)

給圖像和文本添加水印具有各不一樣的難點。

在給圖像添加水印時，由于人眼的辨別相近色彩和能力遠(yuǎn)不及機器 —— 畢竟在機器「看」來，這些不同顏色本質(zhì)上只是不同的數(shù)值。以下動圖展示了多張加了水印和未加水印的對比圖像。是不是完全看不來水印在哪里？

但對于以序列形式展示的文本，人類和機器一樣可以分明地看見其中全部信息。那么該如何給文本添加水印呢？

為了使人工智能生成的文本更易于識別，Google DeepMind 創(chuàng)建了 SynthID-Text，現(xiàn)已通過 Google Responsible Generative AI Toolkit 開源。

論文地址：https://www.nature.com/articles/s41586-024-08025-4

開源地址：https://github.com/TransluceAI

SynthID-Text 是一種可立即投入生產(chǎn)的文本水印方案，可保持文本質(zhì)量并實現(xiàn)高檢測精度，同時將延遲開銷降至最低。并且，SynthID-Text 不影響 LLM 訓(xùn)練，僅修改采樣程序；水印檢測計算效率高，無需使用底層 LLM。

SynthID-Text 建立在以前生成水印組件的基礎(chǔ)上，并引入了一種新型采樣算法，即 Tournament 采樣。SynthID-Text 可以配置為非失真（保留文本質(zhì)量）或失真（以犧牲文本質(zhì)量為代價提高水印可檢測性）。在這兩種設(shè)置中，SynthID-Text 都提供了更高的檢測率。

簡單舉個例子，對于短語「我最喜歡的熱帶水果是__」，LLM 可能會使用 token「芒果」、「荔枝」、「木瓜」或「榴蓮」來完成句子，并且每個 token 都會給出一個概率分?jǐn)?shù)。當(dāng)有一系列不同的 token 可供選擇時，SynthID 可以調(diào)整每個預(yù)測 token 的概率分?jǐn)?shù)，以免影響輸出的質(zhì)量、準(zhǔn)確性和創(chuàng)造力。

谷歌通過對來自 Gemini 實時互動的近 2000 萬條響應(yīng)進(jìn)行了大規(guī)模用戶反饋評估，結(jié)果表明：非失真 SynthID-Text 可以保持文本質(zhì)量。因此，SynthID-Text 已被用于為 Gemini 和 Gemini Advanced 添加水印。這證明生成文本水印可以成功實施并擴展到現(xiàn)實世界的生產(chǎn)系統(tǒng)，為數(shù)百萬用戶提供服務(wù)。

此外，谷歌還提供了一種將生成水印與投機采樣（speculative sampling）相結(jié)合的算法，允許將 SynthID-Text 集成到大規(guī)模生產(chǎn)系統(tǒng)中，而額外的計算開銷可以忽略不計。

不過，SynthID-Text 目前僅可以處理短至三句話的文本，以及經(jīng)過裁剪、解釋或修改的文本，但卻很難處理短文本、被重寫或翻譯的內(nèi)容，甚至是對事實問題的回答。

谷歌表示：「SynthID 并不是識別人工智能生成內(nèi)容的靈丹妙藥，但 SynthID 將是開發(fā)更可靠人工智能識別工具的重要組成部分?！?/span>