Segment Anything Model 2（SAM 2）在傳統(tǒng)視頻目標(biāo)分割任務(wù)大放異彩，引起了眾多關(guān)注。然而，港中文和上海 AI Lab 的研究團隊發(fā)現(xiàn) SAM 2 的貪婪選擇策略容易陷入「錯誤累積」的問題，即一次錯誤的分割掩碼選擇將影響后續(xù)幀的分割結(jié)果，導(dǎo)致整個視頻分割性能的下降。這個問題在長視頻分割任務(wù)中顯得更加嚴重。

針對這些挑戰(zhàn)，該研究團隊近日推出了全新的 SAM2Long。在 Segment Anything Model 2（SAM 2）的基礎(chǔ)上，提出了創(chuàng)新的記憶結(jié)構(gòu)設(shè)計，打造了專為復(fù)雜長視頻的分割模型。

• 論文鏈接：https://mark12ding.github.io/project/SAM2Long/asset/images/paper.pdf
• 項目鏈接：https://mark12ding.github.io/project/SAM2Long/
• 代碼鏈接：https://github.com/Mark12Ding/SAM2Long

SAM2Long 采用了一種全新的多路徑記憶樹結(jié)構(gòu)，使得模型可以在每一幀處理時探索多種可能的分割路徑，并根據(jù)綜合得分選擇最佳路徑進行后續(xù)幀的分割。這種設(shè)計避免了單一錯誤掩碼對整個視頻的影響，使得 SAM2Long 在處理遮擋、目標(biāo)重現(xiàn)等長視頻常見問題時表現(xiàn)得更加穩(wěn)健。

定性和定量對比 SAM 2 和 SAM2Long 處理遮擋和長時間的性能。

SAM2Long 方法簡述

1. SAM 2 的基礎(chǔ)概述

SAM 2 是一種用于圖像和視頻對象分割的基礎(chǔ)模型。與 SAM 不同，SAM 2 引入了一個內(nèi)存模塊，該模塊利用先前幀的信息和提示幀特征來幫助當(dāng)前幀的分割。在視頻對象分割任務(wù)中，SAM 2 會在每個時間步 t 上維護一個內(nèi)存庫，存儲最近 N 幀的特征。每個內(nèi)存條目包含空間嵌入和對象指針，通過這些信息，SAM 2 能夠生成當(dāng)前幀的分割掩碼，并預(yù)測掩碼的 IoU 分數(shù)和遮擋分數(shù)。SAM 2 采用貪婪選擇策略，選擇最高 IoU 的掩碼作為最終預(yù)測，并存儲其對應(yīng)的內(nèi)存指針。

2. 多路徑記憶樹結(jié)構(gòu)與不確定性處理

為了提高 SAM 2 在長視頻中的魯棒性，SAM2Long 引入了多路徑記憶樹結(jié)構(gòu)。該結(jié)構(gòu)允許模型在每個時間步上保留多個分割路徑假設(shè)，每條路徑都有獨立的內(nèi)存庫和累積得分。每個時間步上，SAM2 的掩碼解碼器在每條路徑會生成三個掩碼候選。

為了防止路徑數(shù)量過多引起計算和內(nèi)存開銷過高，SAM2Long 實施了剪枝策略。我們計算每個掩碼累積 IoU 得分，只保留得分最高的 P 條路徑。

此外，SAM2Long 在處理不確定場景時，利用遮擋分數(shù)進行不確定性處理。當(dāng)所有路徑的遮擋分數(shù)都較低時，意味著模型對輸出的結(jié)果不確定。在這種情況下，SAM2Long 會強制選擇不同 IoU 值的掩碼路徑，以避免錯誤路徑的過早收斂。

相比 SAM 2，SAM2Long 增加了額外的計算需求，主要體現(xiàn)在掩碼解碼器和內(nèi)存模塊的多次處理上。然而，這些模塊相較于圖像編碼器來說非常輕量。例如，SAM 2-Large 的圖像編碼器包含 212M 個參數(shù)，而模型其余的參數(shù)只有 12M，大約僅占模型的 5%。

因為 SAM2Long 也只需要處理一次圖像編碼器，所以內(nèi)存樹結(jié)構(gòu)的引入幾乎不會增加顯著的計算成本，但卻顯著提高了模型在長時間視頻場景中的魯棒性和對錯誤的恢復(fù)能力。

3. 物體感知的記憶庫構(gòu)建

在每條路徑中，SAM2Long 使用物體感知的內(nèi)存選擇策略，通過篩選出具有較高 IoU 分數(shù)和沒有遮擋的幀，只將高質(zhì)量的有物體的幀加入記憶內(nèi)存庫。

此外，SAM2Long 對每個內(nèi)存幀的遮擋分數(shù)進行排序，遮擋分數(shù)越高，表示該幀中的目標(biāo)對象越清晰、遮擋越少。為了充分利用這些高質(zhì)量的幀，SAM2Long 通過以下幾個步驟來調(diào)整每個內(nèi)存幀在注意力計算中的權(quán)重。

首先，定義一組線性分布的標(biāo)準權(quán)重，用于對內(nèi)存中的幀進行加權(quán)。這些權(quán)重在一個預(yù)定義的范圍 [w_low, w_high] 之間線性分布，較高的權(quán)重將分配給那些重要的內(nèi)存幀。

然后，對每個內(nèi)存幀的遮擋分數(shù)進行排序，得到一個按遮擋分數(shù)從低到高排列的幀索引序列。根據(jù)遮擋分數(shù)的排序結(jié)果，將標(biāo)準權(quán)重分配給對應(yīng)的內(nèi)存幀，遮擋分數(shù)越高的幀用越大的權(quán)重線性縮放該幀的特征表示。

最后，使用經(jīng)過加權(quán)調(diào)整的內(nèi)存幀作為輸入，進行跨幀的注意力計算。這樣，遮擋分數(shù)高的幀（表示對象存在且分割質(zhì)量高）會對當(dāng)前幀的分割結(jié)果產(chǎn)生更大的影響。

實驗結(jié)果

SAM2Long 在所有模型規(guī)模優(yōu)于 SAM 2

我們對 SAM 2 和 SAM2Long 在不同模型規(guī)模和多個數(shù)據(jù)集上的表現(xiàn)進行了詳細對比。在 SA-V 驗證集和測試集以及 LVOS v2 驗證集上的實驗結(jié)果顯示，SAM2Long 無論在何種模型規(guī)模下，均顯著超越了 SAM 2。表中共包含了 8 種模型變體，涵蓋了 SAM 2 和最新的 SAM 2.1 在四種模型規(guī)模下的表現(xiàn)。24 次實驗的平均結(jié)果表明，SAM2Long 在 J&F 指標(biāo)上平均提高了 3.0 分。

其中，SAM2Long-Large 在 SA-V 驗證集和測試集上，分別比 SAM 2 提升了 4.5 和 5.3 分。在 LVOS 驗證集上，各個模型規(guī)模下的 SAM2Long 也都展示了顯著的性能提升。此結(jié)果證明了我們的無訓(xùn)練內(nèi)存樹策略在長時間視頻分割中的高效性，大大提升了模型在長視頻對象分割中的魯棒性。

SAM2Long 超越現(xiàn)有方法，實現(xiàn) SOTA

我們還將 SAM2Long 與當(dāng)前最先進的視頻對象分割方法進行了對比。盡管 SAM 2.1 已經(jīng)在眾多數(shù)據(jù)集上顯著超越了現(xiàn)有方法，但 SAM2.1Long 將這一成績推向了更高的水平。特別是在 SA-V 驗證集上，SAM2.1Long 的 J&F 得分為 81.1，較 SAM 2.1 提升了 2.5 分。在 LVOS 數(shù)據(jù)集中，SAM2.1Long 在 v1 和 v2 子集上分別達到了 83.4 和 85.9 的 J&F 得分，分別比 SAM 2.1 提升了 3.2 和 1.8 分。

SAM2Long 在應(yīng)對不同挑戰(zhàn)的視頻時展現(xiàn)了強大的通用性

除了在 SA-V 和 LVOS 數(shù)據(jù)集上的出色表現(xiàn)外，我們還在其他視頻對象分割基準測試上對 SAM2Long 進行了評估。在復(fù)雜的現(xiàn)實場景 MOSE 數(shù)據(jù)集上，SAM2.1Long 的 J&F 得分為 75.2，超越了 SAM 2.1 的 74.5 分。特別是在 MOSE 基準上，SAM 2.1-Large 并未相較 SAM 2-Large 帶來性能提升，因此 SAM2.1Long 在該基準上取得的顯著改進顯得尤為突出。

同樣，在關(guān)注對象變形的 VOST 數(shù)據(jù)集上，SAM2.1Long 的 J&F 得分為 54.0，較 SAM 2.1 提升了接近 1 分。而在 PUMaVOS 數(shù)據(jù)集上，SAM2.1Long 也以 82.4 分超越了 SAM 2.1 的 81.1 分，證明了其在處理復(fù)雜和模糊分割任務(wù)時的強大能力。

這些結(jié)果表明，SAM2Long 在保留 SAM 2 基礎(chǔ)分割能力的同時，顯著增強了其長時間視頻場景下的表現(xiàn)，展現(xiàn)了其在不同 VOS 基準數(shù)據(jù)集上的魯棒性和通用性。

結(jié)語

SAM2Long 是基于 SAM 2 的一種針對長時間視頻對象分割任務(wù)的全新方法。通過引入多路徑記憶樹結(jié)構(gòu)和不確定性處理機制，SAM2Long 有效地解決了長視頻中遮擋、對象重現(xiàn)和錯誤累積等挑戰(zhàn)。

實驗結(jié)果表明，SAM2Long 在多個主流數(shù)據(jù)集上顯著提升了分割精度，尤其是在未見類別和復(fù)雜場景中的表現(xiàn)尤為突出。相比于 SAM 2，SAM2Long 不僅保持了較低的計算開銷，還在泛化能力和魯棒性上實現(xiàn)了突破。

未來，我們相信 SAM2Long 可以廣泛應(yīng)用于各種實際場景，如自動駕駛、視頻編輯和智能監(jiān)控，推動視頻對象分割技術(shù)的進一步發(fā)展。