多模態(tài)融合檢測，工業(yè)異常檢測領(lǐng)域新突破！

復(fù)旦大學(xué)、榮旗工業(yè)科技、騰訊優(yōu)圖實驗室 上海交通大學(xué)、上海海洋大學(xué)等機構(gòu)聯(lián)合發(fā)布高精度多模態(tài)數(shù)據(jù)集Real-IAD D3，并基于此數(shù)據(jù)集提出了一種創(chuàng)新的多模態(tài)融合檢測方法。

相關(guān)成果已被計算機視覺頂會CVPR 2025收錄。

在工業(yè)生產(chǎn)中，異常檢測是確保產(chǎn)品質(zhì)量和安全的關(guān)鍵環(huán)節(jié)。然而，現(xiàn)有的異常檢測方法在面對復(fù)雜工業(yè)環(huán)境時，常常因為數(shù)據(jù)集的局限性而難以達(dá)到理想的檢測效果。

為了突破這一瓶頸，研究人員們精心打造了 Real-IAD D3 數(shù)據(jù)集，它不僅涵蓋了高分辨率的 RGB 圖像，還加入了偽 3D 光度立體圖像和微米級精度的 3D 點云數(shù)據(jù)，為異常檢測提供了更豐富的信息。

多模態(tài)融合：Real-IAD D3 的創(chuàng)新之處

Real-IAD D3數(shù)據(jù)集的靈感來源于實際的工業(yè)質(zhì)檢場景。在真實的工業(yè)生產(chǎn)中，質(zhì)檢人員需要快速、準(zhǔn)確地識別出產(chǎn)品表面的各種缺陷，如劃痕、凹陷、裂縫等。這些缺陷不僅種類繁多，而且在不同的光照和材質(zhì)背景下，其表現(xiàn)形式也各不相同。傳統(tǒng)的2D圖像檢測方法在面對這些復(fù)雜的缺陷時，往往因為缺乏深度信息而難以準(zhǔn)確識別；而現(xiàn)有的3D檢測方法雖然能夠提供一定的深度信息，但在細(xì)節(jié)捕捉上仍然存在不足。

為了更好地模擬實際的工業(yè)質(zhì)檢場景，研究人員們設(shè)計了Real-IAD D3數(shù)據(jù)集。該數(shù)據(jù)集包含了20個工業(yè)產(chǎn)品類別、69種缺陷類型，共計8450個樣本，其中正常樣本5000個，異常樣本3450個。每個樣本都包含了同步的RGB圖像、偽3D光度立體圖像以及微米級精度的3D點云數(shù)據(jù)。與現(xiàn)有的MVTec 3D-AD和Real3D-AD數(shù)據(jù)集相比，Real-IAD D3在數(shù)據(jù)規(guī)模、缺陷多樣性以及點云精度等方面都有顯著提升。例如，其點云精度達(dá)到了0.002毫米，遠(yuǎn)高于MVTec 3D-AD的0.11毫米和Real3D-AD的0.011毫米至0.015毫米。

圖片

基于Real-IAD D3數(shù)據(jù)集，研究人員提出了一種多模態(tài)融合檢測方法D3M。該方法通過整合RGB、點云和偽3D深度信息，充分發(fā)揮各模態(tài)的優(yōu)勢，提升了異常檢測的性能。實驗結(jié)果顯示，D3M方法在圖像級和像素級異常檢測指標(biāo)上均優(yōu)于單模態(tài)和雙模態(tài)方法，證明了多模態(tài)融合在工業(yè)異常檢測中的重要性。

實驗結(jié)果：多模態(tài)融合的優(yōu)勢

下表展示了不同模態(tài)組合在異常檢測中的性能對比?？梢钥吹?，D3M方法通過整合2D、偽3D和3D數(shù)據(jù)，取得了最高的檢測精度。

圖片

更多可視化效果也印證了這一點，D3M 方法生成的分割圖在細(xì)節(jié)和準(zhǔn)確性上都優(yōu)于其他方法。

圖片

小結(jié)一下，這項研究提出了一種用于工業(yè)異常檢測的多模態(tài)數(shù)據(jù)集Real-IAD D3和基于此數(shù)據(jù)集的多模態(tài)融合檢測方法D3M。該數(shù)據(jù)集通過整合RGB、偽3D和3D數(shù)據(jù)，為異常檢測提供了更豐富的信息，顯著提升了檢測性能。

團(tuán)隊表示，該研究將推動工業(yè)異常檢測領(lǐng)域的發(fā)展，為工業(yè)制造中的質(zhì)量控制提供更可靠的解決方案。

One More Thing

本研究是Real-IAD系列的第二篇工作，第一篇工作Real-IAD大規(guī)模工業(yè)異常檢測數(shù)據(jù)集也被CVPR2024收錄。

圖片

具體貢獻(xiàn)如下：

• 提出了一個新的Real-IAD數(shù)據(jù)集，它比現(xiàn)有的主流數(shù)據(jù)集大十倍以上。它包括30類對象，每類對象包含5個拍攝角度，共計150K高分辨率圖像。
• Real-IAD具有更大的缺陷面積和缺陷比例范圍，能夠更好地區(qū)分不同方法的性能，滿足IAD的各種研究設(shè)置?；赗eal-IAD數(shù)據(jù)集構(gòu)建了一個更接近實際應(yīng)用場景的FUIAD（Fully Unsupervised Industry Anomaly Detection）設(shè)置，其中僅使用大多數(shù)生產(chǎn)線的成品率大于60%的自然存在約束，而不引入額外的手動注釋。
• 報告了常用的IAD方法在Real-IAD數(shù)據(jù)集上在幾種設(shè)置下的性能，并提供了一個極具挑戰(zhàn)性的基準(zhǔn)，以促進(jìn)異常檢測領(lǐng)域的發(fā)展。

數(shù)據(jù)集申請鏈接：https://realiad4ad.github.io/Real-IAD_D3/
論文鏈接：https://openaccess.thecvf.com/content/CVPR2025/html/Zhu_Real-IAD_D3_A_Real-World_2DPseudo-3D3D_Dataset_for_Industrial_Anomaly_Detection_CVPR_2025_paper.html
Real-IAD項目主頁：https://realiad4ad.github.io/Real-IAD/