多模態(tài)融合檢測(cè)，工業(yè)異常檢測(cè)領(lǐng)域新突破！

復(fù)旦大學(xué)、榮旗工業(yè)科技、騰訊優(yōu)圖實(shí)驗(yàn)室 上海交通大學(xué)、上海海洋大學(xué)等機(jī)構(gòu)聯(lián)合發(fā)布高精度多模態(tài)數(shù)據(jù)集Real-IAD D3，并基于此數(shù)據(jù)集提出了一種創(chuàng)新的多模態(tài)融合檢測(cè)方法。

相關(guān)成果已被計(jì)算機(jī)視覺頂會(huì)CVPR 2025收錄。

在工業(yè)生產(chǎn)中，異常檢測(cè)是確保產(chǎn)品質(zhì)量和安全的關(guān)鍵環(huán)節(jié)。然而，現(xiàn)有的異常檢測(cè)方法在面對(duì)復(fù)雜工業(yè)環(huán)境時(shí)，常常因?yàn)閿?shù)據(jù)集的局限性而難以達(dá)到理想的檢測(cè)效果。

為了突破這一瓶頸，研究人員們精心打造了 Real-IAD D3 數(shù)據(jù)集，它不僅涵蓋了高分辨率的 RGB 圖像，還加入了偽 3D 光度立體圖像和微米級(jí)精度的 3D 點(diǎn)云數(shù)據(jù)，為異常檢測(cè)提供了更豐富的信息。

多模態(tài)融合：Real-IAD D3 的創(chuàng)新之處

Real-IAD D3數(shù)據(jù)集的靈感來源于實(shí)際的工業(yè)質(zhì)檢場(chǎng)景。在真實(shí)的工業(yè)生產(chǎn)中，質(zhì)檢人員需要快速、準(zhǔn)確地識(shí)別出產(chǎn)品表面的各種缺陷，如劃痕、凹陷、裂縫等。這些缺陷不僅種類繁多，而且在不同的光照和材質(zhì)背景下，其表現(xiàn)形式也各不相同。傳統(tǒng)的2D圖像檢測(cè)方法在面對(duì)這些復(fù)雜的缺陷時(shí)，往往因?yàn)槿狈ι疃刃畔⒍y以準(zhǔn)確識(shí)別；而現(xiàn)有的3D檢測(cè)方法雖然能夠提供一定的深度信息，但在細(xì)節(jié)捕捉上仍然存在不足。

為了更好地模擬實(shí)際的工業(yè)質(zhì)檢場(chǎng)景，研究人員們?cè)O(shè)計(jì)了Real-IAD D3數(shù)據(jù)集。該數(shù)據(jù)集包含了20個(gè)工業(yè)產(chǎn)品類別、69種缺陷類型，共計(jì)8450個(gè)樣本，其中正常樣本5000個(gè)，異常樣本3450個(gè)。每個(gè)樣本都包含了同步的RGB圖像、偽3D光度立體圖像以及微米級(jí)精度的3D點(diǎn)云數(shù)據(jù)。與現(xiàn)有的MVTec 3D-AD和Real3D-AD數(shù)據(jù)集相比，Real-IAD D3在數(shù)據(jù)規(guī)模、缺陷多樣性以及點(diǎn)云精度等方面都有顯著提升。例如，其點(diǎn)云精度達(dá)到了0.002毫米，遠(yuǎn)高于MVTec 3D-AD的0.11毫米和Real3D-AD的0.011毫米至0.015毫米。

圖片

基于Real-IAD D3數(shù)據(jù)集，研究人員提出了一種多模態(tài)融合檢測(cè)方法D3M。該方法通過整合RGB、點(diǎn)云和偽3D深度信息，充分發(fā)揮各模態(tài)的優(yōu)勢(shì)，提升了異常檢測(cè)的性能。實(shí)驗(yàn)結(jié)果顯示，D3M方法在圖像級(jí)和像素級(jí)異常檢測(cè)指標(biāo)上均優(yōu)于單模態(tài)和雙模態(tài)方法，證明了多模態(tài)融合在工業(yè)異常檢測(cè)中的重要性。

實(shí)驗(yàn)結(jié)果：多模態(tài)融合的優(yōu)勢(shì)

下表展示了不同模態(tài)組合在異常檢測(cè)中的性能對(duì)比?？梢钥吹?，D3M方法通過整合2D、偽3D和3D數(shù)據(jù)，取得了最高的檢測(cè)精度。

圖片

更多可視化效果也印證了這一點(diǎn)，D3M 方法生成的分割圖在細(xì)節(jié)和準(zhǔn)確性上都優(yōu)于其他方法。

圖片

小結(jié)一下，這項(xiàng)研究提出了一種用于工業(yè)異常檢測(cè)的多模態(tài)數(shù)據(jù)集Real-IAD D3和基于此數(shù)據(jù)集的多模態(tài)融合檢測(cè)方法D3M。該數(shù)據(jù)集通過整合RGB、偽3D和3D數(shù)據(jù)，為異常檢測(cè)提供了更豐富的信息，顯著提升了檢測(cè)性能。

團(tuán)隊(duì)表示，該研究將推動(dòng)工業(yè)異常檢測(cè)領(lǐng)域的發(fā)展，為工業(yè)制造中的質(zhì)量控制提供更可靠的解決方案。

One More Thing

本研究是Real-IAD系列的第二篇工作，第一篇工作Real-IAD大規(guī)模工業(yè)異常檢測(cè)數(shù)據(jù)集也被CVPR2024收錄。

圖片

具體貢獻(xiàn)如下：

• 提出了一個(gè)新的Real-IAD數(shù)據(jù)集，它比現(xiàn)有的主流數(shù)據(jù)集大十倍以上。它包括30類對(duì)象，每類對(duì)象包含5個(gè)拍攝角度，共計(jì)150K高分辨率圖像。
• Real-IAD具有更大的缺陷面積和缺陷比例范圍，能夠更好地區(qū)分不同方法的性能，滿足IAD的各種研究設(shè)置?；赗eal-IAD數(shù)據(jù)集構(gòu)建了一個(gè)更接近實(shí)際應(yīng)用場(chǎng)景的FUIAD（Fully Unsupervised Industry Anomaly Detection）設(shè)置，其中僅使用大多數(shù)生產(chǎn)線的成品率大于60%的自然存在約束，而不引入額外的手動(dòng)注釋。
• 報(bào)告了常用的IAD方法在Real-IAD數(shù)據(jù)集上在幾種設(shè)置下的性能，并提供了一個(gè)極具挑戰(zhàn)性的基準(zhǔn)，以促進(jìn)異常檢測(cè)領(lǐng)域的發(fā)展。

數(shù)據(jù)集申請(qǐng)鏈接：https://realiad4ad.github.io/Real-IAD_D3/
論文鏈接：https://openaccess.thecvf.com/content/CVPR2025/html/Zhu_Real-IAD_D3_A_Real-World_2DPseudo-3D3D_Dataset_for_Industrial_Anomaly_Detection_CVPR_2025_paper.html
Real-IAD項(xiàng)目主頁：https://realiad4ad.github.io/Real-IAD/