參數(shù)量暴降，精度反升！哈工大賓大聯(lián)手打造點(diǎn)云分析新SOTA
新架構(gòu)選擇用KAN做3D感知，點(diǎn)云分析有了新SOTA！
來自哈爾濱工業(yè)大學(xué)（深圳）和賓夕法尼亞大學(xué)的聯(lián)合團(tuán)隊(duì)最近推出了一種基于Kolmogorov-Arnold Networks(KANs)的3D感知解決方案——PointKAN，在處理點(diǎn)云數(shù)據(jù)的下游任務(wù)上展現(xiàn)出巨大的潛力。
△PointKAN與同類產(chǎn)品的比較
替代傳統(tǒng)的MLP方案，PointKAN具有更強(qiáng)的學(xué)習(xí)復(fù)雜幾何特征的能力。
此外團(tuán)隊(duì)還提出PointKAN-elite版本，使用Efficient-KANs結(jié)構(gòu)，在保持準(zhǔn)確率的同時顯著降低參數(shù)量。
以下是更多詳細(xì)內(nèi)容介紹。
為什么要選擇KANs
當(dāng)前多層感知機(jī)（MLPs）憑借其高效的特征學(xué)習(xí)機(jī)制，已成為點(diǎn)云分析的基礎(chǔ)架構(gòu)組件。
然而在處理點(diǎn)云復(fù)雜幾何結(jié)構(gòu)時，MLP的固定激活函數(shù)難以有效捕捉局部幾何特征，同時存在參數(shù)量冗余大、模型效率低下的問題。
而KANs是以Kolmogorov-Arnold表示定理(KART)作為數(shù)學(xué)依據(jù)的一種新穎的神經(jīng)網(wǎng)絡(luò)架構(gòu)，與多層感知機(jī)(MLP)結(jié)構(gòu)的最大區(qū)別是KANs使用可學(xué)習(xí)函數(shù)替代固定激活函數(shù)。
KANs使用一維B樣條函數(shù)作為基函數(shù)通過相加和復(fù)合運(yùn)算實(shí)現(xiàn)高維復(fù)雜函數(shù)，為函數(shù)擬合提供了一個靈活且可解釋的框架。
目前，KANs已初步應(yīng)用于計(jì)算機(jī)視覺和醫(yī)學(xué)成像等領(lǐng)域，展現(xiàn)出了有效性和通用性，但在點(diǎn)云分析領(lǐng)域中基于KANs的模型擁有巨大潛力尚未開發(fā)。
因此，探索在點(diǎn)云分析任務(wù)中有效整合KANs與現(xiàn)有模型的方法，仍是一個重要且有前景的研究方向。
PointKAN框架解析
PointKAN的整體流程如下圖所示。
相比于MLPs，盡管KANs具有更強(qiáng)的高維函數(shù)逼近能力和更高的參數(shù)效率，但將其適配到3D點(diǎn)云上并非易事。
一方面，KANs的樣條激活函數(shù)通過離散節(jié)點(diǎn)逼近單變量函數(shù)，很難充分捕捉局部點(diǎn)云的幾何特征，限制了其學(xué)習(xí)細(xì)節(jié)特征的能力。
另一方面，每一維輸入的激活函數(shù)需要存儲多個參數(shù)，對于大規(guī)模網(wǎng)絡(luò)，KANs的內(nèi)存需求可能成為瓶頸，并且KANs中使用的B樣條函數(shù)對于現(xiàn)代硬件上的并行計(jì)算未進(jìn)行優(yōu)化，導(dǎo)致推理速度較慢。
為了解決上述問題，研究團(tuán)隊(duì)提出了PointKAN，其特點(diǎn)是包含幾何仿射模塊和并行結(jié)構(gòu)的局部特征提取模塊，以及KANs的高效版本Efficient-KANs來減少內(nèi)存占用并加快訓(xùn)練和推理速度。
Geometric Affine Module
為了在后續(xù)的局部特征提取階段能得到更加豐富的信息，在這個模塊中包含兩個部分Group-Norm和S-Pool。
Group-Norm對分組內(nèi)特征進(jìn)行歸一化、仿射變換和組中心特征傳播，整個過程表達(dá)如下：
S-Pool用于對各組特征進(jìn)行聚合，作為后續(xù)模塊的輸入，對各組點(diǎn)云進(jìn)行全局信息的補(bǔ)充，考慮到最大池化會導(dǎo)致信息丟失，而S-Pool則最大限度保留組內(nèi)各點(diǎn)特征信息，數(shù)學(xué)形式如下：
Local Feature Processing
對Geometric Affine Module的兩部分輸出在Local Feature Progress (LFP)中分別使用KAN Block進(jìn)行并行處理。
在KAN Block中，團(tuán)隊(duì)在KAN Layer 后加上深度卷積(DwConv)操作來協(xié)助KANs在高維通道信息上學(xué)習(xí)到豐富的特征表示，整個過程可以被表示為：
共享的LFP旨在從分組點(diǎn)云中學(xué)習(xí)到局部特征，在經(jīng)過最大池化后與從各組中心點(diǎn)云學(xué)習(xí)到的全局信息相加，使得各組點(diǎn)云最終輸出的聚合特征更加豐富。
Global Feature Processing
Global Feature Progress(GFP)由Residual Point(Resp)Block組成，用于提取深度聚合特征。
由于結(jié)構(gòu)中只包含前饋MLP，使得可以在GFP中添加多個重復(fù)Residual Point(Resp)Block，整個模型仍然能高效運(yùn)行。
總的來說，代替使用復(fù)雜的局部幾何提取結(jié)構(gòu)，PointKAN的一個階段由Geometric Affine Module、Local Feature Processing和Global Feature Processing三部分組成，通過重復(fù)的四個階段來構(gòu)造一個層次化處理點(diǎn)云的深度網(wǎng)絡(luò)。
Efficient-KANs結(jié)構(gòu)
KANs中的激活函數(shù)是由B樣條函數(shù)生成的，而B樣條函數(shù)需要遞歸計(jì)算，這并不適合現(xiàn)代GPU的并行計(jì)算架構(gòu)。
在參數(shù)量和計(jì)算效率上，每個輸入-輸出對都有不同的參數(shù)和基函數(shù)，那么隨著KANs中隱藏層寬度的增加，參數(shù)量呈指數(shù)增長，這也導(dǎo)致了巨大的計(jì)算開銷和可擴(kuò)展性問題。
Efficient-KANs很好的解決了這些問題，首先使用有理函數(shù)代替B樣條函數(shù)作為KANs中的基函數(shù)，激活函數(shù)如下所示：
其中的參數(shù)通過反向傳播進(jìn)行訓(xùn)練。有理函數(shù)計(jì)算過程簡單，非常適合并行計(jì)算，提高了模型的計(jì)算效率。
另外Efficient-KANs對輸入通道進(jìn)行分組，在組內(nèi)進(jìn)行參數(shù)共享，來減少參數(shù)量和計(jì)算量。
下圖展示了Efficient-KANs、原始KANs和標(biāo)準(zhǔn)MLP之間的區(qū)別。
實(shí)驗(yàn)結(jié)果
分類任務(wù)
在ModelNet40和ScanObjectNN數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。
部分分割任務(wù)
在ShapeNetPart數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。
小樣本學(xué)習(xí)
在ModelNet40數(shù)據(jù)集上采用“n-way, m-shot”范式進(jìn)行實(shí)驗(yàn)。
實(shí)驗(yàn)結(jié)果表明，PointKAN以及PointKAN-elite在各個下游任務(wù)上相比于基于MLPs的點(diǎn)云分析架構(gòu)都有出色的表現(xiàn)，特別是在小樣本學(xué)習(xí)任務(wù)上，體現(xiàn)了KANs具有極強(qiáng)的泛化能力和知識遷移能力，更重要的是參數(shù)量和FLOPs都有明顯的下降。
此外消融實(shí)驗(yàn)如下圖所示：
總結(jié)
在本文中，研究人員提出了PointKAN，一種基于Kolmogorov-Arnold網(wǎng)絡(luò)（KANs）的高效點(diǎn)云分析架構(gòu)。
相較于基于多層感知機(jī)（MLPs）的PointMLP架構(gòu)，PointKAN在多項(xiàng)任務(wù)中均表現(xiàn)出更優(yōu)性能，充分驗(yàn)證了KANs在提取局部細(xì)節(jié)特征方面的強(qiáng)大能力。
此外，研究團(tuán)隊(duì)還提出了更高效的輕量化版本PointKAN-elite，該版本在保持精度的同時，進(jìn)一步降低了參數(shù)量與計(jì)算成本。
團(tuán)隊(duì)期待PointKAN能夠推動KANs在點(diǎn)云分析領(lǐng)域的應(yīng)用，充分發(fā)揮其相較于MLPs的獨(dú)特優(yōu)勢。
