3D點(diǎn)云處理（PCP）涉及多種任務(wù)，如分割、去噪、配準(zhǔn)、重建等，傳統(tǒng)方法通常是為每個任務(wù)設(shè)計專用模型，導(dǎo)致過程繁雜、成本高昂。

雖然多任務(wù)學(xué)習(xí)（MTL）能緩解模型數(shù)量問題，但在任務(wù)沖突、參數(shù)調(diào)優(yōu)方面仍存在挑戰(zhàn)。

近年來興起的In-Context Learning（ICL，上下文學(xué)習(xí)）技術(shù)，是指大型語言模型在不進(jìn)行顯式參數(shù)更新的情況下，僅通過輸入中的示例（即上下文信息）來完成新的任務(wù)。

在3D點(diǎn)云領(lǐng)域，由于點(diǎn)云數(shù)據(jù)本身具有非結(jié)構(gòu)化和無序性，因此點(diǎn)云的采樣策略成為實(shí)現(xiàn)有效上下文學(xué)習(xí)的關(guān)鍵因素，不可忽視。

浙江大學(xué)、內(nèi)華達(dá)大學(xué)里諾分校的研究人員提出首個專為點(diǎn)云上下文學(xué)習(xí)設(shè)計的多粒度自適應(yīng)采樣機(jī)制MICAS，包含兩個關(guān)鍵模塊：任務(wù)自適應(yīng)點(diǎn)采樣（Task-adaptive Point Sampling）與查詢特定提示采樣（Query-specific Prompt Sampling），分別從點(diǎn)級（point-level）和提示級（prompt-level）兩個維度出發(fā)，有效提升ICL在3D點(diǎn)云任務(wù)中的穩(wěn)健性與適應(yīng)性。

論文鏈接：https://arxiv.org/abs/2411.16773

MICAS實(shí)現(xiàn)

任務(wù)自適應(yīng)點(diǎn)采樣

利用任務(wù)相關(guān)的信息，優(yōu)化每個點(diǎn)的采樣過程，以提高不同任務(wù)間（例如去噪、分割、配準(zhǔn)、重建）對點(diǎn)的選擇精度。

1. 提示理解（Prompt Understanding）：使用PointNet作為編碼器，從輸入prompt中提取出任務(wù)特征，再將輸入點(diǎn)云和目標(biāo)點(diǎn)云的特征進(jìn)行拼接，生成任務(wù)特征。

2. Gumbel采樣（Gumbel Sampling）：使用Gumbel-softmax實(shí)現(xiàn)可微分的采樣，將任務(wù)特征和當(dāng)前點(diǎn)云的特征結(jié)合，通過正態(tài)化的sampling weights生成最終的采樣結(jié)果，讓模型在訓(xùn)練期間得到更高的效能。

查詢特定提示采樣

在同一個任務(wù)下，對不同的查詢提高提示的相關(guān)性，來解決任務(wù)內(nèi)部的敏感性。

1. 偽標(biāo)簽生成：利用ICL模型來生成預(yù)測結(jié)果，評估其與真實(shí)值之間的差異，將模型性能作為偽標(biāo)簽；
2. 采樣分值計算：根據(jù)不同候選提示對每個查詢點(diǎn)云計算采樣分值，選擇分值最高的提示作為最終輸入。
3. 損失函數(shù)：用List-wise ranking loss優(yōu)化提示的選擇順序，提高模型的整體性能。

實(shí)驗(yàn)分析

評估數(shù)據(jù)集：使用ShapeNet In-Context Dataset，該數(shù)據(jù)集包含了多種「輸入-目標(biāo)」點(diǎn)云的對，以便進(jìn)行全面的任務(wù)評估。

評估指標(biāo)：使用Chamfer Distance（CD）和Mean Intersection over Union（mIOU）來衡量不同任務(wù)的性能。例如，CD用于重建、去噪和配準(zhǔn)任務(wù)，mIOU用于分割任務(wù)。

研究人員驗(yàn)證了文中所提出的任務(wù)自適應(yīng)點(diǎn)采樣（Task-adaptive Point Sampling）與查詢特定提示采樣（Query-specific Prompt Sampling）兩個模塊的有效性，設(shè)計并開展了多組消融實(shí)驗(yàn)。

同時，為進(jìn)一步驗(yàn)證所提方法 MICAS 的魯棒性與通用性，在多種點(diǎn)云深度學(xué)習(xí)模型上進(jìn)行了測試。

實(shí)驗(yàn)結(jié)果表明：任務(wù)自適應(yīng)點(diǎn)采樣模塊在點(diǎn)云去噪（Denoising）與部件分割（Part Segmentation）任務(wù)中帶來顯著性能提升，而查詢特定提示采樣模塊則在點(diǎn)云重建（Reconstruction）與配準(zhǔn)（Registration）任務(wù)中表現(xiàn)更加優(yōu)越。

綜合結(jié)果進(jìn)一步印證了兩種采樣策略在不同任務(wù)中各具優(yōu)勢，分別從點(diǎn)級（point-level）與提示級（prompt-level）兩個粒度對上下文構(gòu)建形成互補(bǔ)效應(yīng)，共同推動模型性能的全面提升。

模型訓(xùn)練和推理可視化

實(shí)驗(yàn)結(jié)果對比可視化

研究人員從中心點(diǎn)采樣質(zhì)量與模型預(yù)測性能兩個維度對比了所提MICAS方法與Baseline方法。

實(shí)驗(yàn)結(jié)果表明，MICAS所采用的自適應(yīng)采樣策略在中心點(diǎn)選擇上優(yōu)于Baseline中常用的最遠(yuǎn)點(diǎn)采樣（Farthest Point Sampling, FPS），從而進(jìn)一步帶來了更優(yōu)的下游任務(wù)預(yù)測效果。

重建任務(wù)的采樣結(jié)果對比

去噪任務(wù)的采樣結(jié)果對比

配準(zhǔn)任務(wù)的采樣結(jié)果對比

分割任務(wù)的采樣結(jié)果對比