本文一作湯軼文本科畢業(yè)于上海科技大學(xué)，導(dǎo)師是李學(xué)龍教授，在上海人工智能實驗室實習(xí)。他的研究興趣是 3D 視覺，大模型高效遷移，多模態(tài)大模型和具身智能等。主要工作有 Any2Point, Point-PEFT, ViewRefer 等。

• 論文標(biāo)題:  Exploring the Potential of Encoder-free Architectures in 3D LMMs
• 作者單位：上海人工智能實驗室，西北工業(yè)大學(xué)，香港中文大學(xué)，清華大學(xué)
• 代碼鏈接：https://github.com/Ivan-Tang-3D/ENEL
• 論文鏈接：https://arxiv.org/pdf/2502.09620v1

許多近期的研究致力于開發(fā)大型多模態(tài)模型（LMMs），使 LLMs 能夠解讀多模態(tài)信息，如 2D 圖像（LLaVA）和 3D 點云（Point-LLM, PointLLM, ShapeLLM）。主流的 LMM 通常是依賴于強大但計算量大的多模態(tài)編碼器（例如，2D 的 CLIP 和 3D 的 I2P-MAE）。

雖然這些預(yù)訓(xùn)練編碼器提供了強大的多模態(tài)嵌入，富含預(yù)先存在的知識，但它們也帶來了挑戰(zhàn)，包括無法適應(yīng)不同的點云分辨率，以及編碼器提取的點云特征無法滿足大語言模型的語義需求。

因此，作者首次全面研究了無編碼器架構(gòu)在 3D 大型多模態(tài)模型中應(yīng)用的潛力，將 3D 編碼器的功能直接整合到 LLM 本身。最終，他們展示了首個無編碼器架構(gòu)的 3D LMM—ENEL，其 7B 模型與當(dāng)前最先進的 ShapeLLM-13B 相媲美，表明無編碼器架構(gòu)的巨大潛力。

背景和動機

對于 3D LMMs，基于編碼器的架構(gòu)有以下潛在缺點：

1. 點云分辨率限制：3D 編碼器通常在固定分辨率的點云數(shù)據(jù)上進行預(yù)訓(xùn)練，例如 PointLLM 的編碼器 Point-BERT 使用 1,024 個點。然而，在推理過程中，輸入點云的分辨率可能會有所不同（例如，8,192 個點或 512 個點）。訓(xùn)練和推理分辨率之間的差異可能導(dǎo)致在提取 3D 嵌入時丟失空間信息，從而使 LLMs 理解變得困難。如（a）所示，PointLLM 在不同的點云分辨率輸入下性能差異過大，而我們提出的 ENEL 顯示出了一定的魯棒性。
2. 嵌入語義差異：3D 編碼器通常采用自監(jiān)督方法（如掩碼學(xué)習(xí)和對比學(xué)習(xí)）進行預(yù)訓(xùn)練，但 3D 編碼器和大語言模型的訓(xùn)練分離導(dǎo)致訓(xùn)練目標(biāo)可能與 LLMs 的特定語義需求不一致，無法捕捉到 LLMs 理解 3D 物體所需的最相關(guān)語義。即使使用投影層將 3D 編碼器與 LLMs 連接，簡單的 MLP 也往往不足以進行完全的語義轉(zhuǎn)換。如圖（b）所示，ENEL 架構(gòu)中 text token 更能關(guān)注到點云物體的關(guān)鍵部位，如椅腳和機翼。

具體方案

作者選擇 PointLLM 作為基準(zhǔn)模型進行探索，并使用 GPT-4 評分標(biāo)準(zhǔn)在 Objaverse 數(shù)據(jù)集上評估不同策略的表現(xiàn)。在無編碼器結(jié)構(gòu)的探索中他們提出以下兩個問題：

1. 如何彌補 3D 編碼器最初提取的高層次 3D 語義？在 3D LMMs 中，完全跳過編碼器會導(dǎo)致難以捕捉 3D 點云的復(fù)雜空間結(jié)構(gòu)。
2. 如何將歸納偏置整合到 LLM 中，以便更好地感知 3D 幾何結(jié)構(gòu)？傳統(tǒng)的 3D 編碼器通常將顯式的歸納偏置嵌入到其架構(gòu)中，以逐步捕捉多層次的 3D 幾何。例如，像 Point-M2AE 這樣的模型使用局部到全局的層次結(jié)構(gòu)，這一概念在 2D 圖像處理的卷積層中也很常見。

LLM 嵌入的語義編碼

因為缺乏 3D 編碼器導(dǎo)致點云語義信息的編碼不足，極大地阻礙了 LLM 理解點云的結(jié)構(gòu)細節(jié)?，F(xiàn)有的大多數(shù) 3D 編碼器使用自監(jiān)督損失將點云的高層語義嵌入到 Transformer 中，主要分為四種類型：掩蔽建模損失 (a)、重建損失 (b)、對比損失 (c) 和知識蒸餾損失 (d)?；?token embedding 模塊和 LLM 可學(xué)習(xí)層，作者在預(yù)訓(xùn)練階段實現(xiàn)并評估了這些損失對無編碼器 3D LMM 的影響，并提出混合語義損失。

• 點云自監(jiān)督學(xué)習(xí)損失通常有助于無編碼器 3D LMM。自監(jiān)督學(xué)習(xí)損失通過特定的任務(wù)設(shè)計對復(fù)雜的點云進行變換，促使 LLM 學(xué)習(xí)潛在的幾何關(guān)系和高層次的語義信息。
• 在這些自監(jiān)督學(xué)習(xí)損失中，掩蔽建模損失展示了最強的性能提升。掩蔽比率與訓(xùn)練優(yōu)化難度直接相關(guān)，從 30% 增加到 60% 會導(dǎo)致性能下降。此外，顯式重建點云 patch 不如掩蔽建模有效，但有助于 LLM 學(xué)習(xí)點云中的復(fù)雜模式。相比前兩種損失，知識蒸餾損失的效果較差。最后，對比損失未能提取詳細的語義信息，表現(xiàn)最差。
• 基于上述實驗結(jié)果，作者提出混合語義損失 (Hybrid Semantic Loss)，他們對于掩蔽部分采用掩蔽建模，而對于可見部分，他們使用重建策略。這種方法不僅將高層次的語義嵌入 LLM 中，而且確保在整個點云學(xué)習(xí)過程中保持幾何一致性。

層次幾何聚合策略

在無編碼器架構(gòu)中，LLM 本身并沒有明確的局部建模模塊。自注意力機制主要用于建模全局交互。因此，基于提出的混合語義損失，作者在指令調(diào)優(yōu)階段探索如何使 LLM 主動感知 3D 局部細節(jié)，并補充學(xué)到的全局語義。為此，他們提出了層次幾何聚合策略。

• 從 LLM 的第二層開始，輸入的點云 token 基于它們對應(yīng)的坐標(biāo)使用最遠點采樣進行下采樣，將 token 數(shù)量從 M 減少到??/2, 作為局部中心。然后，使用 k-NN 算法獲得鄰近點。針對鄰近點他們采用門控自注意力機制進行組內(nèi)交互，捕捉局部幾何結(jié)構(gòu)。最后，他們應(yīng)用池化操作融合每個鄰居的特征，結(jié)果特征長度為 M/2?？偣策M行 l-1 次幾何聚合。
• 為了確保 LLM 充分提取局部信息，作者選擇在聚合操作后經(jīng)過多層 LLM 層進行進一步的語義建模，避免丟失細粒度的幾何細節(jié)。
• 隨后，他們進行 l 次幾何傳播。按照 PointNet++ 的方法，他們將聚合后的特征從局部中心點傳播到它們周圍的 k 個鄰近點，經(jīng)過 l 次后重新得到長度為 M 的點云特征。

定量分析

• 在 Objaverse 基準(zhǔn)測試中，ENEL-7B 在 3D 物體描述任務(wù)中取得了 50.92% 的 GPT-4 得分，創(chuàng)下了新的 SOTA 性能。在傳統(tǒng)指標(biāo)中，SentenceBERT 和 SimCSE 分別達到了 48.61% 和 49.31% 的得分，表現(xiàn)與 ShapeLLM-13B 相當(dāng)。對于 3D 物體分類任務(wù)，ENEL-7B 超越了先前基于編碼器的 3D LMMs，取得了 55% 的 GPT 得分。
• 此外，在 3D MM-Vet 數(shù)據(jù)集的 3D-VQA 任務(wù)上，盡管訓(xùn)練集中缺乏空間和具身交互相關(guān)的數(shù)據(jù)，ENEL 仍取得了 42.7% 的 GPT 得分，超過了 PointLLM-7B 1.5%。
• 考慮到與 PointLLM 相同的訓(xùn)練數(shù)據(jù)集，這些結(jié)果驗證了作者提出的 LLM 嵌入式語義編碼和層次幾何聚合策略在無編碼器架構(gòu)中的有效性。

實現(xiàn)、訓(xùn)練和推理細節(jié)

作者使用 7B Vicuna v1.1 的檢查點。在嵌入層中，點云首先通過一個線性層處理，將其維度從 6 擴展到 288。輸入點云初始包含 8192 個點，隨后經(jīng)過三次最遠點采樣（FPS），分別將點云數(shù)量減少到 512、256 和 128。每次 FPS 操作后，使用 k 近鄰進行聚類，聚類大小為 81，并通過三角編碼提取幾何特征，隨后通過線性層逐步將維度增加到 576、1152 和 2304。最后，投影層將特征映射到 LLM 的 4096 維度。

在兩階段訓(xùn)練過程中，每個階段使用的數(shù)據(jù)集和預(yù)處理方法與 PointLLM 一致。所有訓(xùn)練均在 4 張 80G 的 A100 GPU 上以 BF16 精度進行，使用了 FlashAttention、AdamW 優(yōu)化器以及余弦學(xué)習(xí)率調(diào)度策略。在預(yù)訓(xùn)練階段，模型訓(xùn)練了 3 個 epoch，批量大小為 128，學(xué)習(xí)率為 4e-4。在指令微調(diào)階段，訓(xùn)練進行了 3 個 epoch，批量大小為 32，學(xué)習(xí)率為 2e-5。

用于分類和描述任務(wù)評估的 GPT-4 模型為「gpt-4-0613」版本，與 PointLLM 一致；而用于問答性能評估的 GPT-4 模型為「gpt-4-0125」版本，與 ShapeLLM 對齊。