壓縮感知（Compressed Sensing，CS）是一種信號降采樣技術(shù)，可大幅節(jié)省圖像獲取成本，其核心思想是「無需完整記錄圖像信息，通過計算即可還原目標圖像」。

CS的典型應用包括：

• 降低相機成本：利用廉價設備就能拍攝出高質(zhì)量圖像；
• 加速醫(yī)療成像：將核磁共振成像（MRI）時間從40分鐘縮短至10分鐘內(nèi)，減少被檢查者的不適；
• 探索未知世界，助力科學研究：將「看不見」的事物變?yōu)椤缚吹靡姟?，如觀測細胞活動等轉(zhuǎn)瞬即逝的微觀現(xiàn)象，以及通過分布式射電望遠鏡觀測銀河系中心的黑洞。

CS的兩個核心問題是：

1. 如何設計采樣矩陣，從而盡可能多地保留圖像信息？
2. 如何設計高效的重建算法，從而精準復原圖像內(nèi)容？

CS的數(shù)學模型可表示為，其中x是原始圖像，A是采樣矩陣，y是壓縮觀測值。

現(xiàn)有CS方法主要存在兩個局限性：

1. 采樣矩陣信息保留能力不足：將圖像切塊，逐塊采樣，導致觀測值信息量有限；
2. 重建算法的計算開銷過大、復原精度有限。

針對現(xiàn)有的問題，北京大學信息工程學院的研究人員提出了一種實用、緊致的圖像壓縮感知網(wǎng)絡PCNet，其針對壓縮感知（Compressed Sensing, CS）領域長期存在的關(guān)鍵難題，設計了一種全新的協(xié)同采樣算子，提高了模型在任意采樣率下的靈活性、可解釋性和恢復性能。

論文鏈接：https://ieeexplore.ieee.org/document/10763443

代碼鏈接：https://arxiv.org/abs/2411.13081

發(fā)表刊物：IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

PCNet

1. 新型壓縮采樣矩陣設計

現(xiàn)有的壓縮采樣矩陣設計方法在信息保留能力上存在局限性，難以同時捕獲圖像的局部與全局特征。PCNet 針對此問題，提出了一種新型的協(xié)同壓縮采樣矩陣，顯著提高了采樣過程中的信息保留能力。該設計通過以下兩步實現(xiàn)：

（1）局部特征提?。和ㄟ^一個輕量級的小型卷積網(wǎng)絡對輸入圖像進行濾波，充分捕捉圖像的局部細節(jié)特征，例如邊緣和紋理。這一過程有效降低了數(shù)據(jù)的冗余性，同時為后續(xù)全局特征融合奠定了基礎。

（2）全局降維與特征融合：在完成局部特征提取后，進一步使用一個全局矩陣對濾波結(jié)果進行降維操作。全局矩陣通過引入更大的感受野，將圖像的全局信息（如大尺度結(jié)構(gòu)和整體布局）與局部特征有機結(jié)合，從而生成具有豐富信息的壓縮觀測值。

這種兩階段的采樣方法，不僅確保了對細節(jié)特征的捕捉，還彌補了傳統(tǒng)切塊式采樣方法在全局信息保留上的不足，使得生成的壓縮觀測值信息量更大、利用效率更高。

2. 新型圖像重建網(wǎng)絡設計

為了實現(xiàn)從壓縮觀測值到高質(zhì)量圖像的精準重建，本研究設計了一種融合優(yōu)化理論與深度學習的圖像重建網(wǎng)絡。該網(wǎng)絡在以下幾個方面進行了創(chuàng)新性改進：

（1）基于近端梯度下降（Proximal Gradient Descent, PGD）的深度展開結(jié)構(gòu)

傳統(tǒng) PGD 算法在求解稀疏優(yōu)化問題時具有較強的理論保證，但其迭代過程較為緩慢，且難以適應復雜的圖像數(shù)據(jù)。PCNet 將 PGD 算法的每一次迭代操作轉(zhuǎn)化為深度神經(jīng)網(wǎng)絡中的一個層，通過這種深度展開策略，使得網(wǎng)絡兼具理論可解釋性和實際效率。

（2）模塊化設計提升重建精度

在深度展開網(wǎng)絡中，結(jié)合了最新的模塊設計，包括注意力機制（Attention Mechanism）和多尺度特征融合模塊，進一步提升了重建效果：

• 注意力機制：通過引入通道注意力和空間注意力，有效增強了網(wǎng)絡對重要圖像區(qū)域（如邊緣和紋理）的關(guān)注能力。
• 多尺度特征融合：在不同尺度上提取和整合特征，確保網(wǎng)絡既能恢復局部細節(jié)，也能重建全局結(jié)構(gòu)。

（3）輕量化與高效性

為了適應高分辨率圖像（如2K、4K、8K）的處理需求，PCNet 在設計中采用了參數(shù)量和計算開銷較低的網(wǎng)絡架構(gòu)，同時通過優(yōu)化內(nèi)存使用和并行計算能力，大幅提高了推理效率。

3. 應用范圍的擴展性與通用性

除了在標準壓縮感知任務中的表現(xiàn)，PCNet 的設計還具備較強的擴展性，其核心思想可以直接應用于以下任務中：

（1）量化壓縮感知（Quantized CS）

利用所提出的協(xié)同壓縮采樣矩陣，應對觀測值受量化誤差影響的場景，實現(xiàn)高效的量化數(shù)據(jù)還原。

（2）自監(jiān)督壓縮感知（Self-Supervised CS）

將采樣矩陣與重建網(wǎng)絡設計融入自監(jiān)督學習框架，降低對真值數(shù)據(jù)的依賴，同時提升算法的通用性和魯棒性。

PCNet 的這些創(chuàng)新設計顯著解決了現(xiàn)有方法在采樣和重建方面的性能瓶頸，為壓縮感知技術(shù)的實際應用提供了全新的可能性。

圖1 提出的實用、緊致的壓縮感知網(wǎng)絡PCNet。

圖2 提出的協(xié)同采樣算子。

實驗結(jié)果

為了驗證所提出方法 PCNet 的有效性與優(yōu)勢，本工作在多個基準數(shù)據(jù)集和多種任務場景下進行了詳盡的實驗評估，如圖3所示。這些評估涵蓋了壓縮感知性能、算法效率和通用性測試。以下是實驗結(jié)果的詳細描述：

1. 圖像重建精度

PCNet 在多個公開的圖像基準數(shù)據(jù)集（Set11、CBSD68、Urban100、DIV2K）上進行了系統(tǒng)實驗，并與當前主流的壓縮感知方法進行了對比，重點評估了重建圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）。

結(jié)果表明，在Set11數(shù)據(jù)集上，PCNet在PSNR和SSIM上均超越現(xiàn)有方法，特別是在低采樣率條件下，能夠重建出更高質(zhì)量、細節(jié)更清晰的圖像；在CBSD68數(shù)據(jù)集的自然圖像測試集中，PCNet展現(xiàn)出卓越的細節(jié)保留能力，尤其在邊緣和紋理區(qū)域，其性能顯著優(yōu)于傳統(tǒng)方法；

在Urban100數(shù)據(jù)集的城市場景中，PCNet 在高頻細節(jié)（如建筑物的邊緣線條和窗戶結(jié)構(gòu)）上實現(xiàn)了更高的清晰度和精確度；在 DIV2K 數(shù)據(jù)集上，面對高分辨率（2K、4K、8K）圖像的挑戰(zhàn)，PCNet 在不同采樣率下均取得顯著性能提升，充分展示了其對高分辨率場景的適應能力。

2. 計算效率與資源消耗

實驗還評估了PCNet在計算效率和資源消耗方面的性能，結(jié)果表明，在相同硬件條件下，PCNet的推理時間平均比傳統(tǒng)方法減少了40%，充分證明了其輕量化設計的優(yōu)越性；在內(nèi)存使用方面，PCNet的優(yōu)化設計顯著降低了高分辨率重建任務的內(nèi)存占用，使其能夠在有限資源的設備上高效運行；在參數(shù)量方面，與復雜的深度學習方法相比，PCNet的參數(shù)量減少了30%以上，但性能卻顯著提升。

3. 任務擴展性與通用性測試

除了在標準壓縮感知任務中的卓越表現(xiàn)外，PCNet的實驗還驗證了其在其他相關(guān)任務中的適用性。在量化壓縮感知任務中，PCNet的協(xié)同采樣矩陣設計能夠有效適應量化誤差，即使在量化誤差較大的情況下，重建性能仍優(yōu)于現(xiàn)有方法；在自監(jiān)督學習任務中，PCNet在無標注數(shù)據(jù)的場景下結(jié)合自監(jiān)督框架進行訓練，展現(xiàn)了出色的適應能力和魯棒性。

圖3 方法與其他CS方法的對比結(jié)果。