拋棄熱圖回歸，滑鐵盧大學(xué)提出多人姿態(tài)估計新方法
關(guān)鍵點估計是一項計算機視覺任務(wù)，涉及定位圖像中的興趣點。作為計算機視覺工作中研究最多的主題之一，關(guān)鍵點估計在相關(guān)應(yīng)用中發(fā)揮著重要作用，包括人體姿態(tài)估計、手部姿態(tài)估計 、動作識別、目標檢測、多人跟蹤、運動分析等。
估計關(guān)鍵點位置最常用的方法是生成 target 場的熱圖（heatmap）方法。但熱圖回歸作為檢測和定位關(guān)鍵點的標準方法，也存在以下缺點：
首先，這種方法存在量化誤差；關(guān)鍵點預(yù)測的精度本質(zhì)上受到熱圖空間分辨率的限制。因此，較大的熱圖更優(yōu)，但需要額外的上采樣操作和昂貴的更高分辨率處理；并且即使使用大型熱圖，也需要特殊的后處理步驟來優(yōu)化關(guān)鍵點預(yù)測，這會降低推理速度；
其次，當兩個相同類型（即類別）的關(guān)鍵點彼此靠近時，重疊的熱圖信號可能會被誤認為是單個關(guān)鍵點。
基于此，已有一些工作開始研究可替代的、無熱圖的關(guān)鍵點檢測方法。
近日，來自加拿大滑鐵盧大學(xué)的研究者提出了一種全新的單階段多人關(guān)鍵點和姿態(tài)檢測方法 KAPAO。使用一塊 TITAN Xp GPU 實時運算，720p 視頻的推理速度可以達到每秒 35 幀，1080p 的視頻可達到每秒 20 幀。在不使用測試時增強 (TTA) 時，KAPAO 比此前的單階段方法（如 DEKR 和 HigherHRNet）更快、更準確。
在滑鐵盧大學(xué)的這項研究中，研究者提出了一種新的無熱圖關(guān)鍵點檢測方法 KAPAO（Keypoints And Poses As Objects），并將其應(yīng)用于單階段多人人體姿態(tài)估計。其中單個關(guān)鍵點和空間相關(guān)的關(guān)鍵點（即姿態(tài)）集被建模為基于 anchor 的密集檢測框架中的目標。這種把關(guān)鍵點和姿態(tài)視為目標的 KAPAO 方法可以同時檢測關(guān)鍵點目標和姿態(tài)目標，并使用簡單的匹配算法融合結(jié)果。通過檢測姿態(tài)目標，該研究統(tǒng)一了人體檢測和關(guān)鍵點估計，從而形成了一種高效的單階段多人人體姿態(tài)估計方法。
- 論文地址：https://arxiv.org/abs/2111.08557
- GitHub 地址：https://github.com/wmcnally/kapao
- 試玩地址：https://huggingface.co/spaces/akhaliq/Kapao
KAPAO 方法
KAPAO 方法以 YOLO（You Only Look Once）密集檢測框架近期的一種實現(xiàn)為基礎(chǔ)，并包含一個高效的網(wǎng)絡(luò)設(shè)計。此外，由于 KAPAO 不會產(chǎn)生大型且昂貴的熱圖，因此在準確性和推理速度方面，優(yōu)于此前的單階段方法，特別是在不使用 TTA 的情況下。
KAPAO 方法的基本原理如下圖所示：
KAPAO 借助使用多任務(wù)損失函數(shù) L 訓(xùn)練的密集檢測網(wǎng)絡(luò) N ，將 RGB 圖像 I 映射為一個輸出網(wǎng)格
的集合，其中包含預(yù)測的姿態(tài)目標
和關(guān)鍵點目標
。
樣本 target：人體姿態(tài)目標（藍色）、關(guān)鍵點目標（紅色）、無目標（綠色），「?」值不用于損失計算。
下圖展示了在 TITAN Xp GPU 上實時運行 KAPAO-S 進行視頻推理的效果：
KAPAO-S 在 TITAN Xp GPU 上可以實時運行，比本地每秒 25 幀的幀率還要快，不過圖中未顯示面部關(guān)鍵點。
實驗結(jié)果
該研究用實驗表明了 KAPAO 比之前的方法明顯更快、更準確，熱圖后處理對之前的方法影響很大。此外，在不使用測試時增強（test-time augmentation，TTA）的實際設(shè)置中，KAPAO 在準確率 - 速度方面明顯更優(yōu)秀。大型模型 KAPAO-L 在沒有 TTA 的情況下在 Microsoft COCO Keypoints 驗證集上實現(xiàn)了 70.6 AP，并且比準確率低 4.0 AP 的單階段模型還快了 2.5 倍。
圖 1：在沒有 TTA 的情況下，KAPAO 與單階段多人人體姿態(tài)估計 SOTA 方法 DEKR、 HigherHRNet 的準確率 - 速度比較結(jié)果。
該研究在 COCO test-dev 上比較了 KAPAO 與單階段和兩階段方法的準確性，結(jié)果如下表所示。
為了探究 KAPAO 在擁擠場景中的性能，該研究在 CrowdPose 測試集上對幾種模型進行了比較，結(jié)果表明 KAPAO 在存在遮擋的情況下同樣表現(xiàn)出色，在所有指標上超過了所有此前的單階段方法。在分析 APE、APM 和 APH 時，KAPAO 對擁擠場景的優(yōu)勢是顯而易見的。
具體而言，KAPAO融合關(guān)鍵點目標和姿態(tài)目標所帶來的準確率改進如下表4所示：
為了顯示在沒有 TTA 的情況下KAPAO的優(yōu)勢，圖 6 繪制了在 COCO val2017 上，KAPAO-S 對每個關(guān)鍵點類型的融合率：
感興趣的讀者可以閱讀論文原文了解更多細節(jié)。
