YOLO已經(jīng)悄悄來到v12,首個以Attention為核心的YOLO框架問世
本文由紐約州立大學布法羅分校的田運杰,David Doermann和中國科學院大學的葉齊祥合作完成。田運杰是布法羅大學博士后,David Doermann是布法羅大學教授、IEEE Fellow, 葉齊祥是中國科學院大學教授。三位作者長期從事計算機視覺、機器感知等方向的研究。
YOLO 系列模型的結構創(chuàng)新一直圍繞 CNN 展開,而讓 transformer 具有統(tǒng)治優(yōu)勢的 attention 機制一直不是 YOLO 系列網(wǎng)絡結構改進的重點。這主要的原因是 attention 機制的速度無法滿足 YOLO 實時性的要求。本周三放出的 YOLOv12 著力改變這一現(xiàn)狀并取得具有優(yōu)勢的性能。
- 論文標題:YOLOv12: Attention-Centric Real-Time Object Detectors
- 論文地址:https://arxiv.org/pdf/2502.12524
- 代碼地址:https://github.com/sunsmarterjie/yolov12
介紹
造成 attention(注意力機制)不能作為核心模塊用于 yolo 框架的主要原因在于其本身的低效性,這主要源于兩個因素:(1)attention 的計算復雜度呈二次增長;(2)attention 的內存訪問操作低效(后者是 FlashAttention 主要解決的問題)。在相同的計算預算下,基于 CNN 的架構比基于 attention 的架構快約 2-3 倍,這極大限制了 attention 在 YOLO 系統(tǒng)中的應用,由于 YOLO 體系高度依賴高推理速度。
首先,作者提出了一種簡單而高效的區(qū)域注意力模塊(area attention, A2),該模塊在保持大感受野的同時,以最簡單直接的方式降低了 attention 的計算復雜度,從而提升了計算速度。
其次,作者引入了殘差高效層聚合網(wǎng)絡(R-ELAN),以解決 attention(主要是大規(guī)模模型)帶來的優(yōu)化難題。
R-ELAN 在原始的基礎上進行了兩項改進:1)block 級殘差設計,結合縮放技術以優(yōu)化梯度流動;2)重新設計的特征聚合方法,以提升模型的優(yōu)化效率。
最后,作者針對 YOLO 體系對 attention 進行了一系列架構改進,優(yōu)化了傳統(tǒng)的 attention 主導架構,包括:1)引入 FlashAttention 以解決注意力機制的顯存訪問問題;2)移除位置編碼等設計,使模型更加高效簡潔;3)調整 MLP ratio(從 4 降至 1.2),以平衡注意力機制和前饋網(wǎng)絡的計算開銷,從而提升整體性能;4)減少堆疊塊的深度,以簡化優(yōu)化過程等。
Area Attention
首先介紹 area attention 機制,其目的在于降低傳統(tǒng) attention 的計算代價,同時克服線性注意力和局部注意力在全局依賴性、穩(wěn)定性及感受野方面的局限性。為此,作者提出了一種簡單高效的區(qū)域注意力(A2)模塊。
不同于局部注意力的顯式窗口劃分,A2 采用最簡單的方式將特征圖劃分為縱向或橫向的區(qū)域(每個區(qū)域大小為或
,這僅需簡單的 reshape 操作,避免了額外的復雜計算帶來的開銷,從而提升計算效率。
在實驗中,作者將默認分割數(shù)設為 4,使感受野縮小至原來的
,仍能覆蓋足夠的信息范圍。在計算復雜度方面,A2 將注意力機制的計算量從
降低至
。盡管仍保持二次復雜度,但在 token 數(shù)量 n 不是特別大的情況下(如 YOLO:640x640),此優(yōu)化方案在實際應用中仍足夠高效,滿足了實時推理的需求。最終,實驗表明,A2 僅對性能產(chǎn)生輕微影響,但顯著提升了計算速度,為 YOLO 等對速度要求極高的任務提供了一種更優(yōu)的注意力機制替代方案。
R-ELAN
R-ELAN 的主要動機是優(yōu)化 ELAN 結構,以提升特征聚合效率并解決其帶來的優(yōu)化不穩(wěn)定性問題,尤其是在引入注意力機制后,參數(shù)量較大的模型(如 YOLOv12-L 和 YOLOv12-X)容易發(fā)生梯度阻塞或收斂困難。為此,作者提出了殘差高效層聚合網(wǎng)絡(R-ELAN)。
與原始 ELAN 不同,R-ELAN 在整個 block 內引入從輸入到輸出的殘差連接,并結合縮放因子(默認 0.01),以穩(wěn)定訓練并優(yōu)化梯度流動。
此外,作者重新設計了特征聚合方式,使其采用瓶頸結構(如上圖所示),通過調整通道維度并簡化計算流程,以減少計算成本和顯存占用,同時保持高效的特征融合能力。最終,R-ELAN 顯著提升了模型的優(yōu)化穩(wěn)定性和計算效率,使 YOLOv12 的大規(guī)模模型能夠更好地收斂,并在保證性能的同時提升推理速度。
結構改進
另外,作者還提出一些優(yōu)化技術,使注意力機制更適應實時目標檢測任務,同時降低計算開銷并提升優(yōu)化穩(wěn)定性。
首先,作者保留了 YOLO 主干網(wǎng)絡的分層設計,不同于很多基于 attention 的架構采用的平鋪結構的視覺 Transformer。
此外,作者減少了主干網(wǎng)絡(Backbone)最后階段的堆疊的 block 數(shù)量,僅保留單個 R-ELAN block,以減少計算量并優(yōu)化訓練收斂性。主干網(wǎng)絡的前兩階段繼承自 YOLOv11,未使用 R-ELAN,以保持輕量級設計。
同時,作者對基礎注意力機制進行了一系列優(yōu)化,包括:調整 MLP ratio(從 4 降至 1.2 或 2)以更合理地分配計算資源,用 Conv2d+BN 替換 Linear+LN 以充分利用卷積算子的計算效率,移除位置編碼并引入 7x7 可分離卷積(Position Perceiver) 以幫助區(qū)域注意力感知位置信息。
最終,這些改進提升了模型的優(yōu)化穩(wěn)定性和計算效率,使其更適用于 YOLO 系統(tǒng),同時保持具有競爭力的性能。
實驗結果
YOLOv12 在 COCO 上取得的效果如下表所示:
- N-scale 模型:YOLOv12-N 比 YOLOv6-3.0-N、YOLOv8-N、YOLOv10-N 和 YOLOv11-N 分別提升 3.6%、3.3%、2.1%、1.2%,同時計算量和參數(shù)規(guī)模相近或更少,推理速度達到具有競爭力的 1.64 ms / 圖像。
- S-scale 模型:YOLOv12-S 在 21.4G FLOPs 和 9.3M 參數(shù)的情況下,實現(xiàn) 48.0% mAP,比 YOLOv8-S、YOLOv9-S、YOLOv10-S 和 YOLOv11-S 分別提升 3.0%、1.2%、1.7%、1.1%,計算量相近或更少,并且在推理速度、計算開銷和參數(shù)量方面明顯優(yōu)于 RT-DETR-R18 / RT-DETRv2-R18。
- M-scale 模型:YOLOv12-M 在 67.5G FLOPs 和 20.2M 參數(shù)的情況下,實現(xiàn) 52.5 mAP,推理速度 4.86 ms / 圖像,在各項指標上均優(yōu)于 Gold-YOLO-M、YOLOv8-M、YOLOv9-M、YOLOv10-M、YOLOv11-M 以及 RT-DETR-R34 / RT-DETRv2-R34。
- L-scale 模型:YOLOv12-L 相較于 YOLOv10-L,減少了 31.4G FLOPs 的計算量,同時 mAP 仍優(yōu)于 YOLOv11-L 達 0.4%,計算量和參數(shù)量相近。此外,YOLOv12-L 在推理速度、FLOPs(減少 34.6%)和參數(shù)量(減少 37.1%)方面均優(yōu)于 RT-DETR-R50 / RT-DETRv2-R50。
- X-scale 模型:YOLOv12-X 比 YOLOv10-X 和 YOLOv11-X 分別提升 0.8% 和 0.6%,計算量和參數(shù)量相近,推理速度基本持平。同時,相比 RT-DETR-R101 / RT-DETRv2-R101,YOLOv12-X 計算量減少 23.4%,參數(shù)量減少 22.2%,且推理速度更快。
可視化分析
參數(shù)量 / CPU 速度 - 精度的 Trade-offs 比較:YOLOv12 在參數(shù)量和 CPU 推理速度方面上均實現(xiàn)了突破。如上圖所示,實驗結果顯示,YOLOv12 在準確率 - 參數(shù)量平衡方面優(yōu)于現(xiàn)有方法,甚至超越了參數(shù)量更少的 YOLOv10,證明了其高效性。此外,在 CPU(Intel Core i7-10700K @ 3.80GHz)上的推理速度測試中,YOLOv12 在不同 YOLO 版本中展現(xiàn)出最佳的計算效率。
YOLOv12 熱力圖分析:上圖展示了 YOLOv12 與當前最先進的 YOLOv10 和 YOLOv11 的熱力圖對比。這些熱力圖來自 X-scale 模型主干網(wǎng)絡的第三階段,顯示了模型激活的區(qū)域,從而反映其目標感知能力。結果表明,相較于 YOLOv10 和 YOLOv11,YOLOv12 能夠生成更清晰的目標輪廓和更精確的前景激活,說明其目標感知能力得到了提升。這一改進主要歸因于區(qū)域注意力機制(Area Attention),該機制相比卷積網(wǎng)絡具有更大的感受野,因此在捕捉全局上下文信息方面更具優(yōu)勢,從而實現(xiàn)了更精準的前景激活。作者認為,這一特性使 YOLOv12 在檢測性能上占據(jù)優(yōu)勢。
最后,我們期待 YOLO 社區(qū)能繼續(xù)提出更強大的檢測器,為實時目標檢測任務提供更多選擇。