Transformer模型的時間復雜度主要由其核心模塊自注意力機制和前饋神經(jīng)網(wǎng)絡決定，其中自注意力機制的計算復雜度占主導地位。

本文將從單個矩陣乘法的時間復雜度計算出發(fā)，分析自注意力機制、多頭注意力機制、前饋神經(jīng)網(wǎng)絡的時間復雜度，從而得到整個Transformer模型的時間復雜度，并說明優(yōu)化方法。

1.單個矩陣乘法的時間復雜度

2.自注意力機制的時間復雜度

3.多頭自注意力機制的時間復雜度

4.前饋神經(jīng)網(wǎng)絡的時間復雜度

5.Transformer模型的時間復雜度

6.時間復雜度優(yōu)化

本文轉載自??南夏的算法驛站??，作者：趙南夏