對模型的泛化性能進行評估，不僅需要有效可行的試驗估計方法，還需要具有衡量模型泛化能力的評價標(biāo)準(zhǔn)，即性能度量。且在不同的任務(wù)中對比模型的性能時，使用不同的性能度量往往會導(dǎo)致不同的評判結(jié)果。在分類任務(wù)中，最常用的性能度量有錯誤率、精度、查準(zhǔn)率、查全率、F1分數(shù)及AUC-ROC曲線。

01 | 錯誤率與精度

(1) 錯誤率(error rate)是分類錯誤的樣本數(shù)占樣本總數(shù)（m）的比例。計算公式可表示為：

(2) 精度(accuracy)是分類正確的樣本數(shù)占樣本總數(shù)的比例。計算公式可表示為：

02 | 查準(zhǔn)率與查全率

(1) 二分類混淆矩陣：在二分類問題中，可將樣本根據(jù)其真實類別與模型預(yù)測類別的組合劃分為真正例、假正例、真反例與假反例四種情形。

(2) 查準(zhǔn)率（或準(zhǔn)確率）定義為：在預(yù)測結(jié)果為正例的所有樣例中，預(yù)測正確（真實情況也為正例）的概率。

(3) 查全率（或召回率）定義為：在真實情況為正例的所有樣例中，預(yù)測正確（預(yù)測結(jié)果也為正例）的概率。

(4) 查準(zhǔn)率與查全率是一對矛盾的變量。一般來說，查準(zhǔn)率高時，查全率往往偏低；反之亦然。

(a) 影響兩者大小變化的關(guān)鍵在于FP和FN。

(b) 假設(shè)分類閾值降低，則模型預(yù)測結(jié)果為正例的樣例數(shù)量將會增加（同時，模型預(yù)測結(jié)果為反例的樣例數(shù)量將會減少），此操作保證盡量不遺漏正例，即TP將會增加。

(b) 同時，此操作將會使真實情況為正例，但預(yù)測結(jié)果為反例的情況減少，即FN減少。

(c) 同時，此操作將會使真實情況為反例，但預(yù)測結(jié)果為正例的情況增加，即FP增加。

(d) 綜上所述，在分類閾值降低的情況下將會出現(xiàn)，TP變大、FN變小和FP變大的情況。根據(jù)查全率和查準(zhǔn)率的比值公式可知，二者的比值將會減小。這意味著，查準(zhǔn)率P減小了，而查全率R增大了，即二者并非同時變大或變小，而是一者增大則另一者減小。此即證明查準(zhǔn)率與查全率的矛盾所在。

(5) 高查準(zhǔn)率要求更嚴格的篩選，希望模型在預(yù)測正例時盡量準(zhǔn)確，需設(shè)置較高的分類閾值，如在病情診斷中，醫(yī)生傾向于更嚴格的判斷以避免誤診（高查準(zhǔn)率），但也可能遺漏部分真實患者（低查全率）。

(6) 高查全率需要放寬篩選，希望盡可能捕獲所有正例，需降低分類閾值，以將更多樣例標(biāo)記為正例,例如，在逃犯搜捕中，警方放寬篩選條件以“寧可錯查一千”的策略（高查全率），但會誤傷大量無辜者（低查準(zhǔn)率）。

03 | P-R曲線與平衡點

(1) P-R曲線可視化了不同分類閾值下查準(zhǔn)率與查全率的動態(tài)關(guān)系，為解決二者的矛盾，為模型調(diào)優(yōu)、閾值選擇及場景適配提供了核心工具。

(2) 繪制P-R曲線

(a) 根據(jù)模型預(yù)測結(jié)果對樣例進行排序，排在前面的是模型認為“最可能”是正例的樣本，排在后面的是模型認為“最不可能”是正例的樣本。

(b) 按此順序逐個把樣本作為正例進行預(yù)測（即從大到小將每個樣本的預(yù)測結(jié)果作為分類閾值），則每次可以計算出當(dāng)前的查全率和查準(zhǔn)率。

(c) 最后以查準(zhǔn)率為縱軸、查全率為橫軸作圖，即可得到查準(zhǔn)率-查全率曲線，簡稱P-R曲線。

(3) P-R曲線能直觀地顯示出模型在樣本總體上的查全率、查準(zhǔn)率。

(a) 若一個模型的P-R曲線被另一個模型的P-R曲線完全包裹，則可斷言后者的性能優(yōu)于前者。如上圖中的模型A的性能優(yōu)于模型C。

(b) 若兩個模型的P-R曲線發(fā)生交叉，如上圖中的A和B，則無法直接斷定兩者孰優(yōu)孰劣。一個比較合理的判斷依據(jù)則是比較P-R曲線下面積的大小，能在一定程度上表征模型在查準(zhǔn)率和查全率上取得相對“雙高”的比例，但這個值不容易估算。

(4) 為能綜合考慮查準(zhǔn)率、查全率的性能度量，設(shè)計了“平衡點”（Break-Event Point,BEP）這一度量。

(a) BEP是“查準(zhǔn)率=查全率”時的取值。如上圖中模型C的BEP是0.64。

(b) 故基于BEP的比較，可以認為模型A的性能優(yōu)于模型B。

(c) 但BEP過于簡化，在實際應(yīng)用中具有局限性。

04 | F1度量

(1)為進一步解決查準(zhǔn)率與查全率之間的矛盾，相對于簡潔的BEP度量，F(xiàn)1度量更為常用。F1是基于查準(zhǔn)率和查全率的調(diào)和平均定義的。

(2) 調(diào)和平均數(shù)

本文轉(zhuǎn)載自??南夏的算法驛站??，作者：趙南夏