?譯者 | 李睿

審校 | 孫淑娟

在過去幾年，世界的數字化給組織和企業(yè)帶來了獨特的機遇和挑戰(zhàn)。雖然數據的蓬勃發(fā)展為提高決策準確度提供了更多的機會，但現在分析和利用這些信息更加耗時和昂貴。因此，各種規(guī)模的企業(yè)都在部署機器學習(ML)模型，這些模型可以處理大量數據，并識別經常被分析師忽視或耗費不合理時間的模式和相關性。這些模型具有增強決策和推動卓越業(yè)務結果的能力。例如，一些機器學習模型可以對特定產品在下一年的銷售速度做出高度準確的預測，以改進營銷和庫存計劃。其他企業(yè)能夠識別可能導致數百萬美元收入損失的欺詐交易。  

但隨著對機器學習模型的日益依賴，對模型性能的監(jiān)控和對人工智能建立信任的需求也變得更加迫切。如果沒有對機器學習模型監(jiān)控，MLOps和數據科學團隊會面臨以下問題：

• 模型性能不一致。這可能會發(fā)生波動，因為機器學習模型是根據歷史數據訓練的，這些數據可能與它們在生產中看到的真實數據不同。  
• 缺乏控制和可調試性。因為復雜的機器學習系統(tǒng)是不透明的，從業(yè)者可能不太了解機器學習模型，不知道在出現問題時如何修復它。  
• 偏見實例。機器學習模型可能放大它們所訓練的數據中的隱藏偏見，使企業(yè)面臨法律和聲譽風險，并可能給消費者帶來有害的結果。
• 提高機器學習的性能。因為很難理解和跟蹤需要進行哪些改進，所以在初始發(fā)布之后，機器學習模型不會獲得更多的投資。  

MLOps團隊也更有可能對他們的模型缺乏信心，這可能導致在項目上花費更多的時間和更多的錯誤。機器學習模型監(jiān)視使開發(fā)人員能夠在試驗和生產過程中調試模型，以便在問題發(fā)生時捕獲它們。這是獲得可解釋、公平和合乎道德的人工智能解決方案的最有效方式，這在當今世界是至關重要的。假設一家銀行正在使用機器學習系統(tǒng)來批準貸款，他們可能收到客戶投訴，詢問銀行為什么某筆貸款被拒絕，而這家銀行需要負責解釋模型做出這個決定的原因。如果沒有適當的監(jiān)控解決方案，追蹤這一問題的答案幾乎是不可能的。  

無論機器學習模型是負責預測欺詐、批準貸款還是定位廣告，發(fā)生的微小變化都可能導致模型漂移、報告不準確或存在偏見——所有這些都會導致收入損失和影響品牌信譽。  

當今模型監(jiān)視面臨的挑戰(zhàn)

不幸的是，由于當今組織所依賴的機器學習模型種類繁多，數量眾多，因此機器學習模型監(jiān)視變得更加復雜。機器學習模型現在服務于廣泛的用例，例如反洗錢、工作匹配、臨床診斷和監(jiān)視行星。它們也有許多不同的表現形式(表格、時間序列、文本、圖像、視頻和音頻)。雖然這些模型可以處理企業(yè)需要使用的大量數據，但跟蹤它們的難度和成本要高得多。

一些企業(yè)已經部署了傳統(tǒng)的基礎設施監(jiān)控解決方案，旨在支持廣泛的運營可見性，以克服這些挑戰(zhàn)。其他人則嘗試在內部創(chuàng)建自己的工具。在任何一種情況下，這些解決方案通常都不能滿足機器學習系統(tǒng)的獨特需求。與傳統(tǒng)軟件系統(tǒng)不同，機器學習系統(tǒng)的性能是不確定的，這取決于各種因素，例如季節(jié)性、新的用戶行為趨勢，以及通常極高維的上游數據系統(tǒng)。例如，功能完美的廣告模式可能需要在新的假期到來時進行更新。類似地，經過訓練的一個機器學習模型顯示在美國的內容推薦可能不會很好地用于國際用戶注冊。或者，企業(yè)經常面臨無法擴展的問題，由于型號過時，浪費了生產故障排除時間，以及內部工具維護的額外費用。

為了在機器學習模型中啟用可見性和可解釋性，并克服常見的模型監(jiān)視挑戰(zhàn)，企業(yè)需要能夠方便地監(jiān)視、解釋、分析和改進機器學習模型的解決方案，并采用模型性能管理（MPM）。

模型性能管理（MPM）如何解決性能和偏見  

模型性能管理（MPM）是位于機器學習工作流中心的一個集中控制系統(tǒng)，它跟蹤模型生命周期所有階段的性能，并關閉機器學習反饋循環(huán)。采用模型性能管理（MPM），企業(yè)可以通過解釋和根本原因分析來發(fā)現深刻的可操作的見解，同時立即顯示機器學習性能問題，以避免負面的業(yè)務影響。  

模型性能管理（MPM）不斷自動重新評估模型業(yè)務價值和性能，發(fā)布生產中模型性能的警報，并幫助開發(fā)人員在出現偏見的第一個跡象時主動響應。因為模型性能管理（MPM）跟蹤模型從訓練到發(fā)布的行為，它也可以解釋是什么因素導致了某種預測。將模型監(jiān)視與機器學習可觀察性的其他支柱(如可解釋性和模型公平性)結合起來，為機器學習工程師和數據科學家提供了全面的工具包，可以嵌入到他們的機器學習工作流程中，并提供了橫跨模型驗證和監(jiān)視用例的單一控制面板。企業(yè)從模型性能管理（MPM）中受益，不僅因為它能夠提高模型監(jiān)視的效率，還因為可以減少導致代價高昂的監(jiān)管罰款或聲譽損失的偏見實例。      機器學習模型需要在整個生命周期中持續(xù)的模型監(jiān)視和再訓練。模型性能管理（MPM）使開發(fā)人員不僅可以在他們的模型中獲得信心和更高的效率，而且還可以理解和驗證他們的人工智能結果背后的原因和過程。

原文標題：??Solving for ML Model Monitoring Challenges with Model Performance Management (MPM) ??，作者：Krishnaram Kenthapadi?