【51CTO.com快譯】機器學(xué)習(xí)模型是為定義的業(yè)務(wù)目標設(shè)計的。機器學(xué)習(xí)模型產(chǎn)品化是指在相關(guān)數(shù)據(jù)集上托管、擴展和運行機器學(xué)習(xí)模型。生產(chǎn)級機器學(xué)習(xí)模型還需要有彈性和靈活性，以適應(yīng)將來的變化和反饋。Forrester最近的一項研究表明，改善客戶體驗、提升盈利能力和增加收入是組織使用機器學(xué)習(xí)項目計劃實現(xiàn)的幾個主要目標。

雖然機器學(xué)習(xí)模型已獲得全世界的贊譽，但很難轉(zhuǎn)化為積極的業(yè)務(wù)效益。處理活躍數(shù)據(jù)并將機器學(xué)習(xí)模型部署到生產(chǎn)環(huán)境時，工程、數(shù)據(jù)和業(yè)務(wù)方面的一大堆問題成為瓶頸。據(jù)調(diào)查，43%的人稱在機器學(xué)習(xí)模型生成和集成方面遇到障礙。確保機器學(xué)習(xí)模型實現(xiàn)企業(yè)預(yù)期的最終目標很重要，由于可靠而廉價的開源基礎(chǔ)設(shè)施，機器學(xué)習(xí)模型在全球組織的采用正以前所未有的速度增長。Gartner預(yù)測，全球40%的領(lǐng)先組織計劃在2020年底之前實際部署AI解決方案。為了解機器學(xué)習(xí)模型產(chǎn)品化方面的常見陷阱，不妨了解組織面臨的五大挑戰(zhàn)。

1. 數(shù)據(jù)的復(fù)雜性

需要約100萬條相關(guān)記錄才能在數(shù)據(jù)上訓(xùn)練機器學(xué)習(xí)模型，這不能是隨隨便便的數(shù)據(jù)。數(shù)據(jù)可行性和可預(yù)測性方面的風(fēng)險浮出水面。評估我們是否有相關(guān)的數(shù)據(jù)集、是否足夠快地獲取這些數(shù)據(jù)集以便進行預(yù)測并非易事。獲取上下文數(shù)據(jù)也是個問題。在百勝餐飲集團(Yum Brands)的一個機器學(xué)習(xí)擴展項目中，該公司的一些產(chǎn)品(如肯德基，奉行新的特許權(quán)加盟計劃)沒有足夠的客戶數(shù)據(jù)。光有數(shù)據(jù)還不夠。大多數(shù)機器學(xué)習(xí)團隊從非數(shù)據(jù)湖方法入手，在傳統(tǒng)數(shù)據(jù)倉庫上訓(xùn)練機器學(xué)習(xí)模型。如果是傳統(tǒng)的數(shù)據(jù)系統(tǒng)，數(shù)據(jù)科學(xué)家常常將80%的時間用于清理和管理數(shù)據(jù)，而不是訓(xùn)練模型。還需要強大的治理系統(tǒng)和數(shù)據(jù)分類，以便數(shù)據(jù)透明地共享并分門別類，從而再次利用。由于數(shù)據(jù)復(fù)雜性，維護和運行機器學(xué)習(xí)模型的成本相對回報會隨著時間的推移而降低。

2. 設(shè)計和部署

一旦數(shù)據(jù)可用，就必須根據(jù)使用場景和未來彈性敲定基礎(chǔ)設(shè)施和技術(shù)堆棧。機器學(xué)習(xí)系統(tǒng)可能很難設(shè)計。機器學(xué)習(xí)領(lǐng)域有眾多技術(shù)可用。模型要取得成功，關(guān)鍵在于選擇每種技術(shù)堆棧時將不同領(lǐng)域的技術(shù)堆棧分別標準化，以便不會加大產(chǎn)品化的難度。比如說，數(shù)據(jù)科學(xué)家可能使用Pandas之類的工具，用Python編代碼。但是這些未必很好地適用于Spark或Pyspark更合適的生產(chǎn)環(huán)境。設(shè)計不當(dāng)?shù)募夹g(shù)解決方案很費錢。然后，生命周期挑戰(zhàn)以及管理和穩(wěn)定生產(chǎn)環(huán)境中的多個模型也變得難以處理。

3. 整合風(fēng)險

機器學(xué)習(xí)模型要取得成功，與不同的數(shù)據(jù)集和建模技術(shù)很好地集成在一起的可擴展生產(chǎn)環(huán)境至關(guān)重要。整合不同的團隊和運營系統(tǒng)總是具有挑戰(zhàn)性。復(fù)雜的代碼庫必須融入到準備部署到生產(chǎn)環(huán)境的結(jié)構(gòu)清晰的系統(tǒng)中。如果沒有將模型部署到生產(chǎn)環(huán)境的標準化流程，團隊會在任何階段停滯不前。不同的團隊需要將工作流程自動化集成到工作流程系統(tǒng)中，并進行測試。如果未在合適的階段測試模型，最后就要修復(fù)整個生態(tài)系統(tǒng)。技術(shù)堆棧必須實現(xiàn)標準化，否則集成可能是場噩夢。集成還是確保機器學(xué)習(xí)實驗框架不是一次性奇跡的關(guān)鍵時刻。否則如果業(yè)務(wù)環(huán)境發(fā)生變化或遭遇災(zāi)難性事件，模型無法提供價值。

4. 測試和模型支持

測試機器學(xué)習(xí)模型很困難，但與生產(chǎn)過程的其他步驟一樣重要，甚至更重要。了解結(jié)果、運行狀況檢查、監(jiān)測模型性能、留意數(shù)據(jù)異常以及重新訓(xùn)練模型一起組成整個產(chǎn)品化周期。即使在運行測試之后，可能仍需要適當(dāng)?shù)臋C器學(xué)習(xí)生命周期管理工具來查找測試中未出現(xiàn)的問題。

5. 分配角色和積極溝通

數(shù)據(jù)科學(xué)、數(shù)據(jù)工程、DevOps及其他相關(guān)團隊之間保持透明的溝通對于機器學(xué)習(xí)模型的成功至關(guān)重要。但分配角色、提供詳細的訪問權(quán)限以及為每個團隊密切關(guān)注很復(fù)雜。緊密的協(xié)作和溝通對于在早期階段識別不同方面的風(fēng)險至關(guān)重要。讓數(shù)據(jù)科學(xué)家深入?yún)⑴c也事關(guān)機器學(xué)習(xí)模型的未來。

除了上述挑戰(zhàn)外，還要留意不可預(yù)見的事件，比如新冠疫情?？蛻舻馁徺I行為突然變化時，過去的解決方案不再適用，缺少充分訓(xùn)練模型的新數(shù)據(jù)就成了障礙?？傊?，擴展機器學(xué)習(xí)模型并不容易。

原文標題：5 Challenges to Scaling Machine Learning Models，作者：Sigmoid Analyitcs

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】