大數(shù)據(jù)新范式：MLOps究竟是什么？
本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)。
數(shù)字化將DataOps這一概念引入人們生活的同時，大數(shù)據(jù)正引入一種新的范式——MLOps。鑒于DevOps和DataOps在實踐中越來越多的運用，該項業(yè)務(wù)需要機器學習模型使用過程中的所有參與者一直保持合作與互動，包括業(yè)務(wù)人員、工程師、大數(shù)據(jù)開發(fā)人員(數(shù)據(jù)科學家和機器學習專家)。
MLOps還是一個比較新的概念，但人們對它的需求卻在與日俱增。2018年左右，在谷歌舉辦的一場演講之后，業(yè)內(nèi)專業(yè)人士首次公開談及工業(yè)運行(生產(chǎn))中機器學習生命周期集成化管理的必要性。
將機器學習模型引入實際業(yè)務(wù)這一實踐，并不局限于數(shù)據(jù)準備、開發(fā)、神經(jīng)網(wǎng)絡(luò)或其他機器學習算法的訓練方面。從驗證數(shù)據(jù)集，再到可靠的大數(shù)據(jù)生產(chǎn)環(huán)境下測試和部署數(shù)據(jù)集，產(chǎn)品解決方案的質(zhì)量受到諸多因素的影響。
這意味著，預測或分類的實際結(jié)果不僅取決于數(shù)據(jù)科學家提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)和機器學習方法，還取決于開發(fā)團隊如何實現(xiàn)這一模型，以及管理員如何在集群環(huán)境中部署這一模型。輸入數(shù)據(jù)的質(zhì)量，接收數(shù)據(jù)的來源、渠道和頻率也很重要，這都屬于數(shù)據(jù)工程師的職責范圍。
在機器學習解決方案的開發(fā)、測試、部署和支持過程中，多學科專家在互動中會遇到許多組織難題和技術(shù)障礙，這不僅延長了產(chǎn)品創(chuàng)建的時間，還降低了產(chǎn)品帶給該項業(yè)務(wù)的實際價值。
為了消除這些障礙，MLOps這一概念應(yīng)運而生。與DevOps和DataOps類似，MLOps旨在提高自動化程度和工業(yè)機器學習解決方案的質(zhì)量，同時兼顧監(jiān)管需求和業(yè)務(wù)利益。
因此，MLOps是結(jié)合系統(tǒng)開發(fā)和運營支持(包括集成、測試、發(fā)布、部署、基礎(chǔ)設(shè)施管理等操作)，以實現(xiàn)機器學習系統(tǒng)生命周期復合化和自動化管理的文化理念和應(yīng)用實例。
可以說，MLOps借助敏捷的方法和技術(shù)工具擴展了CRISP-DM方法論(CRISP-DM跨行業(yè)數(shù)據(jù)挖掘標準流程)，從而可以自動執(zhí)行包括數(shù)據(jù)、機器學習模型、代碼和環(huán)境在內(nèi)的操作。
這些工具中包括了Cloudera公司的數(shù)據(jù)科學工作臺——ClouderaData Science Workbench，將MLOps付諸實踐有助于數(shù)據(jù)科學家在CRISP-DM經(jīng)典階段規(guī)避常見陷阱和問題。
MLOps帶給業(yè)務(wù)和數(shù)據(jù)科學的十大好處
實施MLOps帶來的所有好處中，最為突出的是機器學習工業(yè)部署細節(jié)中的敏捷方法：
- 通過可靠且有效的機器學習生命周期管理，減少時間，從而得到高質(zhì)量結(jié)果。
- 持續(xù)開發(fā)(CD)、持續(xù)集成(CI)、持續(xù)訓練(CT)方法和工具保障了工作流程和模型的可重復性。
- 隨時隨地輕松部署高精度機器學習模型。
- 集成管理系統(tǒng)可連續(xù)監(jiān)測機器學習資源。
- 消除組織障礙，匯聚多學科機器學習專家的經(jīng)驗。
因此，使用MLOps可以優(yōu)化以下機器學習操作：
- 統(tǒng)一機器學習模型和關(guān)聯(lián)軟件產(chǎn)品的發(fā)布周期。
- 自動測試機器學習組件，如數(shù)據(jù)驗證、測試機器學習模型本身、及其集成到產(chǎn)品解決方案的過程。
- 在機器學習項目中踐行敏捷原則。
- 在CI、CD、CT系統(tǒng)中支持機器學習模型和數(shù)據(jù)集。
- 使用機器學習模型減輕技術(shù)債。
圖源：Google
值得注意的是，MLOps的實踐應(yīng)該與語言、框架、平臺和基礎(chǔ)設(shè)施無關(guān)。從技術(shù)角度來看，MLOps系統(tǒng)的總體架構(gòu)應(yīng)包括收集和聚合大數(shù)據(jù)平臺，為機器學習建模分析和準備數(shù)據(jù)的應(yīng)用程序，執(zhí)行計算和分析的工具，以及自動移動機器學習模型及其生命周期中關(guān)聯(lián)數(shù)據(jù)、軟件產(chǎn)品的工具。
如此以來，數(shù)據(jù)科學家、數(shù)據(jù)工程師、機器學習專家、大數(shù)據(jù)解決方案的架構(gòu)師和開發(fā)人員、以及使用統(tǒng)一高效管道的DevOps工程師的工作任務(wù)有望實現(xiàn)部分或完全自動化。
