譯者 | 張怡

審校 | 梁策 孫淑娟

就像國際汽車工程師學(xué)會(huì)(SAE)對自動(dòng)駕駛汽車分級一樣，為了預(yù)測人工智能系統(tǒng)的成本，給它們分個(gè)“級別”想必也是不錯(cuò)的選擇。采用分級系統(tǒng)可以幫助組織計(jì)劃和準(zhǔn)備AI系統(tǒng)，且隨著時(shí)間的推移，AI系統(tǒng)的復(fù)雜性也會(huì)不斷增加。

Photo by Hitesh Choudhary on Unsplash

設(shè)計(jì)和構(gòu)建人工智能系統(tǒng)不是件容易事。傳統(tǒng)軟件的大部分成本都在部署前的開發(fā)過程中，而AI系統(tǒng)的大部分成本都在部署后。人工智能系統(tǒng)的行為不斷學(xué)習(xí)，且很可能會(huì)從最初的部署中改變。如果不持續(xù)投資數(shù)據(jù)和進(jìn)行參數(shù)調(diào)整，機(jī)器學(xué)習(xí)模型會(huì)隨著時(shí)間的推移而“退化”。設(shè)計(jì)決策直接影響人工智能系統(tǒng)的擴(kuò)展能力，其難點(diǎn)就是理解AI系統(tǒng)如何隨著時(shí)間的推移而發(fā)生變化。

在構(gòu)建AI系統(tǒng)時(shí)，分級可以為不同AI系統(tǒng)的行為提供參考。進(jìn)行分級并根據(jù)級別進(jìn)行權(quán)衡可以幫助簡化部署后的差異。

理解系統(tǒng)可能會(huì)發(fā)生何種行為變化，并將其納入系統(tǒng)設(shè)計(jì)中是非常重要的。以下的分級框架概述了各級系統(tǒng)隨時(shí)間變化的主要差異，我們可以在設(shè)計(jì)和操作系統(tǒng)時(shí)對這些差異加以利用。不同的系統(tǒng)可以處于不同的級別，而對其差異有一個(gè)整體的認(rèn)知可以幫助組織更好的規(guī)劃和執(zhí)行。

系統(tǒng)的復(fù)雜性可以由其輸入(a)、輸出(b)和目標(biāo)(c)的范圍來定義。

AI級別

一般來說，隨著級別的上升，成本也會(huì)增加。比如我們設(shè)想將一個(gè)運(yùn)行在1級的系統(tǒng)提升到2級，但是系統(tǒng)構(gòu)建的復(fù)雜性和成本也會(huì)隨著級別的上升而增加。顯然，我們的新功能應(yīng)該先從一個(gè)系統(tǒng)行為容易理解的“低”級別開始，再逐漸增加級別——隨著級別的增加，系統(tǒng)的失敗案例變得越難理解。

隨著我們從傳統(tǒng)軟件(0級)升級到完全智能軟件(4級)，不同級別的AI系統(tǒng)差異明顯，極大地影響了系統(tǒng)成本。級別4的系統(tǒng)基本上可以自行維護(hù)和改進(jìn)，無需內(nèi)部開發(fā)團(tuán)隊(duì)的任何工作。

升級是需要權(quán)衡的。例如，從1級到2級減少了持續(xù)的數(shù)據(jù)需求和定制工作，但引入了一個(gè)自我強(qiáng)化的偏差問題。選擇升級需要認(rèn)識到新的挑戰(zhàn)，以及在設(shè)計(jì)AI系統(tǒng)時(shí)需要采取那些措施。

在系統(tǒng)升級過程中，其可擴(kuò)展性、通用性、穩(wěn)健性等均發(fā)揮關(guān)鍵作用。在第N級的項(xiàng)目上工作時(shí)，我們應(yīng)該考慮達(dá)到第N+1級的工作成本和收益，同時(shí)應(yīng)該根據(jù)自己的目標(biāo)設(shè)定合適的分級，并意識到何時(shí)需要升級現(xiàn)有的AI系統(tǒng)。

0級：可靠型(傳統(tǒng)型)Deterministic

不需要訓(xùn)練數(shù)據(jù)，不需要測試數(shù)據(jù)，不涉及學(xué)習(xí)的算法處于0級。

0級(計(jì)算機(jī)科學(xué)中的傳統(tǒng)算法)的最大好處是非?？煽?，只要解決了問題就是最優(yōu)解。在某種程度上，很多的算法(比如二分搜索)都是對數(shù)據(jù)的“自適應(yīng)”。我們通常不認(rèn)為排序算法是“學(xué)習(xí)”的。學(xué)習(xí)涉及到記憶——系統(tǒng)在過去學(xué)習(xí)的基礎(chǔ)上改變未來的行為。

然而，有些問題采用預(yù)先指定的算法很難解決。對于那些人類難以詮釋的問題(如語音到文本、翻譯、圖像識別、語言提示等)，它很難執(zhí)行。

示例：

• 用于信用卡驗(yàn)證的Luhn算法
• 基于正則表達(dá)式的系統(tǒng)
• 信息檢索算法，如TFIDF檢索或BM25
• 基于字典的(Dictionary-based)拼寫校正

注意：在某些情況下，可能會(huì)有少量參數(shù)需要調(diào)優(yōu)。例如，ElasticSearch提供了修改BM25參數(shù)的能力(例如一鍵設(shè)置set and forget)。

Level 1：學(xué)習(xí)型Learned

靜態(tài)訓(xùn)練數(shù)據(jù)，靜態(tài)測試數(shù)據(jù)。

您可以在脫機(jī)環(huán)境中訓(xùn)練模型，再將訓(xùn)練好的“固化”的權(quán)重部署到生產(chǎn)系統(tǒng)中。模型可能會(huì)有一個(gè)更新的節(jié)奏，但是模型運(yùn)行的環(huán)境不會(huì)影響模型。

Level 1可以讓你嘗試學(xué)習(xí)和部署任何功能，但訓(xùn)練數(shù)據(jù)是有限的。這是一個(gè)嘗試不同類型解決方案的演練場。此外，對一些常見的問題(如語音識別)，你可以從邊際成本遞減中獲益。

Level 1的缺點(diǎn)是對單個(gè)用例的定制化學(xué)習(xí)：你需要為每個(gè)用例管理訓(xùn)練數(shù)據(jù)，而用例可能會(huì)隨著時(shí)間的推移而改變，因此需要不斷地添加訓(xùn)練數(shù)據(jù)以保持模型的性能。這個(gè)成本是難以承受的。

示例：

• 自定義文本分類模型
• 語音到文本(聲學(xué)模型)

Level 2：自學(xué)習(xí)型Self-learning

動(dòng)態(tài)+靜態(tài)訓(xùn)練數(shù)據(jù)，靜態(tài)測試數(shù)據(jù)。

Level 2是使用由系統(tǒng)生成的訓(xùn)練數(shù)據(jù)對模型進(jìn)行改進(jìn)的系統(tǒng)。在某些情況下，數(shù)據(jù)的生成是獨(dú)立于模型的。所以我們希望隨著時(shí)間的推移以及更多的數(shù)據(jù)加入模型，性能會(huì)增加;在其他情況下，模型干預(yù)會(huì)增強(qiáng)模型偏差，并且隨著時(shí)間的推移，表現(xiàn)會(huì)變得更糟。為了消除模型偏差，我們需要靜態(tài)數(shù)據(jù)集重新評估模型。

這樣來看，Level 2性能似乎可以隨著時(shí)間的推移而自動(dòng)提高。但是如果不加以管理，系統(tǒng)可能會(huì)隨著數(shù)據(jù)的增加變得更糟。因?yàn)楸举|(zhì)上依賴于靜態(tài)數(shù)據(jù)集(一開始生成自己模型的訓(xùn)練數(shù)據(jù))，處于Level 2的系統(tǒng)改進(jìn)能力有限，而要解決這種模型偏差很有挑戰(zhàn)性。

示例：

• Naive垃圾郵件過濾器
• 語音-文本模型(語言模型)

Level 3：自動(dòng)型Autonomous (or self-correcting)

動(dòng)態(tài)訓(xùn)練數(shù)據(jù)，動(dòng)態(tài)測試數(shù)據(jù)。

Level 3系統(tǒng)既能改變?nèi)祟惖男袨?例如建議一個(gè)操作并讓用戶選擇)，又能直接從該用戶行為中學(xué)習(xí)(例如用戶的選擇偏好)。從2級升級到3級意味著系統(tǒng)的可靠性和總體可實(shí)現(xiàn)性能將大幅提高。

相較于Level 2，Level 3，系統(tǒng)可以隨著時(shí)間的推移而改善。當(dāng)然，它也更加復(fù)雜。它可能需要真正驚人的數(shù)據(jù)量，或者非常精心的設(shè)計(jì)，才能比簡單的系統(tǒng)做得更好;但是它適應(yīng)環(huán)境的能力也使測試非常困難，甚至可能出現(xiàn)災(zāi)難性的惡性循環(huán)。例如，測試人員糾正一個(gè)垃圾郵件過濾器——雖然人類只糾正了系統(tǒng)所做的錯(cuò)誤分類，但是系統(tǒng)意識到其所有預(yù)測可能都是錯(cuò)誤的(過于敏感)，并將自己的預(yù)測整個(gè)顛倒過來。

Level 4：智能型Intelligent (or globally optimizing)

動(dòng)態(tài)訓(xùn)練數(shù)據(jù)，動(dòng)態(tài)測試數(shù)據(jù)，動(dòng)態(tài)目標(biāo)。

Level 4是既能與環(huán)境動(dòng)態(tài)交互又能全局優(yōu)化的系統(tǒng)。例如，AutoSuggest模型并不優(yōu)化當(dāng)前方法，而是優(yōu)化一系列事件以達(dá)到最佳的對話框的目標(biāo)。

雖然如何實(shí)現(xiàn)還有漫長的探索之路要走，Level 4的前景確實(shí)一片光明。精準(zhǔn)定位問題，引入獎(jiǎng)勵(lì)與懲罰機(jī)制，評估模型的行為，這些都是重大而艱巨的任務(wù)。

附錄：

原文鏈接：https://www.kdnuggets.com/2022/03/level-system-help-forecast-ai-costs.html

譯者介紹

張怡，51CTO社區(qū)編輯，中級工程師。主要研究人工智能算法實(shí)現(xiàn)以及場景應(yīng)用，對機(jī)器學(xué)習(xí)算法和自動(dòng)控制算法有所了解和掌握，并將持續(xù)關(guān)注國內(nèi)外人工智能技術(shù)的發(fā)展動(dòng)態(tài)，特別是人工智能技術(shù)在智能網(wǎng)聯(lián)汽車、智能家居等領(lǐng)域的具體實(shí)現(xiàn)及其應(yīng)用。