?譯者 | 朱先忠

審校 | 孫淑娟

簡介

我們正處在人工智能的黃金時代。人工智能方案的采用使得企業(yè)更具創(chuàng)造性、競爭力和快速響應(yīng)能力。軟件即服務(wù)（software-as-a-service，SaaS）模式，加上云技術(shù)的進(jìn)步，使軟件生產(chǎn)和消費(fèi)過程越來越成熟。

普遍存在的一個事實(shí)是，大多數(shù)組織更喜歡“購買”現(xiàn)成的人工智能技術(shù)，而不是“構(gòu)建”自己的技術(shù)。因此，SaaS提供商，如Salesforce、SAP、Oracle等，都先后引入了人工智能平臺功能，構(gòu)建了人工智能即服務(wù)（AI-as-a-Service，AIaaS）模型。誠然，這種發(fā)展趨勢使得企業(yè)更容易采用人工智能方案。

測試技術(shù)，對于一般的質(zhì)量保證（QA），尤其在人工智能平臺的采用中起著至關(guān)重要的作用。而且，在采用人工智能平臺時，測試變得非常復(fù)雜，原因如下：

1. 測試人工智能需要智能測試流程、虛擬化云資源、專業(yè)技能和人工智能工具。
2. 雖然人工智能平臺提供商會頻繁發(fā)布各種版本，但是測試的速度應(yīng)該盡可能確保同樣快。
3.  人工智能產(chǎn)品通常缺乏透明度，無法解釋；因此，很難令人信服。
4. 不僅是人工智能產(chǎn)品，訓(xùn)練模型的質(zhì)量和數(shù)據(jù)的質(zhì)量也同樣重要。然而，一些傳統(tǒng)的驗(yàn)證云資源、算法、接口和用戶配置的測試方法普遍效率低下。這樣一來，對于學(xué)習(xí)、推理、感知、操作等的測試就變得同樣重要。

例如，在一個即插即用人工智能解決方案模型中，人工智能邏輯由軟件供應(yīng)商提供。作為消費(fèi)者的程序員負(fù)責(zé)構(gòu)建接口，提供用于訓(xùn)練邏輯的數(shù)據(jù)，在解決方案上下文中訓(xùn)練邏輯，并將體驗(yàn)擴(kuò)展到最終用戶。

首先，與傳統(tǒng)測試一樣，我們應(yīng)該測試數(shù)據(jù)、算法、集成和用戶體驗(yàn)。其次，為了測試解決方案的功能適合性，應(yīng)該驗(yàn)證訓(xùn)練模型，這將把測試擴(kuò)展到推理、規(guī)劃、學(xué)習(xí)等方面。第三，應(yīng)該開發(fā)驗(yàn)證AI算法本身的方法。最后，人工智能邏輯可能使用的工具，如搜索、優(yōu)化、概率等，也應(yīng)包含在功能驗(yàn)證中。本文中將引入一種關(guān)于人工智能測試框架的實(shí)用觀點(diǎn)。

人工智能平臺方案的核心必要性：持續(xù)測試

通過高度自動化實(shí)現(xiàn)的QA成熟度對于AI平臺的采用至關(guān)重要。隨著企業(yè)對其基礎(chǔ)設(shè)施和工程方法進(jìn)行現(xiàn)代化，發(fā)布周期可能會變得越來越短且高度自動化。持續(xù)集成（CI）技術(shù)已被證明是有效的。當(dāng)代碼一天登錄幾次，然后重新編譯時，它會生成多個QA反饋循環(huán)。因此，要成功應(yīng)用CI，構(gòu)建和部署過程的自動化至關(guān)重要。自動化是CI的基礎(chǔ)，而測試自動化使連續(xù)交付（CD）成為可能?？傊?，CD由CI驅(qū)動。敏捷和DevOps模型的發(fā)展加速了開發(fā)和測試之間的反饋循環(huán)，使持續(xù)測試（CT）、持續(xù)開發(fā)和持續(xù)交付制度化。

在企業(yè)中，數(shù)據(jù)、應(yīng)用程序、基礎(chǔ)設(shè)施等都在不斷變化。同時，SaaS供應(yīng)商不斷升級AI產(chǎn)品，以提高用戶體驗(yàn)和開發(fā)效率。在這種動態(tài)情況下，建立一個持續(xù)的測試生態(tài)系統(tǒng)至關(guān)重要；這樣一個完全自動化的測試環(huán)境不僅可以確認(rèn)不斷變化的企業(yè)IT資產(chǎn)，還可以驗(yàn)證AI產(chǎn)品不斷變化的版本。

歸納來看，建立一個良好的CT生態(tài)系統(tǒng)需要考慮以下因素：

1. 將自動化測試腳本遷移到企業(yè)版本控制工具中。自動化代碼庫就像應(yīng)用程序代碼庫一樣，應(yīng)該駐留在版本控制存儲庫中。通過這種方式，將測試資產(chǎn)與應(yīng)用程序和數(shù)據(jù)資產(chǎn)結(jié)合起來將是有效的。
2. 計(jì)劃將自動化套件與代碼/數(shù)據(jù)構(gòu)建部署工具集成，以支持集中執(zhí)行和報(bào)告。將代碼/數(shù)據(jù)構(gòu)建與其各自的自動化套件保持一致非常重要。當(dāng)然，在每次構(gòu)建過程中，基于工具的自動部署是絕對必要的，以避免人為干預(yù)。
3. 將自動化套件分為多個測試層進(jìn)行，以便在每個檢查點(diǎn)實(shí)現(xiàn)更快的反饋。例如，人工智能健康檢查可以驗(yàn)證在接口和數(shù)據(jù)結(jié)構(gòu)中部署更改后服務(wù)是否正常。人工智能煙霧測試可以驗(yàn)證關(guān)鍵系統(tǒng)功能是否正常運(yùn)行，并且不會出現(xiàn)堵塞缺陷。
4. 測試范圍也要覆蓋訓(xùn)練模型。人工智能測試還應(yīng)該測試訓(xùn)練模型，該模型可以證明解決方案是否學(xué)習(xí)了給定的指令，包括有監(jiān)督和無監(jiān)督的指令。多次重現(xiàn)相同的場景以檢查響應(yīng)是否符合給定的訓(xùn)練是至關(guān)重要的。同樣，作為測試的一部分，建立一個過程來訓(xùn)練關(guān)于故障、異常、錯誤等的解決方案，也是至關(guān)重要的。如果仔細(xì)考慮異常處理，就可以建立容錯能力。
5. 計(jì)劃在整個AI方案周期內(nèi)管理人工智能訓(xùn)練/學(xué)習(xí)。CT相關(guān)的設(shè)置應(yīng)有助于繼續(xù)從測試到生產(chǎn)的學(xué)習(xí)，從而減少對遷移學(xué)習(xí)的擔(dān)憂。
6. 通過智能回歸進(jìn)行優(yōu)化。如果整體回歸的執(zhí)行周期時間明顯較長，CT應(yīng)根據(jù)受嚴(yán)重影響的區(qū)域在運(yùn)行時劃分出一個子集，以便在合理的時間窗口內(nèi)提供反饋。有效地使用ML算法創(chuàng)建概率模型，以便選擇與特定代碼和數(shù)據(jù)構(gòu)建一致的回歸測試，從而幫助高效地優(yōu)化云資源的使用并加快測試速度。
7. 始終定期計(jì)劃進(jìn)行全面的回歸測試。這項(xiàng)工作可以安排到夜間或周末，這取決于其與周期性構(gòu)建頻率的一致性。這是CT生態(tài)系統(tǒng)的最終反饋，其目標(biāo)是通過運(yùn)行并行執(zhí)行的線程或機(jī)器來最小化反饋時間。

當(dāng)測試沒有人工干預(yù)時，故障、錯誤和任何算法異常都會成為人工智能解決方案的發(fā)現(xiàn)來源。同樣，測試期間的實(shí)際使用情況和用戶偏好也成為訓(xùn)練的來源，應(yīng)該在生產(chǎn)中繼續(xù)下去。

確保AIaaS方案中的數(shù)據(jù)可提取

數(shù)據(jù)質(zhì)量是人工智能方案中最重要的成功標(biāo)準(zhǔn)。無論是企業(yè)內(nèi)部還是外部都存在有用的數(shù)據(jù)。提取有用的數(shù)據(jù)并將其提供給AI引擎的能力是高質(zhì)量開發(fā)的要求之一。提取、轉(zhuǎn)換和加載（ETL）是一個傳統(tǒng)術(shù)語，指從各種來源收集數(shù)據(jù)、根據(jù)業(yè)務(wù)規(guī)則轉(zhuǎn)換數(shù)據(jù)并將其加載到目標(biāo)數(shù)據(jù)存儲的數(shù)據(jù)管道。ETL領(lǐng)域已經(jīng)發(fā)展到企業(yè)信息集成（EII）、企業(yè)應(yīng)用集成（EAI）和企業(yè)云集成平臺即服務(wù)（iPaaS）。不管技術(shù)進(jìn)步如何，數(shù)據(jù)保證的需求只會變得更加重要。數(shù)據(jù)保證應(yīng)解決功能測試活動，如Map Reduce流程驗(yàn)證、轉(zhuǎn)換邏輯驗(yàn)證、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)存儲驗(yàn)證等。此外，數(shù)據(jù)保證還應(yīng)解決性能、故障切換和數(shù)據(jù)安全性的非功能方面。

結(jié)構(gòu)化數(shù)據(jù)更易于管理，而源自企業(yè)外部的非結(jié)構(gòu)化數(shù)據(jù)則應(yīng)謹(jǐn)慎處理。流處理原理有助于及早準(zhǔn)備好運(yùn)動中的數(shù)據(jù)；也就是說，通過事件驅(qū)動的處理，一旦從網(wǎng)站、外部應(yīng)用程序、移動設(shè)備、傳感器和其他來源生成或接收到數(shù)據(jù)，就立即對其進(jìn)行處理。此外，通過建立質(zhì)量關(guān)卡的辦法檢查質(zhì)量是絕對必要的。

推特、Instagram、WhatsApp等消息平臺都是受歡迎的數(shù)據(jù)來源。使用這樣的數(shù)據(jù)時，它們通過基于云的消息傳遞框架跨各種技術(shù)連接應(yīng)用程序、服務(wù)和設(shè)備。深度學(xué)習(xí)技術(shù)可以使計(jì)算機(jī)從這些數(shù)據(jù)加載中學(xué)習(xí)。其中一些數(shù)據(jù)需要借助神經(jīng)網(wǎng)絡(luò)解決方案來解決復(fù)雜的信號處理和模式識別問題，包括從語音到文本轉(zhuǎn)錄、從手寫識別到面部識別等諸多領(lǐng)域。因此，應(yīng)建立必要的質(zhì)量關(guān)卡，以測試來自這些平臺的數(shù)據(jù)。

以下是人工智能驅(qū)動的QA項(xiàng)目在設(shè)計(jì)時應(yīng)注意的一些事項(xiàng)。

1. 自動化質(zhì)量關(guān)卡：可以實(shí)施ML算法，根據(jù)歷史和感知標(biāo)準(zhǔn)確定數(shù)據(jù)是否“通過”。
2. 預(yù)測源頭起因：對數(shù)據(jù)缺陷的源頭起因進(jìn)行分類或識別，不僅有助于避免將來出現(xiàn)錯誤，而且有助于不斷提高數(shù)據(jù)質(zhì)量。通過模式和相關(guān)性，測試團(tuán)隊(duì)可以實(shí)現(xiàn)ML算法，將缺陷追溯到源頭起因。這有助于在數(shù)據(jù)進(jìn)入下一階段進(jìn)行自我測試和自我修復(fù)之前自動執(zhí)行補(bǔ)救測試和修復(fù)。
3. 利用預(yù)感知監(jiān)控：ML算法可以搜索數(shù)據(jù)模式中的癥狀和相關(guān)編碼錯誤，例如高內(nèi)存使用率、可能導(dǎo)致中斷的潛在威脅等，從而有助于團(tuán)隊(duì)可以自動實(shí)施糾正步驟。例如，人工智能引擎可以自動加速并行進(jìn)程，以優(yōu)化服務(wù)器消耗。
4. 故障轉(zhuǎn)移：ML算法可以檢測故障并自動恢復(fù)以繼續(xù)處理，并能夠注冊故障以進(jìn)行學(xué)習(xí)。

確保AIaaS方案中的人工智能算法

當(dāng)已知軟件系統(tǒng)的內(nèi)部結(jié)構(gòu)時，開發(fā)測試就很簡單了。然而，在AI平臺解決方案中，AI和ML的“可解釋性”較低，即輸入/輸出映射是唯一已知的元素，開發(fā)人員通常無法查看或理解基礎(chǔ)AI功能（例如預(yù)測）的機(jī)制。盡管傳統(tǒng)的黑盒測試有助于解決輸入/輸出映射問題，但當(dāng)缺乏透明度時，人類將難以信任測試模型。當(dāng)然，人工智能平臺解決方案是一個黑匣子；有一些獨(dú)特的人工智能技術(shù)可以幫助驗(yàn)證人工智能程序的功能；這樣一來，測試就不僅僅是輸入和輸出映射的問題了。出于設(shè)計(jì)考慮，人工智能驅(qū)動的一些黑盒測試技術(shù)包括：

1. 后驗(yàn)預(yù)測檢查（Posterior predictive checks，PPC）模擬擬合模型下的復(fù)制數(shù)據(jù)，然后將其與觀測數(shù)據(jù)進(jìn)行比較。因此，測試可以使用后驗(yàn)預(yù)測來“尋找真實(shí)數(shù)據(jù)和模擬數(shù)據(jù)之間的系統(tǒng)差異”。
2. 優(yōu)化測試用例的遺傳算法。生成測試用例的挑戰(zhàn)之一是找到一組數(shù)據(jù)，這些數(shù)據(jù)在作為被測試軟件的輸入時會導(dǎo)致最高的覆蓋率。如果這個問題得到解決，測試用例就可以得到優(yōu)化。有一些自適應(yīng)啟發(fā)式搜索算法可以模擬執(zhí)行自然進(jìn)化過程中的基本行為，比如選擇、交叉和變異。在使用啟發(fā)式搜索生成測試用例時，有關(guān)測試應(yīng)用程序的反饋信息用于確定測試數(shù)據(jù)是否滿足測試要求。反饋機(jī)制能夠逐漸調(diào)整測試數(shù)據(jù)，直到滿足測試要求。
3. 用于自動生成測試用例的神經(jīng)網(wǎng)絡(luò)。這些是可以獲取、存儲和處理經(jīng)驗(yàn)知識的物理細(xì)胞系統(tǒng)。他們模仿人腦來執(zhí)行學(xué)習(xí)任務(wù)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)用于自動生成測試用例。在該模型中，神經(jīng)網(wǎng)絡(luò)在一組應(yīng)用于AI平臺產(chǎn)品原始版本的測試用例上進(jìn)行訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練僅針對系統(tǒng)的輸入和輸出。然后，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可以用作人工預(yù)言器，用于評估AI平臺產(chǎn)品的新版本和可能存在故障的版本產(chǎn)生的輸出的正確性。
4. 基于模型的回歸測試選擇的模糊邏輯。雖然這些方法在已經(jīng)使用模型驅(qū)動的開發(fā)方法的項(xiàng)目中很有用，但一個關(guān)鍵障礙是模型通常是在高度抽象的級別創(chuàng)建的。它們?nèi)狈υ谀Ｐ秃痛a級測試用例中與覆蓋率相關(guān)的執(zhí)行跟蹤之間建立可追溯性鏈接所需的信息?；谀：壿嫷姆椒捎糜谧詣蛹?xì)化抽象模型，以生成允許識別可追溯性鏈接的詳細(xì)模型。該過程引入了一定程度的不確定性——這種不確定性可通過應(yīng)用基于細(xì)化的模糊邏輯來解決。此方法的邏輯是，根據(jù)與所用細(xì)化算法相關(guān)的概率正確性將測試用例分類為可重新測試的測試用例。

有關(guān)此部分知識更詳細(xì)的內(nèi)容，請參考??《機(jī)器學(xué)習(xí)模型的黑盒測試》??。

確保AIaaS方案中的集成和接口

所有的SaaS解決方案，包括AIaaS方案在內(nèi)，都會帶有一組預(yù)定義的Web服務(wù)。企業(yè)應(yīng)用程序和其他智能資源都可以與這些服務(wù)交互，從而實(shí)現(xiàn)承諾的結(jié)果。如今，Web服務(wù)已經(jīng)發(fā)展到能夠提供平臺獨(dú)立性，即互操作性的水平。這種靈活性的提高使大多數(shù)Web服務(wù)能夠被不同的系統(tǒng)所使用。當(dāng)然，這些接口的復(fù)雜性也相應(yīng)地要求提高測試水平。例如，在一種CI/CD環(huán)境中，在每個構(gòu)建應(yīng)用包中檢查這些接口的兼容性更成為一項(xiàng)關(guān)鍵的任務(wù)。

當(dāng)前，這方面的主要挑戰(zhàn)是實(shí)現(xiàn)虛擬化Web服務(wù)，并驗(yàn)證AI平臺解決方案與應(yīng)用程序或物聯(lián)網(wǎng)接口之間的數(shù)據(jù)流。概括來看，接口/Web服務(wù)測試復(fù)雜的主要原因包括：

1. 沒有可測試的用戶界面，除非它與另一個可能尚未準(zhǔn)備好測試的源已經(jīng)集成到一起。
2. 這些服務(wù)中定義的所有元素都需要驗(yàn)證，無論哪個應(yīng)用程序使用它們或使用頻率如何。
3. 必須驗(yàn)證服務(wù)的基礎(chǔ)安全參數(shù)。
4. 通過不同的通信協(xié)議連接到服務(wù)。
5. 同時調(diào)用服務(wù)的多個通道會導(dǎo)致性能與可伸縮性問題。

于是，測試接口層顯得尤其需要：

1. 模擬組件或應(yīng)用程序行為。人工智能應(yīng)用程序與人、機(jī)器和軟件接口的復(fù)雜性應(yīng)在人工智能測試中模擬，以確保正確性、完整性、一致性和速度。
2. 檢查非標(biāo)準(zhǔn)代碼的使用。使用開源庫和采用真實(shí)世界的應(yīng)用程序可能會將非標(biāo)準(zhǔn)代碼和數(shù)據(jù)帶入企業(yè)IT環(huán)境。因此，這些內(nèi)容都應(yīng)該得到驗(yàn)證。

確保AIaaS方案中的用戶體驗(yàn)

在主要通過遠(yuǎn)程方式工作和生活的新型社會現(xiàn)實(shí)中，客戶體驗(yàn)已成為企業(yè)成功的必要條件。這是人工智能方案中一個更大的目標(biāo)。非功能測試是一種經(jīng)過驗(yàn)證的現(xiàn)象，它通過驗(yàn)證性能、安全性和可訪問性等屬性來提供有意義的客戶體驗(yàn)。一般來說，下一代技術(shù)增加了體驗(yàn)保障的復(fù)雜性。

以下是在整個人工智能測試框架中確保用戶體驗(yàn)的一些重要設(shè)計(jì)考慮。

1. 為體驗(yàn)而設(shè)計(jì)，而不是為體驗(yàn)而測試。企業(yè)人工智能戰(zhàn)略應(yīng)該從最終用戶的角度出發(fā)。確保測試團(tuán)隊(duì)代表實(shí)際客戶是很重要的。盡早讓客戶參與設(shè)計(jì)不僅有助于設(shè)計(jì)，還可以盡早獲得客戶的信任。
2. 通過構(gòu)建測試優(yōu)化模型實(shí)現(xiàn)敏捷性和自動化。從“蜂擁”期的測試周期就應(yīng)該考慮用戶體驗(yàn)的問題，因?yàn)獒槍τ脩趔w驗(yàn)的早期測試將有助于實(shí)現(xiàn)一種構(gòu)建測試優(yōu)化的開發(fā)周期。
3. 采用敏捷方法的持續(xù)安全性至關(guān)重要。讓企業(yè)安全團(tuán)隊(duì)成為敏捷團(tuán)隊(duì)的一部分：1）在測試的“蜂擁”期即擁有并驗(yàn)證組織的威脅模型；2）評估SaaS AI解決方案架構(gòu)可能具有的所有多通道接口的結(jié)構(gòu)漏洞（從假想的黑客的角度）。
4. 速度至關(guān)重要。人工智能數(shù)據(jù)的屬性，如體積、速度、多樣性和可變性，迫切要求進(jìn)行預(yù)處理、并行/分布式處理和/或流處理。性能測試將有助于優(yōu)化分布式處理的設(shè)計(jì)，這是用戶對系統(tǒng)期望的速度所必需的。
5. 文本和語音測試的細(xì)微差別也是很重要的。許多研究調(diào)查表明，對話類人工智能仍然是公司議程的首要議題。隨著增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、邊緣人工智能等新技術(shù)的不斷涌現(xiàn)，測試文本、語音和自然語言處理等要求都應(yīng)該能夠得到解決。
6. 模擬有助于測試極限。檢查用戶場景是體驗(yàn)保證的基礎(chǔ)。說到人工智能，測試異常、錯誤和違規(guī)將有助于預(yù)測系統(tǒng)行為，進(jìn)而幫助我們驗(yàn)證人工智能應(yīng)用程序的錯誤/容錯級別。
7. 信任、透明度和多樣性。驗(yàn)證企業(yè)用戶對人工智能結(jié)果的信任度，驗(yàn)證數(shù)據(jù)源和算法的透明度要求以降低風(fēng)險(xiǎn)為目標(biāo)并增強(qiáng)對人工智能的信心，確保數(shù)據(jù)源和用戶/測試人員的多樣性來檢查人工智能道德及其準(zhǔn)確性，所有這些都至關(guān)重要。為了做到這一點(diǎn)，測試人員不僅應(yīng)該提高領(lǐng)域知識的水平，還應(yīng)該了解大型企業(yè)IT中數(shù)據(jù)、算法和集成過程的技術(shù)訣竅。

結(jié)論

總之，持續(xù)測試是每一家企業(yè)采用人工智能平臺方案的基本要求。所以，我們應(yīng)該采用模塊化方法，完善數(shù)據(jù)、算法、集成和經(jīng)驗(yàn)保障活動的設(shè)計(jì)。這將有助于我們創(chuàng)建一個持續(xù)的測試生態(tài)系統(tǒng)，從而使得企業(yè)IT可以隨時準(zhǔn)備接受內(nèi)部和外部AI組件的頻繁變化。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計(jì)算機(jī)教師，自由編程界老兵一枚。早期專注各種微軟技術(shù)（編著成ASP.NET AJX、Cocos 2d-X相關(guān)三本技術(shù)圖書），近十多年投身于開源世界（熟悉流行全棧Web開發(fā)技術(shù)），了解基于OneNet/AliOS+Arduino/ESP32/樹莓派等物聯(lián)網(wǎng)開發(fā)技術(shù)與Scala+Hadoop+Spark+Flink等大數(shù)據(jù)開發(fā)技術(shù)。

原文標(biāo)題：??Quality Engineering Design for AI Platform Adoption???，作者：Anbu Muppidathi?