[[438855]]

【51CTO.com快譯】隨著對豐富且合規(guī)的數(shù)據(jù)的需求不斷增加，測試數(shù)據(jù)供應(yīng)的壓力必須變得更加自動化、自給自足，并對變化作出反應(yīng)。

如今，任何測試數(shù)據(jù)解決方案都必須能夠以前所未有的速度滿足更大容量、更多種類和更復(fù)雜的數(shù)據(jù)需求。通常這種緊迫的需求并不總是得到企業(yè)的充分理解，可能會產(chǎn)生負(fù)面后果，其中包括：

(1)不斷增長的測試瓶頸。

(2)測試失敗的增加。

(3)整體軟件開發(fā)生命周期 (SDLC)的生產(chǎn)力損失。

(4)不斷增加的基礎(chǔ)設(shè)施成本。

(5)持續(xù)不斷的合規(guī)風(fēng)險。

有許多因素導(dǎo)致本已緊張的測試數(shù)據(jù)服務(wù)壓力增加。本文考慮了增加當(dāng)今測試數(shù)據(jù)需求的頻率、數(shù)量和復(fù)雜性的相關(guān)趨勢。這些新的和持續(xù)的趨勢可以分為五種，而企業(yè)在設(shè)計強(qiáng)大的測試數(shù)據(jù)解決方案時必須考慮以下這些因素：

(1)相互關(guān)聯(lián)的數(shù)據(jù)類型的復(fù)雜性。

(2)系統(tǒng)、環(huán)境和生產(chǎn)數(shù)據(jù)變化的速度和幅度。

(3)測試和開發(fā)之間更大程度的并行化。

(4)在測試中采用自動化以及“數(shù)據(jù)請求者”的性質(zhì)不斷變化。

(5)不斷變化的合規(guī)要求。

這些相關(guān)因素對軟件交付速度和質(zhì)量構(gòu)成的潛在風(fēng)險要求超越過時的測試數(shù)據(jù)“供應(yīng)”實踐。它需要采用一個自動化的解決方案，能夠即時滿足新的和不斷發(fā)展的測試數(shù)據(jù)請求。這種并行團(tuán)隊、測試和框架按需自備數(shù)據(jù)的能力是測試數(shù)據(jù)管理(TDM)和測試數(shù)據(jù)自動化(TDA)之間的主要區(qū)別。

首先，需要了解一些給已經(jīng)很緊張的測試數(shù)據(jù)供應(yīng)服務(wù)增加壓力的因素。

1.相關(guān)數(shù)據(jù)源的復(fù)雜性

如今的測試數(shù)據(jù)解決方案無法將孤立的數(shù)據(jù)填充到數(shù)量有限的數(shù)據(jù)庫和文件類型中。與其相反，測試和開發(fā)需要豐富且合規(guī)的數(shù)據(jù)，這些數(shù)據(jù)始終涵蓋眾多傳統(tǒng)技術(shù)和尖端技術(shù)。

這種集成的、相互關(guān)聯(lián)的數(shù)據(jù)是集成和端到端測試所必需的，但會顯著地增加測試所需數(shù)據(jù)的復(fù)雜性。企業(yè)軟件和IT的一系列趨勢導(dǎo)致當(dāng)今企業(yè)使用的數(shù)據(jù)類型激增。它們包括：

(1)正在從傳統(tǒng)基礎(chǔ)設(shè)施轉(zhuǎn)向基于網(wǎng)絡(luò)和云計算的基礎(chǔ)設(shè)施。

(2)大數(shù)據(jù)和人工智能的出現(xiàn)，以及相關(guān)的數(shù)據(jù)存儲、分析和處理技術(shù)。這通常包括開源技術(shù)，如Apache Hadoop、Spark、Kafka和Solr。

(3)采用新的數(shù)據(jù)庫和文件類型。這包括像Neo4j這樣的圖形數(shù)據(jù)庫，以及采用近年來出現(xiàn)的數(shù)據(jù)庫，例如MariaDB和Firebird。

(4)API和消息層在當(dāng)今至關(guān)重要。這導(dǎo)致需要創(chuàng)建消息數(shù)據(jù)，例如XML文件，以及行業(yè)特定的格式和標(biāo)準(zhǔn)。

(5)商業(yè)智能技術(shù)的不斷演進(jìn)。

(6)微服務(wù)的采用。

雖然企業(yè)不斷采用新技術(shù)，但這些新興數(shù)據(jù)類型并不能完全替代現(xiàn)有的遺留組件。遷移需要時間，很少有企業(yè)能夠一次性替換其技術(shù)堆棧的所有元素。

因此，在企業(yè)的不同部分中發(fā)現(xiàn)混合使用的新舊數(shù)據(jù)類型是很常見的。例如，企業(yè)的不同部分可能使用現(xiàn)代的、基于云計算的技術(shù)，而其他部分則使用存儲在大型機(jī)和中端系統(tǒng)上的專有數(shù)據(jù)類型。新舊數(shù)據(jù)通常必須使用當(dāng)今可用的接口范圍進(jìn)行交互和集成：當(dāng)今的測試需要跨越多種技術(shù)的數(shù)據(jù)的集成組合。

因此，任何測試數(shù)據(jù)解決方案通常都必須能夠為比以往更加多樣化的技術(shù)分析、操作和創(chuàng)建集成數(shù)據(jù)。它應(yīng)該配備廣泛且可擴(kuò)展的連接器，并且必須能夠在不同的文件、數(shù)據(jù)庫和應(yīng)用程序之間協(xié)同創(chuàng)建集成數(shù)據(jù)。

數(shù)據(jù)類型的多樣性和復(fù)雜性增加了當(dāng)今數(shù)據(jù)請求的復(fù)雜性，因為測試人員和開發(fā)人員需要跨各種技術(shù)無縫鏈接的集成數(shù)據(jù)。與此同時，數(shù)據(jù)請求的速度和演變正在增長，提高了當(dāng)今數(shù)據(jù)請求的速度和多樣性。

2.迭代交付、敏捷軟件開發(fā)和持續(xù)集成(CI)/持續(xù)交付(CD)

軟件交付的幾個趨勢增加了測試和開發(fā)所需數(shù)據(jù)的變化率，這增加了測試數(shù)據(jù)供應(yīng)的壓力。這些趨勢加快了系統(tǒng)、環(huán)境和生產(chǎn)行為變化的速度和幅度，需要新的和日益多樣化的測試數(shù)據(jù)。這些措施包括：

(1)迭代交付的興起，新版本和更新在幾天或幾周內(nèi)獲得，而不是幾個月或幾年。

(2)采用敏捷軟件開發(fā)實踐，強(qiáng)調(diào)增量更改和并行化。

(3)在DevOps管道和持續(xù)集成(CI)/持續(xù)交付(CD)中增加自動化和新技術(shù)，使快速變化能夠持續(xù)開發(fā)并集成到現(xiàn)有系統(tǒng)中。

每次快速更改都會使現(xiàn)有數(shù)據(jù)經(jīng)常變得過時?，F(xiàn)有數(shù)據(jù)可能與最新的系統(tǒng)邏輯和數(shù)據(jù)結(jié)構(gòu)不匹配。與此同時，由于歷史數(shù)據(jù)缺乏測試新邏輯或更新邏輯所需的數(shù)據(jù)組合，因此覆蓋范圍出現(xiàn)了差距。雖然測試覆蓋率的差距會導(dǎo)致錯誤，但不一致或無效的組合會導(dǎo)致測試失敗和出現(xiàn)瓶頸。

上面列出的三個措施也增加了數(shù)據(jù)請求的速度和數(shù)量，因為每個措施都強(qiáng)調(diào)并行工作方式。測試數(shù)據(jù)解決方案不能再為有限數(shù)量的團(tuán)隊提供相對靜態(tài)的數(shù)據(jù)集。與其相反，必須向眾多跨職能團(tuán)隊和自動化框架提供最新數(shù)據(jù)：如今，測試數(shù)據(jù)通常必須同時提供給眾多團(tuán)隊和框架。

當(dāng)今的任何測試數(shù)據(jù)解決方案通常都必須能夠以并行化開發(fā)團(tuán)隊開發(fā)復(fù)雜系統(tǒng)的速度提供最新和完整的數(shù)據(jù)。而測試和開發(fā)需要不斷變化的數(shù)據(jù)集，這些數(shù)據(jù)集可以并行和動態(tài)地使用。此外，按需數(shù)據(jù)必須完全版本化，能夠測試版本化系統(tǒng)組件的不同組合。

3.容器化、源代碼控制和易于重用的代碼

如今對復(fù)雜系統(tǒng)改變的幅度可能比以往任何時候都大。這對緩慢和過度的數(shù)據(jù)供應(yīng)提出了挑戰(zhàn)，因為大量數(shù)據(jù)可能需要根據(jù)快速的系統(tǒng)變化進(jìn)行更新或替換。

開發(fā)中的一系列實踐增加了系統(tǒng)更改的速度和規(guī)模。容器化、源代碼控制和易于重用的代碼庫的采用使開發(fā)人員能夠以閃電般的速度翻錄和替換代碼。他們可以輕松部署新的工具和技術(shù)，開發(fā)出由快速變化的組件構(gòu)成的錯綜復(fù)雜的系統(tǒng)。

當(dāng)今的測試數(shù)據(jù)解決方案必須能夠根據(jù)這些變化對相關(guān)系統(tǒng)組件的巨大影響提供一致的測試數(shù)據(jù)的旅程。數(shù)據(jù)分配必須按照開發(fā)人員對可重用和容器化組件進(jìn)行細(xì)分和更改的速度進(jìn)行。

這通常需要更緊密地耦合系統(tǒng)需求、測試和代碼，根據(jù)整個軟件開發(fā)生命周期 (SDLC)的變化快速確定需要哪些數(shù)據(jù)。否則，由于測試人員和開發(fā)人員缺乏在迭代中交付的經(jīng)過嚴(yán)格測試軟件所需的最新數(shù)據(jù)，就會出現(xiàn)測試瓶頸和錯誤。

4.測試自動化

測試自動化是另一個關(guān)鍵發(fā)展，它增加了測試和開發(fā)中對最新數(shù)據(jù)的持續(xù)需求。

測試執(zhí)行自動化和持續(xù)集成(CI)/持續(xù)交付(CD)顯著地提高了數(shù)據(jù)請求的速度和數(shù)量。數(shù)據(jù)處理的框架比測試人員更快地讀取數(shù)據(jù)，通常在夜間和周末運(yùn)行大型測試套件。此外，相同的測試通常是并行化的，從而增加了對數(shù)據(jù)的需求。

除了提高需要測試數(shù)據(jù)的速度之外，自動化測試進(jìn)一步加劇了與不準(zhǔn)確數(shù)據(jù)供應(yīng)相關(guān)的挑戰(zhàn)。而腳本測試不如測試人員寬容，如果數(shù)據(jù)不完整、無效或丟失，他們可以調(diào)整測試。如果數(shù)據(jù)無效、過時或丟失，自動化測試可能會終止。這增加了測試和開發(fā)的瓶頸，因為在自動化測試期間bug識別的錯誤需要調(diào)查。

測試自動化已經(jīng)改變了當(dāng)今測試數(shù)據(jù)請求者的性質(zhì)​​。當(dāng)今有效的測試數(shù)據(jù)解決方案通常應(yīng)該為測試人員和開發(fā)人員以及測試自動化框架和持續(xù)集成(CI)/持續(xù)交付(CD)管道等技術(shù)提供按需訪問的功能。人員和程序都應(yīng)該能夠即時參數(shù)化和觸發(fā)測試數(shù)據(jù)作業(yè)。這是傳統(tǒng)測試數(shù)據(jù)管理和測試數(shù)據(jù)自動化之間的另一個主要區(qū)別。

5.不斷發(fā)展的數(shù)據(jù)隱私要求

使測試數(shù)據(jù)“最佳實踐”變得復(fù)雜并要求修訂的發(fā)展在于數(shù)據(jù)隱私要求和法規(guī)。

歐盟GDPR法規(guī)已經(jīng)引導(dǎo)企業(yè)禁止在測試中使用原始生產(chǎn)數(shù)據(jù)，因為他們必須遵守更嚴(yán)格的數(shù)據(jù)處理規(guī)則。這些規(guī)則通常會限制數(shù)據(jù)的使用方式、使用對象以及使用時間。

歐盟GDPR等立法也對傳統(tǒng)測試數(shù)據(jù)優(yōu)秀實踐提出了特殊的挑戰(zhàn)。如今的企業(yè)可能需要立即定位、復(fù)制和刪除個人數(shù)據(jù)的每個副本。這通常需要對數(shù)據(jù)在測試和開發(fā)中的使用方式進(jìn)行更嚴(yán)格的控制和監(jiān)督，以及實施在非生產(chǎn)環(huán)境中定位數(shù)據(jù)的快速可靠機(jī)制。通常情況下，一種更安全、更簡單的方法是避免將敏感信息復(fù)制到安全性較低、控制較少的測試和開發(fā)環(huán)境中。

雖然歐盟GDPR法規(guī)在許多方面是數(shù)據(jù)隱私的分水嶺，但它并不是孤立的發(fā)展。它反映了更廣泛的全球法規(guī)發(fā)展方向，許多國家已經(jīng)批準(zhǔn)了與歐盟GDPR類似的法規(guī)。這些國家的法規(guī)可能會對測試中的數(shù)據(jù)使用產(chǎn)生類似的影響。其中包括英國GDPR、加拿大CCPA、印度PDPB和巴西LGPD等法規(guī)。

不斷變化的數(shù)據(jù)隱私要求會增加管理測試數(shù)據(jù)的復(fù)雜性，以及對非生產(chǎn)環(huán)境中數(shù)據(jù)所需的總體控制程度。已經(jīng)在努力向測試人員和開發(fā)人員提供足夠種類和數(shù)量的數(shù)據(jù)的企業(yè)可能并不會接受無法提供數(shù)據(jù)的想法，更不用說必須刪除和限制現(xiàn)有測試數(shù)據(jù)。然而，違規(guī)的后果可能非常嚴(yán)重。

測試數(shù)據(jù)自動化和人工智能的前景

許多新的和持續(xù)的趨勢意味著當(dāng)今在測試和開發(fā)中需要更多數(shù)量和更多種類的數(shù)據(jù)。本文只確定了其中一些因素，其中包括：

(1)相互關(guān)聯(lián)的數(shù)據(jù)源和目標(biāo)的出現(xiàn)，需要一致且錯綜復(fù)雜的數(shù)據(jù)。

(2)系統(tǒng)、環(huán)境和生產(chǎn)變化的速度和幅度加大，需要新的和不斷發(fā)展的數(shù)據(jù)用于測試和開發(fā)。

(3)跨測試和開發(fā)的更大程度的并行化，需要按需和并行地提供大量數(shù)據(jù)。

(4)在測試中采用自動化技術(shù)，改變了“數(shù)據(jù)請求者”的性質(zhì)，需要更多數(shù)量和種類的準(zhǔn)確數(shù)據(jù)。

(5)不斷發(fā)展的數(shù)據(jù)隱私法規(guī)，要求加強(qiáng)對敏感數(shù)據(jù)在非生產(chǎn)環(huán)境中使用的方式和時間進(jìn)行管理。

這些趨勢增加了本已緊張的測試數(shù)據(jù)供應(yīng)服務(wù)的壓力，增加了延遲，并降低了測試和開發(fā)的質(zhì)量。因此，這需要修訂測試數(shù)據(jù)的優(yōu)秀實踐。

原文標(biāo)題：5 Trends Increasing the Pressure on Test Data Provisioning，作者：Thomas Pryce

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】