譯?者 | 李睿

審校 | 孫淑娟

微小的變化可能會(huì)產(chǎn)生巨大的后果。由于客戶和市場(chǎng)的需求和選擇是動(dòng)態(tài)的，因此預(yù)計(jì)軟件將與變化的趨勢(shì)同步發(fā)展。在少數(shù)情況下，后端的更改甚至輕微修改通常會(huì)導(dǎo)致偏離預(yù)期的用途和功能。為了避免軟件中出現(xiàn)此類異常，質(zhì)量保證（QA）專家團(tuán)隊(duì)在回歸測(cè)試工具的幫助下執(zhí)行回歸測(cè)試。

測(cè)試人員團(tuán)隊(duì)?wèi)?yīng)該確保新代碼不會(huì)與舊代碼沖突，并且未更改的代碼繼續(xù)按預(yù)期運(yùn)行。軟件產(chǎn)品一經(jīng)設(shè)計(jì)，就會(huì)經(jīng)常更改，以確保正確結(jié)合復(fù)雜和獨(dú)特的功能。測(cè)試需要確保應(yīng)用程序的早期功能仍然有效，并且其最新的更改沒(méi)有引入新的錯(cuò)誤。  

什么是回歸測(cè)試？  

回歸測(cè)試是一種應(yīng)用程序測(cè)試，用于檢測(cè)軟件在當(dāng)前代碼被修改或更改之后是否仍然可以運(yùn)行。它是軟件開(kāi)發(fā)和測(cè)試生命周期的重要組成部分，允許開(kāi)發(fā)人員不斷改進(jìn)軟件而不會(huì)對(duì)其功能產(chǎn)生不利影響。執(zhí)行這種形式的測(cè)試是為了確保不會(huì)通過(guò)錯(cuò)誤修復(fù)引入最新的問(wèn)題。  

例如，假設(shè)開(kāi)發(fā)人員在某處修改了一些代碼，而現(xiàn)在早期的工作特征不再起作用。以下是其背后的原因：  

（1）開(kāi)發(fā)的代碼包含導(dǎo)致行為變化的缺陷。

（2）無(wú)意中讓代碼中的兩個(gè)不同區(qū)域以從前沒(méi)有的方式相互依賴。

（3）修改的代碼依賴于另一個(gè)“特征”的一部分，該部分也被破壞（這就是檢查工作很重要的原因）。  

回歸測(cè)試的最終目標(biāo)是揭示可能影響軟件功能的任何更改所導(dǎo)致的問(wèn)題。  

為什么需要回歸測(cè)試？  

回歸測(cè)試保證了這些改動(dòng)不會(huì)在當(dāng)前功能中引入新的錯(cuò)誤，這些功能以前運(yùn)行得很好。在很多時(shí)候，當(dāng)前特征本身的必要性會(huì)發(fā)生修改，這可能會(huì)影響其他應(yīng)用程序的功能。在這種情況下，會(huì)針對(duì)其他功能執(zhí)行此類測(cè)試。由于舊庫(kù)被棄用而升級(jí)或更改底層技術(shù)的情況下，也需要進(jìn)行回歸測(cè)試。為了確保這不會(huì)對(duì)功能產(chǎn)生任何影響，軟件測(cè)試人員將執(zhí)行端到端的回歸測(cè)試。  

簡(jiǎn)而言之，回歸測(cè)測(cè)試是在以下幾種情況下進(jìn)行的：  

（1）新增最新功能.  

（2）修改當(dāng)前功能的必要性。  

（3）性能修復(fù)。  

（4）代碼優(yōu)化。  

（5）錯(cuò)誤修復(fù)。  

（6）技術(shù)升級(jí)/變革。  

例如，如果修復(fù)或修改了一些導(dǎo)致用戶配置文件出現(xiàn)問(wèn)題的代碼，則可能是以前運(yùn)行良好網(wǎng)站的另一部分，現(xiàn)在無(wú)法正常運(yùn)行，因?yàn)樾迯?fù)反而造成破壞?；貧w測(cè)試可以幫助避免這種情況。  

回歸測(cè)試的意義

回歸測(cè)試對(duì)于在新添加特征、變更、更改或與新軟件集成之后檢查整個(gè)軟件功能非常重要。這種軟件測(cè)試在將軟件交付給最終用戶之前驗(yàn)證軟件是否按預(yù)期執(zhí)行，它有助于增強(qiáng)用戶體驗(yàn)并獲得用戶信任。  

它既可以自動(dòng)執(zhí)行，也可以人工執(zhí)行。自動(dòng)化測(cè)試用例有助于最大限度地減少整個(gè)項(xiàng)目的時(shí)間、費(fèi)用和資源。回歸測(cè)試還有助于減少項(xiàng)目在將來(lái)的測(cè)試用例。通過(guò)自動(dòng)化回歸測(cè)試，團(tuán)隊(duì)可以專注于軟件開(kāi)發(fā)的其他部分，從而按時(shí)發(fā)布產(chǎn)品。簡(jiǎn)而言之，這種形式的測(cè)試提供了敏捷方法中工作流的穩(wěn)定性和完美的連續(xù)性。它有助于在每個(gè)階段及早發(fā)現(xiàn)錯(cuò)誤或缺陷，從而管理時(shí)間和費(fèi)用。  

回歸測(cè)試的挑戰(zhàn)是什么？  

盡管這種類型的測(cè)試帶來(lái)了巨大的好處，但也存在一些挑戰(zhàn)：  

• 復(fù)雜性——由于其極端的重復(fù)行為，當(dāng)產(chǎn)品從初級(jí)階段構(gòu)建到下一個(gè)階段時(shí)，測(cè)試用例變得非常復(fù)雜。它需要一直測(cè)試舊的測(cè)試用例和新的測(cè)試用例。  
• 時(shí)間——回歸測(cè)試是重復(fù)的，因此冗長(zhǎng)且耗時(shí)。這就使得在交付期限之前執(zhí)行和交付產(chǎn)品成為一項(xiàng)巨大挑戰(zhàn)的原因。  
• 選擇合適的工具——為了成功進(jìn)行這種形式的測(cè)試，選擇最合適的工具至關(guān)重要。否則，將導(dǎo)致花費(fèi)費(fèi)用、時(shí)間和資源。  

為什么自動(dòng)化回歸測(cè)試在敏捷軟件開(kāi)發(fā)方法中至關(guān)重要？  

敏捷方法專注于構(gòu)建優(yōu)質(zhì)產(chǎn)品，從而最大限度地減少與開(kāi)發(fā)相關(guān)的威脅。由于敏捷方法包括反復(fù)發(fā)生的變化，因此擁有一個(gè)回歸自動(dòng)化測(cè)試程序是至關(guān)重要的。  

應(yīng)該在回歸測(cè)試工具中尋找哪些關(guān)鍵特性？  

以下列出了良好的測(cè)試工具必須具備的一些關(guān)鍵特性。  

• 無(wú)故障的腳本生成和維護(hù)  

無(wú)需額外努力就相對(duì)容易地構(gòu)建測(cè)試自動(dòng)化腳本，尤其是在實(shí)踐要求高速度的敏捷交付實(shí)踐時(shí)。在每個(gè)sprint中，都需要新的回歸測(cè)試；但是，如果沒(méi)有完美的回歸測(cè)試工具提供支持，那么隨著被測(cè)應(yīng)用程序的更新，將會(huì)浪費(fèi)大量時(shí)間來(lái)升級(jí)其測(cè)試。開(kāi)發(fā)人員將不得不快速執(zhí)行自動(dòng)化測(cè)試，并且其測(cè)試需要適應(yīng)較小的修改，這樣就不必花費(fèi)額外的時(shí)間來(lái)修改其自動(dòng)化回歸測(cè)試。  

• 可擴(kuò)展性和可重用性  

如果代碼修改影響了正在測(cè)試的應(yīng)用程序，則必須毫不費(fèi)力地處理每個(gè)受影響的測(cè)試，而無(wú)需重寫每個(gè)測(cè)試腳本。而首選的功能測(cè)試工具應(yīng)該允許將測(cè)試實(shí)現(xiàn)模塊化。此外，應(yīng)該構(gòu)建可重用的測(cè)試片段或腳本庫(kù)，以便可以快速生成新的測(cè)試。此外，必須使用數(shù)據(jù)驅(qū)動(dòng)的測(cè)試策略，允許在無(wú)限數(shù)量的場(chǎng)景中使用單個(gè)測(cè)試。  

• 每次構(gòu)建后運(yùn)行回歸測(cè)試  

測(cè)試軟件必須與持續(xù)集成/持續(xù)交付的管道集成，以使功能回歸測(cè)試成為構(gòu)建過(guò)程的一部分。選擇的回歸測(cè)試工具必須毫不費(fèi)力地插入首選的持續(xù)集成（CI）/持續(xù)交付（CD）中，并且足夠活躍以支持智能管道，根據(jù)測(cè)試結(jié)果觸發(fā)活動(dòng)。  

• 描述性和快速報(bào)告  

豐富的錯(cuò)誤消息（在“通過(guò)/失敗”之前）對(duì)于幫助識(shí)別出現(xiàn)錯(cuò)誤的原因非常重要，在理想情況下，這必須包括診斷信息和屏幕截圖。報(bào)告必須包含有關(guān)先前進(jìn)行的測(cè)試的關(guān)鍵信息，以便在正在測(cè)試的用戶故事附近發(fā)現(xiàn)重要的回歸，例如網(wǎng)絡(luò)和性能問(wèn)題，以及視覺(jué)回歸。首選的功能回歸測(cè)試工具必須幫助識(shí)別需要額外測(cè)試覆蓋的地方，以便能夠更加主動(dòng)。  

• 無(wú)限并行執(zhí)行  

憑借當(dāng)前交付實(shí)踐的敏捷性，測(cè)試必須快速執(zhí)行并快速給出結(jié)果。當(dāng)針對(duì)不同的瀏覽器版本、場(chǎng)景和屏幕尺寸運(yùn)行如此多的測(cè)試用例時(shí)，需要的資源數(shù)量會(huì)呈指數(shù)級(jí)增長(zhǎng)。完美的回歸測(cè)試工具將無(wú)限制地按需提供這些資源，因此可以在完成一個(gè)測(cè)試所消耗的時(shí)間內(nèi)執(zhí)行完整的測(cè)試套件。  

• 并行執(zhí)行  

回歸自動(dòng)化測(cè)試工具必須能夠計(jì)劃和安排自動(dòng)化測(cè)試，以便在各種環(huán)境中并行執(zhí)行任意多次，從而節(jié)省在實(shí)施過(guò)程中的時(shí)間。使用其他數(shù)據(jù)集識(shí)別對(duì)不同執(zhí)行環(huán)境敏感的變量至關(guān)重要，這些數(shù)據(jù)集在每個(gè)階段（例如開(kāi)發(fā)、分段、測(cè)試和生產(chǎn)）的不同執(zhí)行環(huán)境中都會(huì)發(fā)生變化。  

• 可擴(kuò)展性和可重用性  

如果代碼修改影響了正在測(cè)試的應(yīng)用程序，必須能夠毫不費(fèi)力地處理所有受影響的測(cè)試，而無(wú)需重寫每個(gè)測(cè)試腳本。首選的回歸測(cè)試工具應(yīng)該能夠使測(cè)試實(shí)現(xiàn)模塊化。必須足夠活躍以生成腳本庫(kù)或可重用的測(cè)試片段，以便可以快速構(gòu)建最新的測(cè)試。開(kāi)發(fā)人員應(yīng)該明智地采用數(shù)據(jù)驅(qū)動(dòng)的測(cè)試策略，這樣就可以在無(wú)限的場(chǎng)景中使用單個(gè)測(cè)試。  

• 合作  

對(duì)于從開(kāi)發(fā)人員到質(zhì)量保證（QA）的各種團(tuán)隊(duì)成員來(lái)說(shuō)，訪問(wèn)測(cè)試和測(cè)試結(jié)果必須沒(méi)有問(wèn)題，以便可以盡快解決和緩解任何公認(rèn)的回歸問(wèn)題。無(wú)論在哪里進(jìn)行團(tuán)隊(duì)合作，還是在Jira、Slack還是儀表板中，都必須能夠訪問(wèn)所報(bào)告的附帶日志的并發(fā)情況。  

2022年智能回歸測(cè)試工具  

回歸測(cè)試如果執(zhí)行得當(dāng)，可以讓軟件開(kāi)發(fā)團(tuán)隊(duì)相信他們的完整應(yīng)用程序在代碼修改后可以有效和智能地運(yùn)行。但是，人工執(zhí)行回歸測(cè)試成本高、耗時(shí)長(zhǎng)，并且難以擴(kuò)展。隨著一些應(yīng)用程序變得越來(lái)越復(fù)雜，各個(gè)團(tuán)隊(duì)最終不得不在回歸測(cè)試中加入額外的資源，雇傭更多的質(zhì)量保證（QA）專家，并選擇能夠在每個(gè)發(fā)布周期完成測(cè)試的有效工具。

然而，選擇合適的回歸測(cè)試工具是很棘手的。本文將分享一些智能回歸測(cè)試工具來(lái)解決這些問(wèn)題：  

• Rainforest QA——這是一種無(wú)代碼自動(dòng)化用戶界面（UI）測(cè)試工具，用于生成模擬用戶與應(yīng)用程序或站點(diǎn)的最終可視層交互方式的回歸測(cè)試。  
• Selenium——Selenium是自動(dòng)化瀏覽器的最智能和最古老的平臺(tái)之一。集成開(kāi)發(fā)環(huán)境是記錄和回放功能。Selenium HQ允許開(kāi)發(fā)人員使用其希望使用的任何語(yǔ)言創(chuàng)建自定義函數(shù)，例如.NET、Java、Python、Java等，可以將其與Selenium合并并編寫。  
• Appium——由于Selenium只將桌面瀏覽器實(shí)現(xiàn)自動(dòng)化，另一方面，Appium改變Selenium以測(cè)試移動(dòng)設(shè)備上的瀏覽器。一般來(lái)說(shuō)，Appium和Selenium有類似的限制。  
• Watir——Ruby中的Web應(yīng)用程序測(cè)試(Watir)是一個(gè)基于Ruby（鏈接到SeleniumWeb Driver的庫(kù)）的免費(fèi)平臺(tái)，但用戶界面比Selenium更友好。就像Appium這樣的一些工具一樣，Watir也遇到了與Selenium類似的幾個(gè)缺點(diǎn)。  
• Micro Focus UFT One——UFT停止自動(dòng)化是一項(xiàng)巨大的功能。對(duì)于新手和非技術(shù)人員來(lái)說(shuō)，它使用起來(lái)很簡(jiǎn)單。
• IBM Rational Functional Tester——它是一種在Linux和Windows OS（操作系統(tǒng)）上運(yùn)行的記錄和回放工具。如果以前使用的是IBM公司的其他幾種業(yè)務(wù)解決方案之一，那么將其服務(wù)保存在一個(gè)地方可能會(huì)有所幫助。
• TestComplete——SmartBear出品的這款令人難以置信的工具提供了記錄和回放以及對(duì)象識(shí)別特征，用于在Python、JavaScript和VBScript中編寫測(cè)試腳本。它們支持在多個(gè)Web、桌面和移動(dòng)平臺(tái)（包括Android和iOS操作系統(tǒng)）上進(jìn)行測(cè)試。  
• RanorexStudio——它結(jié)合了記錄的活動(dòng)以及來(lái)自預(yù)設(shè)列表或存儲(chǔ)庫(kù)的拖放操作來(lái)形成測(cè)試。  
• Subject7——Subject7是一個(gè)基于云的“真正的無(wú)代碼”自動(dòng)化測(cè)試解決方案，它將各種測(cè)試集成在一個(gè)平臺(tái)上，使任何人都可以成為自動(dòng)化專家。易于使用的軟件允許簡(jiǎn)單、快速、復(fù)雜的回歸測(cè)試創(chuàng)作，而無(wú)需編寫單個(gè)代碼和執(zhí)行數(shù)千個(gè)夜間測(cè)試的大規(guī)模執(zhí)行。  
• SoapUI Pro——這種類型的工具，用戶友好且簡(jiǎn)單。SoapUI Pro在應(yīng)用程序編程接口設(shè)計(jì)和編排方面是一個(gè)很棒的工具。此外，它對(duì)于性能和功能測(cè)試至關(guān)重要。  
• SahiPro——這是另一種基于代碼的工具，經(jīng)過(guò)完美設(shè)計(jì)，可使較少或沒(méi)有編碼經(jīng)驗(yàn)的質(zhì)量保證初學(xué)者更容易獲得編碼。
• Eggplant's——這是一個(gè)人工智能驅(qū)動(dòng)的自動(dòng)化測(cè)試，通過(guò)最小化測(cè)試維護(hù)和測(cè)試用例的優(yōu)先級(jí)來(lái)簡(jiǎn)化回歸測(cè)試。  
• QA Madness——它是測(cè)試自動(dòng)化工具和人工測(cè)試服務(wù)之一，這意味著它們會(huì)接管全部或部分測(cè)試。  
• SilkTest——SilkTest是一個(gè)很好的自動(dòng)化測(cè)試工具，支持SAP功能測(cè)試?；_本非常有價(jià)值，可以輕松記錄，然后進(jìn)入并更改它生成的腳本。它有幾個(gè)生成腳本。  
• Qualibrate——利用解決方案的測(cè)試計(jì)劃和測(cè)試執(zhí)行調(diào)度特征，它們非常重要和容易使用。利用SAP解決方案管理器以及它的Qualibrate功能，允許處理每個(gè)測(cè)試，直接從Solution Manager將其帶入Qualibrate。
• PerformanceLab——這種形式的工具專門用于性能測(cè)試，盡管它們也采用著名的工具和編程語(yǔ)言——即Selenium、TestComplete、SoapUI、Appium、RFT、SAPTAO、UIAutomator和QTP/UFT，并開(kāi)發(fā)工具來(lái)使它們使用起來(lái)毫無(wú)問(wèn)題。  
• Telerik Test Studio——Telerik Test Studio是一個(gè)用于桌面、Web和響應(yīng)式應(yīng)用程序的測(cè)試自動(dòng)化平臺(tái)，支持功能性用戶界面、負(fù)載和RESTful API測(cè)試。它可以幫助團(tuán)隊(duì)消除回歸，并確保他們的應(yīng)用程序仍然按照他們?cè)谝肴魏涡薷闹暗姆绞竭\(yùn)行。它帶有獨(dú)立的集成開(kāi)發(fā)環(huán)境和Visual Studio集成。  
• Katalon Studio——它使用Selenium Web Driver編寫測(cè)試，但旨在支持非開(kāi)發(fā)人員和開(kāi)發(fā)人員之間的協(xié)作。  
• Avo Assure——Avo Assure是一種與技術(shù)無(wú)關(guān)的無(wú)代碼自動(dòng)化測(cè)試解決方案，它可以幫助開(kāi)發(fā)人員通過(guò)單擊一些按鈕來(lái)測(cè)試全面的業(yè)務(wù)程序，這使得回歸測(cè)試更快、更直接。

以上總結(jié)了一些頂級(jí)的自動(dòng)化和人工回歸測(cè)試工具表。選擇可靠且高效的回歸測(cè)試工具可能會(huì)讓人望而生畏。由于市場(chǎng)上存在多種選擇，人們很容易對(duì)工具的服務(wù)、功能和便利性感到困惑和不知所措。建議始終根據(jù)團(tuán)隊(duì)的舒適度、打算用于測(cè)試的軟件產(chǎn)品、正在使用的框架和編程語(yǔ)言、其預(yù)算等選擇正確的回歸測(cè)試工具。  

敏捷環(huán)境中回歸測(cè)試的最佳實(shí)踐  

• 不要追求100%自動(dòng)化

無(wú)論測(cè)試基礎(chǔ)設(shè)施有多先進(jìn)，都不可能實(shí)現(xiàn)100%的自動(dòng)化。至少需要編寫測(cè)試腳本，并且測(cè)試人員必須驗(yàn)證結(jié)果。在最好的情況下，可以實(shí)現(xiàn)70%～90%的自動(dòng)化，因?yàn)橐欢〝?shù)量的測(cè)試用例會(huì)導(dǎo)致假陰性/陽(yáng)性，因此不適合回歸測(cè)試。  

• 關(guān)注軟件最脆弱的領(lǐng)域  

大多數(shù)質(zhì)量保證（QA）測(cè)試人員和開(kāi)發(fā)人員對(duì)他們的軟件足夠熟悉，可以發(fā)現(xiàn)最容易受到每個(gè)sprint修改影響的功能/區(qū)域的特性。此外，必須經(jīng)常測(cè)試面向用戶的功能和重要的后端問(wèn)題。如上所述，敏捷開(kāi)發(fā)中回歸測(cè)試的協(xié)作方法有助于實(shí)現(xiàn)這一點(diǎn)，因?yàn)榘ㄩ_(kāi)發(fā)人員。  

• 選擇自動(dòng)化  

自動(dòng)化是加速敏捷sprint回歸測(cè)試的必要條件。從回歸自動(dòng)化回歸測(cè)試腳本開(kāi)始，然后使用每個(gè)新功能對(duì)其進(jìn)行更改。因此，質(zhì)量保證（QA）應(yīng)該專注于在每個(gè)sprint中進(jìn)行增量修改，而不是運(yùn)行測(cè)試。  

• 了解測(cè)試人員的要求  

需要記住的是，質(zhì)量保證（QA）專家將不得不在早期階段投入一些人工測(cè)試工作——研究用戶界面（UI）更改、軟件邏輯、產(chǎn)品流程等。一旦設(shè)計(jì)了軟件并且已經(jīng)執(zhí)行了一些重要的更改，最好引入自動(dòng)回歸測(cè)試。回歸測(cè)試必須穿插人工驗(yàn)證，以檢查假陰性或陽(yáng)性。  

注：根據(jù)對(duì)銀行業(yè)的一項(xiàng)案例研究，回歸控制了高達(dá)60%的錯(cuò)誤修復(fù)時(shí)間（這將被回歸測(cè)試捕獲）和40%的費(fèi)用。  

回歸測(cè)試的優(yōu)點(diǎn)  

回歸測(cè)試不僅可以提高軟件質(zhì)量，還可以降低緩解缺陷的成本和時(shí)間。還包括以下優(yōu)點(diǎn)：  

• 增強(qiáng)用戶體驗(yàn)，而不會(huì)引入意外的不利影響。  
• 在重大更新期間提前暴露和發(fā)現(xiàn)缺陷/錯(cuò)誤有助于減少對(duì)用戶和客戶的影響。  
• 允許軟件開(kāi)發(fā)人員專注于最新的功能，而不是重新處理原有的錯(cuò)誤。  
• 更少的意外威脅?；貧w測(cè)試可以成為風(fēng)險(xiǎn)緩解策略的有效組成部分，可以幫助企業(yè)和開(kāi)發(fā)人員在問(wèn)題和變化成為主要問(wèn)題之前掌握它們。  
• 更好的整體系統(tǒng)性能  

總體而言，回歸測(cè)試是任何軟件開(kāi)發(fā)生命周期（SDLC）中的關(guān)鍵步驟。回歸測(cè)試無(wú)疑具有重要意義，主要是在引入最新特征或?qū)浖a進(jìn)行修改之后。它保證了最少的停機(jī)時(shí)間，并保持低成本?；貧w測(cè)試套件提供應(yīng)用程序的新增強(qiáng)代碼或功能不會(huì)對(duì)應(yīng)用程序的現(xiàn)有質(zhì)量造成意外損失。它可以通過(guò)運(yùn)行代碼更改并嘗試破壞某些應(yīng)用程序來(lái)人工完成，如果需要進(jìn)行大量代碼修改，這可能會(huì)延長(zhǎng)操作時(shí)間。但是，它也可以有效地發(fā)現(xiàn)測(cè)試自動(dòng)化可能無(wú)法捕獲的問(wèn)題。  

即使是回歸自動(dòng)化測(cè)試也有一系列好處，因?yàn)樗试S輕松和快速的測(cè)試，并具有各種好處——包括能夠快速找到錯(cuò)誤/缺陷而無(wú)需人工完成大量工作。然而，由于在虛擬機(jī)上使用不同的瀏覽器代替本地機(jī)器或其他開(kāi)發(fā)人員的機(jī)器，因此存在一些缺點(diǎn)，例如具有復(fù)雜的測(cè)試代碼或發(fā)現(xiàn)假陰性。簡(jiǎn)而言之，功能回歸測(cè)試的主要目標(biāo)是識(shí)別新舊代碼之間的差異，并確保執(zhí)行的修改是否按預(yù)期工作。

原文標(biāo)題：??Regression Testing: Significance, Challenges, Best Practices and Tools???，作者：Niranjan Limbachiya?