本文和大家重點(diǎn)討論一下Perl多進(jìn)程技術(shù)在自動(dòng)化測試中的應(yīng)用，主要包括Perl多Perl線程介紹，自動(dòng)化測試場景介紹和應(yīng)用Perl多進(jìn)程技術(shù)到自動(dòng)化測試腳本三大部分內(nèi)容，希望通過本文的介紹你對(duì)Perl多線程技術(shù)有深刻的認(rèn)識(shí)。

Perl多進(jìn)程技術(shù)在自動(dòng)化測試中的應(yīng)用

在IT產(chǎn)品系統(tǒng)測試的自動(dòng)化項(xiàng)目中，經(jīng)常有并行處理多個(gè)子任務(wù)的需求，為了提高測試效率，就需要用到Perl多進(jìn)程或者多Perl線程編程。文章介紹了Perl多進(jìn)程的用法和適用場景，以及Perl多進(jìn)程和多Perl線程的關(guān)系。同時(shí)結(jié)合企業(yè)級(jí)IT產(chǎn)品系統(tǒng)測試的自動(dòng)化特點(diǎn)，介紹了Perl多進(jìn)程在這方面的應(yīng)用。

Perl多進(jìn)程

Perl語言是一種非常強(qiáng)大的腳本語言，其廣泛應(yīng)用于系統(tǒng)維護(hù)，CGI（CommonGatewayInterface）編程，數(shù)據(jù)庫編程和自動(dòng)化測試中。

多任務(wù)和并發(fā)處理一度被看作是判定優(yōu)異操作系統(tǒng)的一個(gè)特性；同樣任何優(yōu)秀從而流行的編程語言都會(huì)有并發(fā)的應(yīng)用，而且都有各自的實(shí)現(xiàn)方法。Perl最開始在并發(fā)方面的應(yīng)用就是多進(jìn)程。

Perl多進(jìn)程的用戶接口是fork()函數(shù)以及對(duì)系統(tǒng)fork函數(shù)封裝的一些module。我們?cè)谑褂肞erl語言編程時(shí)，如果一個(gè)任務(wù)的某一個(gè)段可以或者需要并發(fā)很多執(zhí)行，那么我們就會(huì)使用Perl的多進(jìn)程編程，例如同時(shí)向數(shù)據(jù)庫遞交多個(gè)記錄的查詢，同時(shí)完成多個(gè)系統(tǒng)信息的收集等等。

Perl的多進(jìn)程是這樣實(shí)現(xiàn)的：主進(jìn)程每fork一個(gè)子進(jìn)程，會(huì)把當(dāng)前（主進(jìn)程的）內(nèi)存空間的所有變量都復(fù)制一份傳到新的進(jìn)程里面，達(dá)到數(shù)據(jù)共享的目的。此外，主進(jìn)程和子進(jìn)程可以通過信號(hào)、管道等來通信。

在處理并發(fā)的方案中，多進(jìn)程依靠內(nèi)存空間獨(dú)享提供了優(yōu)秀的容錯(cuò)性和健壯性。一個(gè)多進(jìn)程的系統(tǒng)不會(huì)由于其中一個(gè)進(jìn)程的狀態(tài)不良而崩潰，每個(gè)進(jìn)程都相對(duì)獨(dú)立地運(yùn)作，很少會(huì)相互影響。

內(nèi)存空間獨(dú)享也造就了多進(jìn)程不可避免的劣勢：資源負(fù)荷以及通信復(fù)雜，對(duì)于Perl來說，每個(gè)子進(jìn)程都可以看作主進(jìn)程的拷貝，這多少有些內(nèi)存浪費(fèi)，而且主進(jìn)程的關(guān)鍵變量如果是“淺復(fù)制”到子進(jìn)程的話，將會(huì)帶來一些意想不到的錯(cuò)誤。另外，進(jìn)程的創(chuàng)建和回收會(huì)帶來許多額外的負(fù)載，因此應(yīng)當(dāng)盡量避免頻繁地創(chuàng)建進(jìn)程。

多進(jìn)程之間的通信方式有socket，管道，信號(hào)量等。在Linux平臺(tái)上，對(duì)于進(jìn)程間大量信息的交互情況，最常用的是文件；這在用戶空間進(jìn)程和系統(tǒng)內(nèi)核空間進(jìn)程之間的通信中的最為常用。

在談起Perl多進(jìn)程的時(shí)候，不可避免的要說說它與Perl多Perl線程的關(guān)系。

Perl的多Perl線程和多Perl線程的關(guān)系

如果我們需要執(zhí)行一些各異的小任務(wù)，他們可能數(shù)量較多，但生存周期都比較短，或者他們可能共享大量數(shù)據(jù)，只有小部分的變量是自身的。這個(gè)時(shí)候，很自然就想到了多Perl線程。

從Perl5.005開始，多Perl線程的概念被引入Perl語言了；不過僅僅是概念而已。在Perl5.005中，Perl線程模型默認(rèn)共享所有的數(shù)據(jù)，而且數(shù)據(jù)的共享訪問需要明確的同步操作。這個(gè)模型被稱為“5005threads”，其實(shí)就是多進(jìn)程，只不過換了個(gè)“多Perl線程”的概念。

到了Perl5.6，一個(gè)新的Perl線程模型引入了，各個(gè)Perl線程的數(shù)據(jù)默認(rèn)是私有的，而且共享數(shù)據(jù)的訪問需要顯式地調(diào)用相關(guān)的函數(shù)來保證同步。這個(gè)模型稱為“ithreads”。在Perl5.6中，ithreads模型并沒有提供一些API供用戶調(diào)用，僅作為一個(gè)內(nèi)部的API供擴(kuò)展使用。

到了Perl5.8，ithreads模型通過Perl的threads模塊供用戶使用，但是Perl5.8同時(shí)也保留了5005threads模型。這里，用戶可以通過配置來選擇使用哪一種模型。

對(duì)于最新的Perl5.10,5005threads模型就不再使用了，已從Perl解釋器中移除了。所以要使用真正意義的、穩(wěn)定的多Perl線程模塊，建議使用Perl5.10解釋器。2009年3月release的SLES11的安裝包已經(jīng)默認(rèn)使用Perl5.10了。至此，多進(jìn)程和多Perl線程應(yīng)該是區(qū)別開來了。

Perl的threads模塊提供的多Perl線程，應(yīng)用于我們經(jīng)典的多Perl線程編程例如SocketServer編程、硬件驅(qū)動(dòng)或者適配層編程十分有效，然而對(duì)于非Perl線程安全的一些函數(shù)或者模塊調(diào)用就無能為力了，會(huì)導(dǎo)致不可預(yù)知的錯(cuò)誤或者主進(jìn)程的吊死、崩潰。#p#

自動(dòng)化測試場景介紹

很多大型IT公司都以版本控制來發(fā)布一系列的企業(yè)級(jí)系統(tǒng)產(chǎn)品，為此，周期性地更新產(chǎn)品的每個(gè)新版本和已有產(chǎn)品版本間的兼容性和互操作性測試結(jié)果，對(duì)客戶而言，尤為重要。而這類測試由于重復(fù)性強(qiáng)，工作量大，所以經(jīng)常采用自動(dòng)化。下面舉Perl多進(jìn)程中一個(gè)自動(dòng)化測試中的常見場景例子。

假設(shè)有一個(gè)團(tuán)隊(duì)從事企業(yè)級(jí)產(chǎn)品系統(tǒng)之間的兼容性和互操作性測試，需要在以1個(gè)月為周期的時(shí)間內(nèi)完成一組配置的兼容性測試，團(tuán)隊(duì)成員很少，但是負(fù)責(zé)的設(shè)備卻很多，往往每個(gè)人需要負(fù)責(zé)數(shù)十臺(tái)甚至數(shù)百臺(tái)機(jī)器，那么就必須采用多任務(wù)并發(fā)處理的自動(dòng)化測試。該團(tuán)隊(duì)測試存儲(chǔ)網(wǎng)絡(luò)中的服務(wù)器，交換機(jī)和存儲(chǔ)之間的互操作性。服務(wù)器包括很多個(gè)硬件平臺(tái)，操作系統(tǒng)包括Linux，Unix，Windows和VMware等，光纖交換機(jī)、主機(jī)總線適配器卡和存儲(chǔ)產(chǎn)品都涵蓋多個(gè)廠商品牌。這個(gè)團(tuán)隊(duì)就需要建立一個(gè)端到端的自動(dòng)化測試流程來支撐其測試任務(wù)。

下面是一個(gè)典型測試環(huán)境的簡化圖示。

圖1.測試硬件環(huán)境概覽圖

Perl多進(jìn)程中，服務(wù)器有不同CPU架構(gòu)的眾多品牌；它們上面運(yùn)行的測試操作系統(tǒng)有Linux、Windows、VMware和各類虛擬機(jī)。物理層的光纖交換機(jī)（FCPhysicalLayerSwitch）是測試工具儀器，用于控制光纖的鏈路通斷等異常測試。

下面是自動(dòng)化測試環(huán)境框圖。

圖2.自動(dòng)化測試環(huán)境框圖

用一臺(tái)運(yùn)行RedHatEnterpriseLinux系統(tǒng)的xServer作為Testconsole，上面安裝IBMRationalBuildForge用于測試的執(zhí)行和管理。Testconsole通過以太網(wǎng)絡(luò)與各個(gè)server，switch，physical-layerswitch和storage進(jìn)行通信，包括測試腳本的傳送，測試命令的信息交互。

這里說明一個(gè)測試用例，從而講述一個(gè)典型測試過程。“主機(jī)和光纖交換機(jī)之間的光纖斷開測試”：

Testconsole發(fā)命令到所有的主機(jī)，讓每個(gè)主機(jī)發(fā)現(xiàn)存儲(chǔ)磁盤，分區(qū)，格式化文件系統(tǒng)，mount或者分windows盤符，配置IO程序等；然后檢查各個(gè)被測應(yīng)用程序以及系統(tǒng)的運(yùn)行狀態(tài)，把結(jié)果返回Testconsole；
Testconsole發(fā)命令到所有的光纖交換機(jī)，讓每個(gè)光纖交換機(jī)檢查自身當(dāng)前的運(yùn)行狀態(tài)，然后返回結(jié)果到Testconsole；
Testconsole發(fā)命令到所有的存儲(chǔ)，讓每個(gè)存儲(chǔ)機(jī)器檢查自身當(dāng)前的運(yùn)行狀態(tài)，然后返回結(jié)果到Testconsole；
Testconsole在保證所有主機(jī)，交換機(jī)和存儲(chǔ)設(shè)備都進(jìn)入要求的測試狀態(tài)后，開始進(jìn)入測試，否則退出；
Testconsole發(fā)命令讓每個(gè)physical-layerswitch開始進(jìn)行相關(guān)的光纖連接的斷開，然后等待一定的時(shí)間，再合上；
Testconsole發(fā)命令到所有的主機(jī)，檢測它們的狀態(tài)，等待所有的主機(jī)都恢復(fù)正常；
重復(fù)5、6兩步，測試持續(xù)24小時(shí)，完成。
可見，在這樣的自動(dòng)化測試過程中，很多次需要Testconsole和幾十個(gè)或者幾百個(gè)機(jī)器進(jìn)行命令交互，檢查狀態(tài)或者執(zhí)行任務(wù)。這些操作當(dāng)然可以是一個(gè)系統(tǒng)接著一個(gè)系統(tǒng)的執(zhí)行；但是大多數(shù)任務(wù)是可以并發(fā)的，或者是可以同時(shí)進(jìn)行從而提高測試效率的，比如同時(shí)訪問多個(gè)主機(jī)去啟動(dòng)IO程序、檢查機(jī)器狀態(tài)，在登錄存儲(chǔ)上執(zhí)行一個(gè)腳本的同時(shí)在多個(gè)主機(jī)上面執(zhí)行一些應(yīng)用程序，同時(shí)登錄所有的光纖交換機(jī)執(zhí)行一些配置命令等。

另外，Testconsole和被測系統(tǒng)（Server、Switch、Storage等）之間的命令交互操作，需要使用PerlExpect模塊，或其它基于Expect的模塊例如Perl::SSH::Expect，Perl::Telnet::Expect等。很可惜，Expect模塊并不是Perl線程安全的。

顯然，這就需要應(yīng)用Perl的多進(jìn)程技術(shù)到自動(dòng)化測試中。#p#

應(yīng)用Perl多進(jìn)程技術(shù)到自動(dòng)化測試腳本

在自動(dòng)化測試中，利用RationalBuildForge作為測試管理和監(jiān)控工具，90%以上的測試腳本都采用Perl腳本。采用了模塊化編程，并大量使用CPAN提供的module。由于很多module都不是Perl線程安全的，同時(shí)為了提高腳本開發(fā)效率，也會(huì)在一個(gè)腳本中直接調(diào)用另外一個(gè)腳本，所以選擇在自動(dòng)化測試框架中應(yīng)用Perl多進(jìn)程。

自動(dòng)化測試腳本使用多進(jìn)程大致分為兩種情況。一種是Testconsole需要同時(shí)操作十幾個(gè)設(shè)備，例如用于主機(jī)和存儲(chǔ)互連的光纖交換機(jī)，用于光纖物理層斷開測試的交換機(jī)APCON等。這類測試的特點(diǎn)是需要同時(shí)操作10幾個(gè)或者20幾個(gè)的測試對(duì)象，對(duì)它們的操作是配置操作，而且配置腳本都會(huì)成功，主進(jìn)程只需要所有子進(jìn)程執(zhí)行完畢就認(rèn)為所有子任務(wù)已經(jīng)完成，然后可以進(jìn)行后續(xù)的操作。因此采用一種較為簡單的多進(jìn)程編程方式。下面是針對(duì)這種情況的多進(jìn)程處理的代碼示例。

清單1.Perl多進(jìn)程處理的代碼　    
 

our@cmd=("./apcon_2052.exp119.11.217.27A15B15",  
"./apcon_2058.exp119.11.217.65adminteamw0rkA05A06",  
"./apcon_2052.exp119.11.217.27B09D09");  
our$zombies=0;  
our$kid_proc_num=0;  
 
$SIG{CHLD}=sub{$zombies++};  
 
for(my$i=0;$i<@cmd;$i++){  
my$pid=fork();  
if(!defined($pid)){exit1;}  
unless($pid){  
system"$cmd[$i]";  
exit0;  
}  
$kid_proc_num++;  
}  
 
while(1){  
if($zombies>0){  
$zombies=0;  
my$collect;  
while(($collect=waitpid(-1,WNOHANG))>0){  
$kid_proc_num--;  
}  
}  
if($kid_proc_num==0){last;}  
else{next;}  
}  
 

以上的代碼采用多進(jìn)程方式同時(shí)處理了對(duì)3個(gè)測試設(shè)備的配置操作，然后主進(jìn)程等待所有配置操作完成，再進(jìn)行后續(xù)的測試。

另外一種情況較為復(fù)雜，就是經(jīng)常需要針對(duì)數(shù)百個(gè)主機(jī)和存儲(chǔ)進(jìn)行配置、狀態(tài)查詢等，而且配置結(jié)果和查詢狀態(tài)需要返回主進(jìn)程處理，然后根據(jù)結(jié)果數(shù)據(jù)再?zèng)Q定如何繼續(xù)。對(duì)于這種情況，主進(jìn)程需要生成數(shù)百個(gè)子進(jìn)程，而且每個(gè)子進(jìn)程都有大量的信息返回給主進(jìn)程來處理。這樣處理數(shù)百個(gè)子進(jìn)程的生成：由于多進(jìn)程方式占用系統(tǒng)資源較多，因此設(shè)定一個(gè)允許主進(jìn)程同時(shí)運(yùn)行的最多子進(jìn)程數(shù)目，然后在有子進(jìn)程結(jié)束時(shí)，主進(jìn)程再生成新的子進(jìn)程至所有的子任務(wù)完成。這樣處理主進(jìn)程和子進(jìn)程的通信和信息交互：由于測試Perl腳本運(yùn)行平臺(tái)為Linux，它是帶有BSD風(fēng)格的POSIX兼容的系統(tǒng)，會(huì)提供可靠的信號(hào)，所以仍然使用系統(tǒng)提供信號(hào)的來獲取子進(jìn)程結(jié)束的消息；對(duì)于子進(jìn)程的返回信息，采用為每個(gè)子進(jìn)程產(chǎn)生一個(gè)臨時(shí)文件用于存儲(chǔ)返回的所有信息，最后主進(jìn)程來處理這些文件從而獲取每個(gè)子任務(wù)的結(jié)果信息。如下是為這種情況設(shè)計(jì)的多進(jìn)程處理方式的軟件流圖。

圖3.軟件流圖

小結(jié)

根據(jù)常見的設(shè)備系統(tǒng)測試自動(dòng)化平臺(tái)的特點(diǎn)和要求，把Perl的多進(jìn)程技術(shù)應(yīng)用到了測試腳本中，極大地提高了測試效率。

Perl多進(jìn)程已經(jīng)很長的發(fā)展歷史，而且應(yīng)用廣泛，技術(shù)成熟。多進(jìn)程在健壯性和容錯(cuò)性方面表現(xiàn)更好，每個(gè)進(jìn)程都擁有獨(dú)立的內(nèi)存空間，并行的幾個(gè)進(jìn)程一般來說不會(huì)相互干擾；當(dāng)然，相應(yīng)的，多進(jìn)程的系統(tǒng)開銷也比較大，而且進(jìn)程間通信也變得復(fù)雜一些。妥善地處理多進(jìn)程生成和進(jìn)程間的通信，會(huì)很好地改善自動(dòng)化測試的運(yùn)行效率以及穩(wěn)定性。

【編輯推薦】

1. Perl多線程的兩種實(shí)現(xiàn)方式
2. Perl線程的生命周期
3. Perl二維數(shù)組用法全程剖析
4. 追溯Perl線程的歷史
5. 學(xué)習(xí)筆記 深入剖析Perl線程的生命周期