物聯(lián)網(wǎng)產(chǎn)品測試框架——物聯(lián)網(wǎng)測試地圖
物聯(lián)網(wǎng)的出現(xiàn)，給測試帶來了很多有意思的挑戰(zhàn)，使得眾多QA開始重新思考傳統(tǒng)的測試過程。
例如，我最近測試了一個產(chǎn)品，在這個產(chǎn)品中的移動APP會跟連接的機(jī)器產(chǎn)生會話。這兩個設(shè)備各種各樣的狀態(tài)給測試場景的設(shè)計帶來了特別大的挑戰(zhàn)。下面給大家介紹一個很有用的物聯(lián)網(wǎng)產(chǎn)品測試框架——物聯(lián)網(wǎng)測試地圖，它可以幫助我們管理物聯(lián)網(wǎng)設(shè)備多種排列的復(fù)雜狀態(tài)。
物聯(lián)網(wǎng)測試因素
當(dāng)我們測試簡單的web應(yīng)用時，通常要考慮的狀態(tài)有：
- 服務(wù)器宕機(jī)
- HTTP請求超時
- 網(wǎng)速慢
- 授權(quán)和認(rèn)證錯誤
測試任何互聯(lián)網(wǎng)應(yīng)用的時候，需要警惕這四種狀態(tài)。對于移動應(yīng)用，操作的是移動環(huán)境，需要關(guān)注額外的幾種情況：
- 離線模式
- 在線模式
- 殺掉Activity
- 后臺行為
- 語言
- 地理位置
我們再看“連接的機(jī)器”所帶來的狀態(tài)多樣性，通常還有：
- 機(jī)器WiFi斷開
- 機(jī)器WiFi連接
- 機(jī)器繁忙
- 機(jī)器休眠
這意味著即使只有上述給定的狀態(tài)集，整個系統(tǒng)在任何時間點上可能會有96(4x6x4)種狀態(tài)。
由于系統(tǒng)中狀態(tài)轉(zhuǎn)換會引入附加的約束，這些狀態(tài)都不能當(dāng)做獨立的實體。例如，狀態(tài)從“離線”變成“在線”很可能觸發(fā)一系列的事件。
上述因素還僅僅是冰山一角。隨著對規(guī)范的深入了解，把不同的狀態(tài)跟邏輯場景結(jié)合起來將會更加的復(fù)雜。
對于靜態(tài)系統(tǒng)的可變數(shù)據(jù)集，已有的web測試技術(shù)可以很好的用來抽取測試場景，比如all pairs(開源的配對測試工具)、等價類劃分、邊界值分析法等。這些技術(shù)通過淘汰的邏輯來優(yōu)化測試數(shù)據(jù)集。
例如，all pairs技術(shù)會淘汰重復(fù)的數(shù)據(jù)配對組合。但是，對系統(tǒng)的可變狀態(tài)設(shè)計測試場景時，這些技術(shù)是不可靠的，廢棄的系統(tǒng)狀態(tài)會使得系統(tǒng)通訊不暢。當(dāng)然，這些技術(shù)對于物聯(lián)網(wǎng)系統(tǒng)中的單個單元還是很適用的。
因此，非常有必要搞一個物聯(lián)網(wǎng)測試地圖。
可視化地圖
大家肯定都在地理課上看過地圖。但我這里所說的地圖是針對測試場景的，它列出所有潛在的系統(tǒng)因素，在測試某個特性時可以從中抽取必要的測試場景。
產(chǎn)品的每個系統(tǒng)的n種狀態(tài)在同一個可轉(zhuǎn)動的圓環(huán)中列出，邏輯上相鄰的狀態(tài)在環(huán)中相互挨著。非功能需求(NFR)在測試復(fù)雜集成的時候很容易被忽略掉，于是把它們在一個環(huán)中單獨列出。
下圖就是我所說的物聯(lián)網(wǎng)測試地圖：
下面以一個例子介紹地圖的使用場景，該例子僅涉及移動設(shè)備和機(jī)器交互部分，需要關(guān)注的環(huán)是設(shè)備、機(jī)器和網(wǎng)絡(luò)。
把移動設(shè)備和機(jī)器固定在WiFi連接的狀態(tài)，轉(zhuǎn)動網(wǎng)絡(luò)環(huán)，可以得到下面這些場景：
- 未授權(quán)用戶嘗試訪問機(jī)器會在App上觸發(fā)“訪問被拒絕”的錯誤消息
- 服務(wù)器宕機(jī)和服務(wù)器錯誤會觸發(fā)相應(yīng)的業(yè)務(wù)錯誤消息——“程序出錯，請稍后重試”
- 響應(yīng)超時可能有兩種情形：重發(fā)同一個請求并顯示“正在加載”圖示，或者顯示上面那樣相似的錯誤消息
- 非法請求會觸發(fā)消息“請更新你的App”
繼續(xù)保持移動設(shè)備的WiFi為連接狀態(tài)，轉(zhuǎn)動機(jī)器環(huán)：
- 當(dāng)機(jī)器是離線模式的時候，App應(yīng)該顯示“請檢查機(jī)器的網(wǎng)絡(luò)連接”
- 當(dāng)機(jī)器繁忙的時候，彈出警告“機(jī)器繁忙，無法完成請求”
- 當(dāng)機(jī)器休眠或者在另一個網(wǎng)絡(luò)上的時候，應(yīng)該顯示“沒找到機(jī)器”等類似的消息
- 然后，機(jī)器調(diào)到正確的網(wǎng)絡(luò)，應(yīng)該恢復(fù)移動設(shè)備和機(jī)器的連接
切換機(jī)器環(huán)為WiFi連接，轉(zhuǎn)動移動設(shè)備環(huán)：
- 當(dāng)移動設(shè)備離線時，應(yīng)該彈出對應(yīng)的消息或者禁掉操作按鈕
- 當(dāng)移動設(shè)備恢復(fù)在線模式時，App應(yīng)該發(fā)送相應(yīng)的請求去連接機(jī)器
- 當(dāng)移動設(shè)備的網(wǎng)絡(luò)從WiFi切換到3G，應(yīng)該有什么樣的行為?
- 當(dāng)用戶正在試圖連接物聯(lián)網(wǎng)設(shè)備的時候突然接到電話，將App置于后臺運行，這時候還能收到完整的請求還是需要從頭開始發(fā)送請求?
- 安卓設(shè)備殺掉一個在后臺運行了一段時間的App，用戶的***屏幕狀態(tài)還會保存嗎?
- 有本地化需求的App要在每個場景層面進(jìn)行驗證
就這樣，多次旋轉(zhuǎn)地圖可以擴(kuò)展產(chǎn)生多個場景。盡管有些場景可能不適合當(dāng)前的特性，有些甚至跟業(yè)務(wù)需求無關(guān)，這個測試地圖還是非常詳盡的。
在實踐層面，對于有多個QA在測試同一個物聯(lián)網(wǎng)產(chǎn)品的團(tuán)隊，地圖可以作為大家共同參考的手冊。這個地圖把工具、設(shè)備、場景和協(xié)議的排列以易于理解的方式呈現(xiàn)出來，覆蓋了測試場景設(shè)計這個獨特的需求，是一種非常高效的合作方式。
【本文是51CTO專欄作者“ThoughtWorks”的原創(chuàng)稿件，微信公眾號：思特沃克，轉(zhuǎn)載請聯(lián)系原作者】
