2016年5月28日，華為開(kāi)發(fā)者匯南京站在安德門(mén)黑馬路演中心圓滿(mǎn)落幕。本次沙龍議題增加到六個(gè)，時(shí)間安排上也從之前的半天擴(kuò)展到全天。講師有來(lái)自華為、蘇寧、途牛的多位好手，議題涵蓋”通訊即服務(wù)“、”內(nèi)源開(kāi)發(fā)“、”探索性測(cè)試“、”容器技術(shù)”、“電商平臺(tái)遷移”、“訂單架構(gòu)優(yōu)化”。

[[167176]]

經(jīng)過(guò)中午的短暫休整，第三個(gè)議題——由華為測(cè)試專(zhuān)家葉飛池帶來(lái)的《CloudCube探索測(cè)試實(shí)踐》開(kāi)始了。這個(gè)看似枯燥的議題居然成為當(dāng)天最吸引女生的議題。葉飛池對(duì)大家分別闡述了劇本型測(cè)試和探索性測(cè)試的價(jià)值，并分享了幾個(gè)有意思案例。

現(xiàn)場(chǎng)實(shí)錄如下：

大家下午好，先介紹一下，我是2005年進(jìn)入華為的，一直在做軟件測(cè)試，對(duì)開(kāi)發(fā)也不太懂，剛畢業(yè)的時(shí)候做了一下開(kāi)發(fā)，主要是做軟件測(cè)試的相關(guān)技術(shù)工作。我想問(wèn)一下今天來(lái)到現(xiàn)場(chǎng)的朋友做測(cè)試的多嗎，能不能舉個(gè)手。也不是很多。我今天講的是做的云產(chǎn)品CloudCube，是一個(gè)云平臺(tái)，pass層的云平臺(tái)，在上面做探索性的實(shí)踐。

我想再提問(wèn)一個(gè)問(wèn)題，大家知道什么叫探索性測(cè)試，或者探索性測(cè)試和其他測(cè)試的區(qū)別嗎?

提問(wèn)：探索性測(cè)試好像沒(méi)有固定的定位吧，以前我們傳統(tǒng)測(cè)試是有一套。

嘉賓：對(duì)，也可以這么說(shuō)。探索性測(cè)試是針對(duì)原來(lái)的劇本，原來(lái)的一套一套測(cè)試來(lái)說(shuō)的，發(fā)現(xiàn)原來(lái)的測(cè)試，一些問(wèn)題不好解決，這時(shí)候就引入探索性測(cè)試的說(shuō)法，也是這幾年在測(cè)試領(lǐng)域比較火的。探索性測(cè)試，之前劇本的測(cè)試?yán)锩嫖覀兏鳶E，或者跟著開(kāi)發(fā)那邊，一個(gè)需求，一個(gè)迭代，一步一步的來(lái)。以前的劇本測(cè)試還能夠形成固定下來(lái)，很多模式都是定的情況，就可以比較好的一步一步的進(jìn)行。但是現(xiàn)實(shí)的情況，我們現(xiàn)在的迭代越來(lái)越快，很多時(shí)候我們寫(xiě)的劇本測(cè)試會(huì)跟不上。

我之前是做測(cè)試團(tuán)隊(duì)的負(fù)責(zé)人，待了幾年，也是新員工，大概是2013年的時(shí)候做了一個(gè)實(shí)踐。今天時(shí)間很短，我講的不是很全面，大家有問(wèn)題可以隨時(shí)提出來(lái)。今天就以四個(gè)維度來(lái)說(shuō)一下，背景，策略，還有實(shí)施的效率。

開(kāi)展的背景。以前是劇本測(cè)試，劇本測(cè)試依賴(lài)于前端相對(duì)比較穩(wěn)定，我寫(xiě)完之后跟著前端需求進(jìn)來(lái)，寫(xiě)完之后可以編下去。我之前實(shí)現(xiàn)的是云平臺(tái)，很大的特點(diǎn)很多需求是不穩(wěn)定的，甚至是全新的產(chǎn)品，包括現(xiàn)在大數(shù)據(jù)之類(lèi)的產(chǎn)品，你甚至不知道它應(yīng)該是怎么樣的，包括前端的一些輸入可能也隨時(shí)變化，客戶(hù)需求隨時(shí)變化的。假如按照以前劇本測(cè)試的話(huà)，我們可能辛辛苦苦花一個(gè)禮拜寫(xiě)的設(shè)計(jì)方案，寫(xiě)的一個(gè)腳本，寫(xiě)完之后他需求變了，你又要變，這是極其浪費(fèi)的。這是我要開(kāi)展的最重要的背景。

還有一個(gè)目的，大家做測(cè)試的時(shí)候，特別是帶測(cè)試團(tuán)隊(duì)的時(shí)候，你會(huì)發(fā)現(xiàn)我給員工測(cè)的時(shí)候，這一輪測(cè)這些，下一輪測(cè)這些，可能***輪發(fā)現(xiàn)問(wèn)題之后，后面測(cè)的還是那些東西，感覺(jué)測(cè)不到，發(fā)現(xiàn)不了新的問(wèn)題，你帶測(cè)試團(tuán)隊(duì)的時(shí)候就很糾結(jié)。這時(shí)候我就想到，我們有沒(méi)有一個(gè)方式改變這種狀態(tài)，這是第二個(gè)原因。

第三個(gè)原因，我們?cè)谧鰷y(cè)試的時(shí)候會(huì)一輪一輪的，一般也是安排一個(gè)(05：08)，在以前做的時(shí)候，我們自己想想吧，發(fā)散一下吧，發(fā)散一下自己看看能不能發(fā)現(xiàn)一些問(wèn)題。一般也能發(fā)現(xiàn)一些問(wèn)題，一般只有那些責(zé)任心比較強(qiáng)的同事，或者思路比較強(qiáng)的同事，他可能會(huì)發(fā)現(xiàn)有生路的問(wèn)題，很多時(shí)候大家基本沒(méi)有太多的產(chǎn)出，這是我之前帶測(cè)試團(tuán)隊(duì)的經(jīng)驗(yàn)。

基于這三個(gè)方面的背景，我們可能引入了一個(gè)探索性測(cè)試的實(shí)踐。這是當(dāng)初做探索性測(cè)試的流程，花一段時(shí)間做一個(gè)準(zhǔn)備，什么叫探索性測(cè)試外界的專(zhuān)家，我也知道張波那邊，很多業(yè)界的理論是有很多的，包括很多探索性測(cè)試的方法，相關(guān)的東西，進(jìn)行系統(tǒng)性的培訓(xùn)。也結(jié)合我們團(tuán)隊(duì)人員的特點(diǎn)和產(chǎn)品的特點(diǎn)，來(lái)進(jìn)行一些策略，包括確定探索測(cè)試的范圍，這是***個(gè)步驟。

第二個(gè)步驟，探索測(cè)試之行，測(cè)試之行這里面強(qiáng)調(diào)測(cè)試的三個(gè)故事。在測(cè)試的過(guò)程中不斷的去調(diào)整你的策略，不斷的更新你的方法，類(lèi)似于一個(gè)迭代過(guò)程，迭代的優(yōu)化。

***是探索總結(jié)，能在我們部門(mén)的其他地方做些總結(jié)，做些方向，大家一起把這個(gè)做好。這是三個(gè)階段。

下面就是幾個(gè)關(guān)鍵的動(dòng)作。***個(gè)關(guān)鍵的動(dòng)作是我要確定初始的探索點(diǎn)，制定一個(gè)策略。探索點(diǎn)是什么呢，就是你要針對(duì)哪些范圍進(jìn)行探索性測(cè)試。為什么要做這個(gè)呢，因?yàn)槲覀儺a(chǎn)品很多，如果每個(gè)地方做，能力是不夠的。二八原則，你要花多少精力解決20%的問(wèn)題，80%的精力，要選擇你認(rèn)為風(fēng)險(xiǎn)比較大的地方進(jìn)行探索點(diǎn)。

這是怎么一個(gè)分析法呢，也是分享一下，大家有不同意見(jiàn)可以隨時(shí)提。在我們這邊，***個(gè)我們是平臺(tái)，從客戶(hù)那邊，或者如果是業(yè)務(wù)版面的話(huà)，也可以客戶(hù)那邊。像我們是平臺(tái)我的客戶(hù)就是我們的解決方案，從他那邊收集他的一些問(wèn)題，包括在版本上網(wǎng)的時(shí)候，三個(gè)版本的一些問(wèn)題，確定質(zhì)量風(fēng)險(xiǎn)比較高的一個(gè)特性，首先這是***個(gè)選擇。

第二個(gè)選擇就是對(duì)于older的問(wèn)題進(jìn)行更新分析，older的問(wèn)題是華為的一個(gè)特色，我們提問(wèn)題單詞，測(cè)試的時(shí)候提一個(gè)older new就表示是我這個(gè)版本新的特性。older可能是三個(gè)版本，我上一次應(yīng)該發(fā)現(xiàn)的而沒(méi)有發(fā)現(xiàn)的，到這一輪才發(fā)現(xiàn)，定義一個(gè)older。定義有什么好處呢，可以針對(duì)我為什么遺漏了這個(gè)older的問(wèn)題，所以這個(gè)也拿來(lái)進(jìn)行內(nèi)部高風(fēng)險(xiǎn)的分析。

第三個(gè)選擇就是歷史上版本的限制，包括明確寫(xiě)的他可能沒(méi)做好的，或者有高風(fēng)險(xiǎn)的，調(diào)整版本的。基于這三個(gè)方面的話(huà)進(jìn)行一個(gè)綜合的評(píng)估，或者綜合的一個(gè)選擇，我哪些需要進(jìn)行測(cè)試。一般就是很高風(fēng)險(xiǎn)的，可能會(huì)出問(wèn)題的，進(jìn)行探索性測(cè)試。

右邊的圖就是針對(duì)我們的產(chǎn)品，我負(fù)責(zé)的一個(gè)產(chǎn)品的測(cè)試，排了一個(gè)優(yōu)先級(jí)。這是***個(gè)關(guān)鍵的動(dòng)作。

第二個(gè)關(guān)鍵的動(dòng)作。***個(gè)是選擇范圍，第二個(gè)是選擇誰(shuí)來(lái)做的問(wèn)題。誰(shuí)來(lái)做，***個(gè)步驟首先要有一個(gè)經(jīng)驗(yàn)比較豐富的，測(cè)試領(lǐng)域比較豐富的人，首先要選擇探索性的測(cè)試方法，探索性的測(cè)試方法在業(yè)界好幾十種，今天也不細(xì)講了，其實(shí)基本上大家都用到的，在業(yè)界進(jìn)行一些總結(jié)，進(jìn)行一些梳理輸出的一個(gè)方法論，在外界都能搜到，感興趣的可以下載，也可以找我交流。***個(gè)是對(duì)測(cè)試比較有深入研究的，或者有些經(jīng)驗(yàn)的人，結(jié)合自己產(chǎn)品的特點(diǎn)，***步選取的內(nèi)容來(lái)選擇探索性測(cè)試的實(shí)踐方法，這一步很關(guān)鍵，很重要。可能新員工一般是做不到的，要對(duì)產(chǎn)品理解，也要對(duì)測(cè)試的方法論理解，來(lái)選擇確定一個(gè)方法。我記得當(dāng)初我選擇了大概是五個(gè)方法左右，針對(duì)我產(chǎn)品的一個(gè)選擇，這是第二步。

第三步就是選擇人員，當(dāng)初我?guī)藛T的時(shí)候，團(tuán)隊(duì)都很新，我是做的比較久的，做了十多年。還有一兩個(gè)大概有三年的工作經(jīng)驗(yàn)，其他都是剛畢業(yè)一年的，還有一個(gè)是合作方過(guò)來(lái)的，也是剛過(guò)來(lái)的，也是一年之內(nèi)的新員工。當(dāng)初經(jīng)過(guò)確定以后，還是選擇有三年左右員工的，有一定測(cè)試的經(jīng)驗(yàn)，有一定的邏輯思維，來(lái)進(jìn)行測(cè)試。

這是第二個(gè)關(guān)鍵動(dòng)作，怎么選擇探索性測(cè)試方法和人員。當(dāng)然我說(shuō)的不一定對(duì)，當(dāng)初我在華為內(nèi)部講這個(gè)東西的時(shí)候，不記得是哪個(gè)產(chǎn)品線(xiàn)測(cè)試的，也是做了14年了，他可能跟我想法不一樣，他覺(jué)得新員工更適合做，這個(gè)也不一定。

還有一個(gè)關(guān)鍵工作是通過(guò)故事講解或者是評(píng)測(cè)。大家都知道我們做測(cè)試的時(shí)候，測(cè)試報(bào)告由我們測(cè)試來(lái)出，大家要看到你的測(cè)試報(bào)告，覺(jué)得你的產(chǎn)品可用還是不可用，或者是哪些地方有問(wèn)題。但是很多時(shí)候測(cè)試報(bào)告，我不知道大家是怎么樣的，很多地方都是固化的模板，信息可能不是很多。我當(dāng)時(shí)的做法是這個(gè)故事講解，由測(cè)試人員，由特性測(cè)試負(fù)責(zé)人，或者測(cè)試的PL負(fù)責(zé)人，去跟利益相關(guān)方講解我們產(chǎn)品是怎么樣的，進(jìn)行一個(gè)(13：11)，或者通過(guò)一個(gè)頭腦風(fēng)暴，邀請(qǐng)我們的SE，我們的開(kāi)發(fā)，我們的業(yè)務(wù)客戶(hù)，甚至現(xiàn)場(chǎng)給我們真正的客戶(hù)，就是在外面要使用我們的，比如說(shuō)運(yùn)營(yíng)商，說(shuō)明相關(guān)的問(wèn)題。

這里一個(gè)關(guān)鍵的地方，就是測(cè)試的三個(gè)故事，等一下可以打開(kāi)看。為什么是最關(guān)鍵的，因?yàn)槲?013年做了這個(gè)實(shí)踐之后，后來(lái)我又換了一個(gè)部門(mén)，到了平臺(tái)集成部門(mén)，我一直在推我的三個(gè)測(cè)試故事。我要求所有的測(cè)試人員必須能講故事，我一直跟他們講，測(cè)試的人員應(yīng)該把自己比喻為一個(gè)銷(xiāo)售員，你的產(chǎn)品就是經(jīng)過(guò)測(cè)試人員去銷(xiāo)售的，你要能把它什么地方能用，什么地方不能用，什么地方可能有問(wèn)題，你要跟你的客戶(hù)，跟你的利益相關(guān)人講的非常清楚，這樣才是一個(gè)合格的測(cè)試人員，這是我一直強(qiáng)調(diào)的。當(dāng)然在2013年之后，我的測(cè)試團(tuán)隊(duì)里面強(qiáng)勢(shì)運(yùn)作的必須要搞一個(gè)測(cè)試故事的講解，這個(gè)效果也是挺好的，能引導(dǎo)測(cè)試人員理解我的產(chǎn)品是什么。很多時(shí)候我們做測(cè)試管理的知道，你去問(wèn)執(zhí)行程度怎么樣，執(zhí)行完了沒(méi)有，其實(shí)是沒(méi)有太大的效果。他執(zhí)行100%，或者他執(zhí)行200%，代表什么呢，只能說(shuō)(15：04)，他的問(wèn)題發(fā)現(xiàn)了嗎，或者他的問(wèn)題在哪里，或者說(shuō)產(chǎn)品的質(zhì)量到底怎么樣，通過(guò)執(zhí)行比例是看不到的。所以我后來(lái)在團(tuán)隊(duì)里面強(qiáng)勢(shì)要求三個(gè)故事。為什么三個(gè)故事講的那么多，因?yàn)槲矣X(jué)得探索性測(cè)試，我的理解，或者在我團(tuán)隊(duì)的運(yùn)用***的地方，或者最要關(guān)注的地方，就是測(cè)試三段故事，我要求測(cè)試所有人員必須能講故事。一會(huì)大家可以打開(kāi)三個(gè)故事的格式看一下。

后面的效果就不用太講了，看看大家有什么問(wèn)題，這是當(dāng)初的一個(gè)比較?？梢灾v一點(diǎn)，探索性測(cè)試?yán)锩嫖耶?dāng)初發(fā)現(xiàn)，效率就不用看了。探索性測(cè)試有一個(gè)好處，我如果在團(tuán)隊(duì)里面給每個(gè)成員分解測(cè)試范圍的時(shí)候，都是一個(gè)一個(gè)特性給他的，他測(cè)的時(shí)候問(wèn)題大部分都是單個(gè)的。探索性測(cè)試是可以讓人員能夠以端到端的方式來(lái)史考，把它串起來(lái)，這時(shí)候他會(huì)發(fā)現(xiàn)不是他負(fù)責(zé)特性的一個(gè)問(wèn)題。哪里有一個(gè)BP，29個(gè)問(wèn)題里面有9個(gè)不是這個(gè)成員他負(fù)責(zé)的問(wèn)題。這是一個(gè)好處。

提問(wèn)：(16：55)，探索性測(cè)試跟固定測(cè)試加起來(lái)不是***嗎，還有別的什么測(cè)試方法嗎?

嘉賓：這里探索性測(cè)試是一個(gè)效率比，組合之后的效率比，24.017是后面的，就是我能力發(fā)現(xiàn)問(wèn)題的效率比。

提問(wèn)：那沒(méi)辦法了。

嘉賓：這個(gè)是說(shuō)我們當(dāng)時(shí)做的幾個(gè)方法的總結(jié)，包括對(duì)面的探索性在應(yīng)用產(chǎn)品里面的分析，包括測(cè)試模板的一些輸出。簡(jiǎn)單講一個(gè)，快進(jìn)測(cè)試法，強(qiáng)調(diào)的是我的數(shù)據(jù)流在我整個(gè)系統(tǒng)里面流動(dòng)的方向。說(shuō)實(shí)話(huà)有這方面經(jīng)驗(yàn)的人也不是讓他測(cè)試就能發(fā)現(xiàn)問(wèn)題，只是他能測(cè)試，我能有這個(gè)總結(jié)的方法引導(dǎo)他看到我的數(shù)據(jù)流在系統(tǒng)里面是怎么流動(dòng)的，基于這個(gè)流動(dòng)才能發(fā)現(xiàn)這個(gè)問(wèn)題。其實(shí)這里的問(wèn)題很典型，當(dāng)初我們是IM，是一個(gè)客戶(hù)的結(jié)權(quán)系統(tǒng)，在系統(tǒng)里面留了四五個(gè)模塊，還蠻復(fù)雜的，類(lèi)似于有點(diǎn)亞馬遜里面的FM。測(cè)試了很多人，也沒(méi)有發(fā)現(xiàn)問(wèn)題，***用探索性測(cè)試方法，我就讓他怎么思考這個(gè)流程，最終還是發(fā)現(xiàn)了這個(gè)比較深入的問(wèn)題。

***一點(diǎn)，過(guò)程基本都講了，不用過(guò)多的強(qiáng)調(diào)了，這是華為用于時(shí)間的模板寫(xiě)的，在座的華為的肯定知道，可以對(duì)外共享一些內(nèi)容。

提問(wèn)：?jiǎn)杺€(gè)問(wèn)題，(19：20)互聯(lián)網(wǎng)公司有一個(gè)特點(diǎn)，產(chǎn)品過(guò)程中不太了解他最終想要做成什么樣的，或者是他雖然想要做成什么樣，但是不太清楚中間有哪些東西，我們是探索性測(cè)試，再這樣的一個(gè)過(guò)程中，它跟劇本型的，一般的測(cè)試怎么做一個(gè)區(qū)分，對(duì)于這種產(chǎn)品測(cè)試的PM應(yīng)該怎么去把握這個(gè)策略。

嘉賓：尺度。

提問(wèn)：對(duì)。

嘉賓：這個(gè)問(wèn)題挺好，當(dāng)初搞完探索性測(cè)試，在華為里面，包括業(yè)界，測(cè)試領(lǐng)域的張波不知道大家聽(tīng)說(shuō)過(guò)沒(méi)有，跟他也組織過(guò)討論。如果以我的理解，原來(lái)以KPI考核或者要求情況下去看的話(huà)，我覺(jué)得這個(gè)比例可能還是在于我們?cè)趺凑嬲陌堰@個(gè)質(zhì)量把握住。如果你認(rèn)為這個(gè)特性測(cè)的不充分，或者是很高的風(fēng)險(xiǎn)，你就可以去選取，如果認(rèn)為那個(gè)特性很一般，劇本的測(cè)試變化也比較少的，我認(rèn)為劇本的測(cè)試就可以了。確實(shí)這個(gè)問(wèn)題我不太很好說(shuō)，這個(gè)當(dāng)初也討論很多次，這個(gè)東西我個(gè)人，剛剛是提到了為什么要有一個(gè)對(duì)產(chǎn)品策略熟悉的人來(lái)吧我，完全是有一個(gè)熟悉的人，或者多個(gè)熟悉的人一起討論的。在這個(gè)團(tuán)隊(duì)里面，我認(rèn)為這幾個(gè)特性高風(fēng)險(xiǎn)的，我就選擇探索性測(cè)試，其他的就是劇本測(cè)試，還要根據(jù)相關(guān)的特點(diǎn)。當(dāng)然探索性測(cè)試和劇本測(cè)試不是完全對(duì)立的，很多時(shí)候我這輪做完探索性測(cè)試之后，探索出來(lái)的點(diǎn)就固化到了劇本測(cè)試?yán)锩嫒チ?，這是有一個(gè)來(lái)回交互的過(guò)程，并且每個(gè)都是一個(gè)迭代刷新的。

我覺(jué)得特別強(qiáng)調(diào)的是應(yīng)該跟互聯(lián)網(wǎng)的迭代模式一樣，你不停的變化，不僅僅是根據(jù)產(chǎn)品的變化，還要根據(jù)你團(tuán)隊(duì)人的變化。舉個(gè)例子，如果你發(fā)現(xiàn)這個(gè)經(jīng)驗(yàn)，我這個(gè)開(kāi)發(fā)人員很牛，他開(kāi)發(fā)的東西問(wèn)題不大，一般測(cè)也測(cè)不出問(wèn)題，基本上你可以判斷的，他做的東西我就不用太多的測(cè)，我簡(jiǎn)單的測(cè)就可以了。然后發(fā)現(xiàn)這個(gè)開(kāi)發(fā)人員這個(gè)特性就是新員工做的，你就要加強(qiáng)了，要注意了，要不斷的交流，甚至要跟他一起來(lái)做這個(gè)事情。

也是我的同事，不知道回答滿(mǎn)不滿(mǎn)意。

提問(wèn)：滿(mǎn)意。

提問(wèn)：我也想問(wèn)一個(gè)問(wèn)題，剛剛看您介紹了三種測(cè)試方法，主要為快遞測(cè)試法，我想問(wèn)一下，相對(duì)于其他測(cè)試方法，那種方法的特點(diǎn)是什么，你們是根據(jù)什么東西，根據(jù)產(chǎn)品特性或者什么來(lái)選擇的測(cè)試方法?

嘉賓：是的，測(cè)試方法快遞法是一種，業(yè)界還有很多，有40多種，其實(shí)很多方法是應(yīng)用老了，只不過(guò)我們沒(méi)有命過(guò)名字，類(lèi)似于快遞法，就是數(shù)據(jù)流在流動(dòng)，或者消息流在流動(dòng)。你說(shuō)的怎么結(jié)合，可能就是結(jié)合，比如我今后的產(chǎn)品是用戶(hù)的認(rèn)證系統(tǒng)，里面的模塊有好幾個(gè)，一般傳遞認(rèn)證用戶(hù)信息的話(huà)，很多用戶(hù)的ID或者是密鑰是一個(gè)傳遞的，這時(shí)候我們就想到從這個(gè)體系里面去確認(rèn)這個(gè)信息流是怎么流動(dòng)的，想到這個(gè)快遞的測(cè)試方法。這個(gè)當(dāng)然肯定要深入的去理解，40個(gè)方法到底是什么?？赡芪覀冎皽y(cè)試的，慢慢的研究，有些思路在里面，但是實(shí)際那個(gè)方法論不見(jiàn)得是全的。這個(gè)方法在網(wǎng)上一般都有，都可以去交流。重要的是必須有一個(gè)對(duì)產(chǎn)品測(cè)試熟悉的人來(lái)進(jìn)行一個(gè)選擇，熟悉一個(gè)人，或者一個(gè)團(tuán)隊(duì)，不見(jiàn)得是一個(gè)人。

提問(wèn)：我想問(wèn)一個(gè)問(wèn)題，跟傳統(tǒng)的測(cè)試方法相比的話(huà)，探索性測(cè)試對(duì)人員能力的要求跟傳統(tǒng)測(cè)試有什么不一樣嗎?就是技術(shù)、非技術(shù)的。

嘉賓：我覺(jué)得也沒(méi)有太大的不一樣，類(lèi)似于怎么去選擇人來(lái)做的時(shí)候，可能沒(méi)有做過(guò)測(cè)試一兩年的新員工，不太適合做這個(gè)。他可能是按劇本式的方式去測(cè)試，先培養(yǎng)他測(cè)試的能力，到了兩年左右的時(shí)間，就完全可以適應(yīng)做探索性測(cè)試了。探索性測(cè)試***調(diào)的是測(cè)試的思路和想法，就是發(fā)散性思維，天馬行空的多想想。

提問(wèn)：你這個(gè)探索性測(cè)試方法跟傳統(tǒng)的測(cè)試方法，比如說(shuō)我們的常理分析法是一致的?

嘉賓：這個(gè)方法論理論上是一致的，我只不過(guò)用探索性測(cè)試，我剛才說(shuō)有40多種測(cè)試方法，大家可能都運(yùn)用到，但是沒(méi)有想到這是一個(gè)方法論。并且你在遇到問(wèn)題的時(shí)候，可能沒(méi)有想到用這個(gè)方法解決這個(gè)問(wèn)題，你可能選擇另外一個(gè)方法。這時(shí)候強(qiáng)調(diào)這個(gè)方法論的時(shí)候，可能更容易的發(fā)現(xiàn)問(wèn)題。或者我理解你的問(wèn)題，是不是我的劇本測(cè)試和探索性測(cè)試是對(duì)立的，其實(shí)應(yīng)該是慢慢融合在里面的，才是最終的一個(gè)目標(biāo)。

提問(wèn)：第二個(gè)問(wèn)題，這個(gè)測(cè)試你剛剛有講過(guò)有測(cè)試報(bào)告，這個(gè)測(cè)試報(bào)告是一個(gè)模板，你這個(gè)探索性測(cè)試(26：55)。

嘉賓：就像我說(shuō)的探索性測(cè)試，我把***的東西融到劇本里面去，***的報(bào)告出一份。但是探索性測(cè)試強(qiáng)調(diào)剛才說(shuō)的三個(gè)故事，三個(gè)故事就是一個(gè)評(píng)估，不是那種說(shuō)我執(zhí)行了多少，用你執(zhí)行的排比，不是那種執(zhí)行。是指三個(gè)故事的評(píng)估，***個(gè)故事是產(chǎn)品故事，產(chǎn)品故事包括三條，什么情況下可以公布。第二條什么情況會(huì)失效。第三條什么情況可能會(huì)失效。我覺(jué)得這個(gè)產(chǎn)品不是測(cè)試人員能夠基于這個(gè)故事告訴你的利益相關(guān)方，你的產(chǎn)品的質(zhì)量是怎么樣，基于這三條。比如我測(cè)試一個(gè)云平臺(tái)，我一個(gè)應(yīng)用的安裝部署，我就把它在什么主網(wǎng)情況下安裝是可以成功的，在什么主網(wǎng)情況下安裝是可以失敗的，在什么情況易滿(mǎn)足的條件下可能會(huì)失敗，這其實(shí)就是一種評(píng)估。不像我們測(cè)試報(bào)告里面，可能某一個(gè)發(fā)現(xiàn)局限比啊，發(fā)現(xiàn)問(wèn)題的多少個(gè)啊，這種的評(píng)估。但是我自己個(gè)人認(rèn)為，可能這個(gè)評(píng)估比那個(gè)更重要，比你完成了多少測(cè)試效率啊，發(fā)現(xiàn)多少問(wèn)題，可能會(huì)更有效。

提問(wèn)：我想問(wèn)一下探索性測(cè)試跟傳統(tǒng)測(cè)試***的區(qū)別在哪里?第二個(gè)探索性測(cè)試的引入對(duì)整個(gè)產(chǎn)品的測(cè)試，流程和效率上有沒(méi)有一些質(zhì)的變化?

嘉賓：***個(gè)問(wèn)題基本的區(qū)別就是我這個(gè)測(cè)試是隨著，甚至說(shuō)那個(gè)東西過(guò)來(lái)之后，就是我的測(cè)試對(duì)象，我開(kāi)發(fā)的版過(guò)來(lái)之后，我才會(huì)不斷去測(cè)它。不像以前基本測(cè)試，我先準(zhǔn)備好用例，準(zhǔn)備好方案，我寫(xiě)腳本，一步一步的去搞。這個(gè)時(shí)候就是等它來(lái)了，我一邊玩它，一邊去想，這是***的區(qū)別。

第二個(gè)你剛才說(shuō)的流程，我認(rèn)為可能有一點(diǎn)點(diǎn)影響吧，也不能說(shuō)是影響。其實(shí)你說(shuō)的一個(gè)流程去看效率的話(huà)，我不知道你是怎么評(píng)估，我理解我評(píng)估的話(huà)，我一天多少個(gè)效率，多少個(gè)用例，或者我投入了多少人力，發(fā)現(xiàn)了多少問(wèn)題。這個(gè)問(wèn)題本身在流程也沒(méi)有問(wèn)題，但是我探索性測(cè)試應(yīng)該是在這個(gè)基礎(chǔ)上補(bǔ)充我流程測(cè)試可能存在的風(fēng)險(xiǎn)，來(lái)去優(yōu)化它們。

提問(wèn)：不好意思，我問(wèn)一個(gè)問(wèn)題。問(wèn)一下到底怎么選擇的問(wèn)題，測(cè)試?yán)锩嬉灰v開(kāi)發(fā)人員的要求，這塊從測(cè)試的角度，專(zhuān)家的角度講一下。

嘉賓：對(duì)開(kāi)發(fā)人員的要求。

提問(wèn)：對(duì)，測(cè)試人員有沒(méi)有開(kāi)發(fā)方面的要求。第二個(gè)關(guān)于測(cè)試人員在整個(gè)產(chǎn)品設(shè)計(jì)的需求，過(guò)程之中應(yīng)該參與進(jìn)去沒(méi)有，參加到哪一步?

嘉賓：***個(gè)問(wèn)題，對(duì)測(cè)試人員開(kāi)發(fā)代碼能力的要求。我覺(jué)得這是分的，其實(shí)測(cè)試人員不是一個(gè)，不是一種，測(cè)試人人員有很多。像我理解的探索性測(cè)試適合于系統(tǒng)測(cè)試，不太適合于單元測(cè)試。這個(gè)問(wèn)題可能要分幾類(lèi)，我認(rèn)為系統(tǒng)的測(cè)試對(duì)代碼的要求不強(qiáng)制，有的更好，但是系統(tǒng)化測(cè)試人員更強(qiáng)調(diào)他對(duì)產(chǎn)品的理解，對(duì)產(chǎn)品的理解更為重要。就是我怎么用的，客戶(hù)怎么用的產(chǎn)品更重要，但是對(duì)單元測(cè)試人員，或者相對(duì)于下面一層的測(cè)試人員肯定要知道代碼的。

提問(wèn)：產(chǎn)品的開(kāi)發(fā)過(guò)程中，需求的過(guò)程中參與到哪一步，測(cè)試人員怎么參與的。

嘉賓：可能還是測(cè)試人員的分類(lèi)，我做系統(tǒng)測(cè)試多一些，我以我這邊的實(shí)例來(lái)講。我是這邊團(tuán)隊(duì)的TSE，主要是做系統(tǒng)上面的測(cè)試，我可能參與就是跟著SE在前端需求上一起去做。華為這邊有一個(gè)實(shí)例化需求，所謂實(shí)例化需求就是TSE，就是測(cè)試設(shè)計(jì)人員，叫TSE，不知道外面怎么叫，華為這么講。和SE一起去分析這個(gè)需求，在SE輸出這個(gè)需求文檔的時(shí)候，你TSE要輸出用例，輸出驗(yàn)收用例，就是跟他一起分析這個(gè)需求，當(dāng)然主要分析還是在SE那邊，從TSE的角度主要是輸出我的驗(yàn)收用例，驗(yàn)收?qǐng)鼍?。?yàn)收?qǐng)鼍笆且脩?hù)，跟提交需求人，跟SE達(dá)成一致的，主要就是這種參與。比如說(shuō)STV測(cè)試的，就是跟著開(kāi)發(fā)，跟著Store一起去開(kāi)發(fā)，一起去寫(xiě)會(huì)好一點(diǎn)。

提問(wèn)：再問(wèn)一個(gè)問(wèn)題，我覺(jué)得國(guó)內(nèi)的好多地方測(cè)試人員跟開(kāi)發(fā)人員占比比較小，這時(shí)候大家為了產(chǎn)品的質(zhì)量肯定是要，測(cè)試力度肯定要大一點(diǎn)。這個(gè)時(shí)候開(kāi)發(fā)人員也會(huì)充當(dāng)測(cè)試人員的角色，我想問(wèn)一下開(kāi)發(fā)人員怎么轉(zhuǎn)變一個(gè)角度測(cè)這個(gè)功能，如果是自己測(cè)自己的開(kāi)發(fā)功能，會(huì)有很多找不到的地方，用什么樣的管理方式，或者用什么樣的思維方式做這個(gè)事情比較好一點(diǎn)?

嘉賓：我覺(jué)得一個(gè)結(jié)隊(duì)的方式，所謂結(jié)隊(duì)的方式，比如說(shuō)開(kāi)發(fā)這個(gè)特性，你可以跟開(kāi)發(fā)人員結(jié)隊(duì)，或者說(shuō)在華為叫鐵三角。所謂鐵三角，一個(gè)開(kāi)發(fā)，一個(gè)測(cè)試，一個(gè)SE，SE就是系統(tǒng)設(shè)計(jì)師，一起去做這個(gè)事情，就是互相協(xié)作做這個(gè)事情，這是一方面。第二個(gè)可能是交叉測(cè)試。

提問(wèn)：我們做的比較多的就是交叉測(cè)試。

嘉賓：我覺(jué)得交叉測(cè)試也挺好，不同的人，換一下測(cè)試。還有一個(gè)我建議case，就是演示，頭腦風(fēng)暴，把大家召集在一起，去想一想，大家一起來(lái)想一想，這個(gè)效果很好。我可能每周都要求TSE跟別人(35：14)，里面會(huì)發(fā)現(xiàn)很多問(wèn)題，并且營(yíng)造(35：21)。比如我這邊是平臺(tái)，我的客戶(hù)設(shè)計(jì)業(yè)務(wù)解決方案，到版本發(fā)布的時(shí)候才給他，發(fā)現(xiàn)一些問(wèn)題，他可能會(huì)卡我的點(diǎn)，不讓我過(guò)點(diǎn)，不讓我發(fā)布。現(xiàn)在我們轉(zhuǎn)變做法，每一個(gè)迭代都要找他一起來(lái)談，也是學(xué)學(xué)互聯(lián)網(wǎng)的思路，迭代式的給別人使用，讓別人提早發(fā)現(xiàn)問(wèn)題。

提問(wèn)：謝謝。

提問(wèn)：提個(gè)問(wèn)題，您剛剛講到現(xiàn)在的測(cè)試方法有劇本測(cè)試和探索性測(cè)試，具體的實(shí)施過(guò)程中，不同的單元測(cè)試，我考核測(cè)試人員很好考核，就看他有沒(méi)有測(cè)。探索性測(cè)試，假如我沒(méi)有在這個(gè)點(diǎn)，讓手下人做，我怎么知道他究竟有沒(méi)有進(jìn)行探索性測(cè)試。我的意思是說(shuō)，在白客測(cè)試也沒(méi)有問(wèn)題，黑客測(cè)試也沒(méi)有問(wèn)題，探索性測(cè)試也沒(méi)有問(wèn)題，有兩種情況，一種情況是真的沒(méi)有問(wèn)題，第二種是真的有問(wèn)題，他根本沒(méi)有測(cè)試，在具體實(shí)施過(guò)程中怎么實(shí)施?

嘉賓：我的理解就是怎么評(píng)估測(cè)試人員。

提問(wèn)：對(duì)。

嘉賓：你剛才說(shuō)***種，看他測(cè)試的效率之類(lèi)的東西，你覺(jué)得評(píng)估準(zhǔn)確嗎?

提問(wèn)：我的意思還有一點(diǎn)，用這種方法在具體的實(shí)施過(guò)程中，怎樣把這種方法落到實(shí)處。這種方法論肯定是你在開(kāi)發(fā)過(guò)程中總結(jié)出來(lái)的方法，現(xiàn)在目前情況下還沒(méi)有進(jìn)入大規(guī)模的推廣，在華為內(nèi)部是這樣的。如果說(shuō)這種方法進(jìn)行推廣的話(huà)，在實(shí)施的過(guò)程中，現(xiàn)在人都特別浮躁，真要沉下心很仔細(xì)的按照探索性測(cè)試，一步一步的探索每個(gè)方面各種思維去想，我想有很多情況下，雖然告訴他了，但是他不一定按照你的方法來(lái)做。

嘉賓：我明白你的意思，怎么評(píng)估，探索性測(cè)試就是以三個(gè)故事來(lái)評(píng)估，他能不能給我講清楚，什么地方可用。如果一個(gè)測(cè)試人員，他做的很深入的話(huà)，他講的東西你一聽(tīng)就明白，他講的頭頭是道，什么樣的OK，什么樣的不OK，講的很清楚。如果一個(gè)人只是很淺的做，只是完成他的用例個(gè)數(shù)的話(huà)，比如原來(lái)我們?cè)u(píng)估他的測(cè)試效率，一天實(shí)現(xiàn)了多少用例，發(fā)生了多少問(wèn)題。我覺(jué)得不一定的，零幾年我受過(guò)一個(gè)主管的影響比較大，他給我講一句話(huà)，測(cè)試是一個(gè)良心活，你看不出來(lái)，從他的數(shù)據(jù)來(lái)看很多時(shí)候是看不出來(lái)的，很多人一天可以發(fā)現(xiàn)十個(gè)問(wèn)題，很多人一天就發(fā)現(xiàn)一個(gè)問(wèn)題，但是這個(gè)問(wèn)題的質(zhì)量是怎么樣的，一個(gè)問(wèn)題的拆分是什么樣的，一個(gè)問(wèn)題可以拆分成十個(gè)問(wèn)題給大家來(lái)提，絕對(duì)是可以的。從那個(gè)個(gè)數(shù)來(lái)評(píng)估，從那個(gè)效率來(lái)評(píng)估，我覺(jué)得只是作為一個(gè)參考，作為一個(gè)牽引的東西，不能作為主力的去評(píng)估。我覺(jué)得為主的評(píng)估，剛才舉的那個(gè)例子，在我的認(rèn)為中，我覺(jué)得一個(gè)測(cè)試人員就是一個(gè)銷(xiāo)售員，你銷(xiāo)售員能不能把這個(gè)產(chǎn)品講的清楚，你講得清楚我覺(jué)得你就是OK。當(dāng)然還有一些額外的，產(chǎn)品出去之后的問(wèn)題，包括外界也有一些數(shù)據(jù)，我認(rèn)為是可以結(jié)合的。華為各個(gè)部門(mén)也是在推，包括我也是選擇性的，不要強(qiáng)調(diào)探索性測(cè)試就是打破劇本測(cè)試，其實(shí)是一個(gè)融合，你如果作為革命者的時(shí)候，你的阻力很大，去挑戰(zhàn)一個(gè)大的流程是很大的。我們?cè)趺醋觯覀兪亲鳛橐粋€(gè)補(bǔ)充，慢慢的潛移默化的做一些事情。我也比較崇拜華為里面一個(gè)叫張波的，做測(cè)試體系的人，他是測(cè)試?yán)锩嫖覀兘兴嫉勒?，測(cè)試文化怎么推廣出去。測(cè)試人員每個(gè)人都憑著自己的的良心去干活，而不是為了數(shù)據(jù)去干活。

三個(gè)故事大家感興趣的可以再探討，時(shí)間關(guān)系就講到這里，謝謝。