第1章 探索式測試的定義

1.1 什麼是探索式測試

1.2 語境驅動測試7原則

1.3 探索式測試的問與答



第2章 探索式測試設計概論

2.1 思維模型

2.2 測試先知和啟發式方法

2.3 測試過程

2.4 測試覆蓋

2.5 啟發式測試策略模型HTSM

2.5.1 為什麼需要HTSM

2.5.2 HTSM的內容

2.5.3 定制HTSM

2.5.4 應用HTSM



第3章 單個特性測試方法

3.1 聯想輸入模型

3.1.1 聯想輸入模型介紹

3.1.2 聯想輸入模型的實踐案例

3.2 互聯網測試模型

3.2.1 互聯網測試模型來源

3.2.2 經典互聯網測試模型

3.3 漫遊測試模型

3.3.1 基礎測試方法

3.3.2 進階測試方法

3.4 單個特性測試相關案例



第4章 交互特性測試方法

4.1 場景操作模型

4.2 漫遊探索模型

4.3 交互特性測試相關案例



第5章 繫統交互測試方法

5.1 通用功能性與穩定性測試過程

5.1.1 確定產品目的和功能

5.1.2 確定潛在的不穩定區域

5.1.3 測試產品的功能性和穩定性

5.2 漫遊地圖模型

5.2.1 漫遊地圖模型簡介

5.2.2 漫遊地圖思維架構

5.3 肥皂劇測試模型

5.3.1 肥皂劇測試用例

5.3.2 肥皂劇測試的特征

5.4 繫統交互測試案例

5.4.1 通用功能性與穩定性測試過程的案例

5.4.2 漫遊地圖模型的案例

5.4.3 肥皂劇測試模型的案例



第6章 探索式測試的工具

6.1 基於Microsoft Test Manager 2010的 探索式測試

6.1.1 測試計劃與測試用例

6.1.2 測試執行與缺陷記錄

6.1.3 從探索式缺陷到測試用例

6.1.4 測試活動小結

6.2 探索式測試的工具

6.2.1 測試計劃

6.2.2 測試設計與執行

6.2.3 軟件監控

6.2.4 測試評估



第7章 探索式測試與測試自動化

7.1 探索式測試與自動化測試用例

7.1.1 自動化測試用例的開發目標

7.1.2 綜合運用探索式測試和腳本測試

7.1.3 探索式的自動化測試用例開發

7.2 探索式自動化測試案例

7.2.1 案例1：蓋特伍德奶奶

7.2.2 案例2：測試搜索引擎的自動建議

7.2.3 案例3：測試在線地圖的駕車路線

7.2.4 對案例2與案例3的再分析

7.3 開發探索式測試工具

7.3.1 探索式測試自動化的定義

7.3.2 測試工具開發策略



第8章 探索式測試的組織與實施

8.1 探索式測試與腳本測試

8.2 探索式測試四像限

8.3 基於測程的測試管理

8.3.1 測程的基本特點

8.3.2 SBTM的任務

8.3.3 SBTM的測程

8.4 實踐方式的選擇依據

8.5 實踐方式的實踐特點



第9章 自由風格的探索式測試

9.1 什麼是自由風格的探索式測試

9.2 實踐流程

9.2.1 實踐的條件和目的

9.2.2 實踐的時機

9.2.3 實踐的流程

9.3 實踐注意點

9.4 實踐案例



第10章 ET主導與ST輔助方式的探索式測試

10.1 什麼是ET主導與ST輔助方式

10.2 實踐流程

10.2.1 實踐的條件

10.2.2 實踐的流程

10.2.3 實踐的活動

10.3 實踐注意點

10.4 實踐案例



第11章 ST主導與ET輔助方式的探索式測試

11.1 什麼是ST主導與ET輔助方式

11.2 腳本測試的測試流程

11.3 實踐流程

11.3.1 實踐的條件

11.3.2 實踐的流程

11.4 實踐注意點

11.5 實踐案例



第12章 協作型探索式測試

12.1 什麼是協作型探索式測試

12.2 缺陷大掃除

12.2.1 實踐流程

12.2.2 實踐案例

12.3 結對測試

12.3.1 實踐方法

12.3.2 實踐注意點

12.4 全民分享



第13章 探索式測試回顧

13.1 更好的軟件測試

13.2 測試設計與執行

13.3 測試自動化與測試工具

13.4 測試流程

13.5 給測試人員的建議



附錄A 測試方法列表

附錄B 推薦閱讀

參考文獻

等價類、邊界值、正交法、因果圖等手段用得爛熟，功能、性能、兼容性、安全性、健壯性、易用性等符合目標規範，瀑布模型、W模型、XP、Scrum等研發流程已混合，卻總有漏網之魚--探索式測試應運而生--它不是測試方法、規範或流程，更似一種能真正體現測試工程師靈活性、因而需人人掌握的思維方式。讀完此書相信對大家的工作甚至生活都是一個突破！


--郭芙  *網技術質量部總監

近幾年在測試行業裡，探索式測試這種思想本身就是測試技術領域向上積極探索的體現。如果您感興趣，也想有更完善的知識體繫理解和工作方法指導，強烈推薦大家仔細閱讀本書--從理論介紹、方法論分析到具體的實踐方案、工具等，這本書都是近期測試領域裡看到的為數不多的佳作。


--吳凱華  騰訊互聯網測試部助理總經理

作者對探索式測試有獨到的思考和見解，如測程（Session）、測試模型等提法，頗具新意，而“精英部隊”一說與華為的測試實踐也不謀而合。書中豐富的互聯網測試實戰案例，對包括我們網絡設備廠商在內的各行業都有良好的借鋻價值。


--劉宇  H3C研發副總裁、測試總監

本書植根於國際成熟理論基礎之上，將探索式測試思想和中國互聯網的現狀相結合，給出了一繫列實用而漸進的例子，助力真正動手實踐探索式測試，強烈推薦廣大測試同仁閱讀。


--孫景衛  百度高級工程師、測試項目經理

作者將長期工作心得及對探索式測試的理解融入書中，從方法、工具、與自動化的結合等各方面闡述了他們眼中的探索式測試。我在拿到書後，一路讀下來，毫無頓挫之感，而其中的精彩案例更讓人欣喜。期待作者的良苦用心能讓更多讀者喜歡這本書，繼而喜歡上趣味十足的探索式測試。


--段念 素技術副總裁

互聯網時代的需求衍變與迭代周期強勁加速，正是探索式測試用武之時。本書彌補了James
A.Whittaker所著《探索式軟件測試》之不足，讓我們能繫統掌握探索式測試分析、設計、執行的具體方法與實用工具，絕大部分內容學了就能用，用了就有效果，可切實幫助大家做好敏捷測試。


--朱少民  同濟大學教授

這是國內測試人員寫的本全面介紹探索式測試的專著，材料豐富，內容完整，實踐性強。在敏捷開發大行其道的今天，探索式測試有了更多的應用舞臺，也是提高測試效率的重要方法。這本書適合不同程度的測試人員閱讀和思考。


--崔啟亮  昱達環球培訓經理、CSTQB資深專家

強烈推薦！這是我見過的關於探索式測試的*資料。此書介紹的測試思想能讓測試團隊用正確的方法，做出正確的產品！

--熊力  微軟軟件開發工程師

推薦序1

“路漫漫其修遠兮，吾將上下而求索”出自屈原的代表作《離騷》，在IT界工作幾年後，發現沒有幾個人能將長篇巨作《離騷》全文背下來，但這兩句詩卻是每個人耳熟能詳的。我們每個人，特別是剛走出校門的年輕人，憧憬著未來，心中揣著理想，向往美好的生活，追求職業的成功，都孜孜不倦地探索著未知的世界。


“探索”，是讓人為之一振的詞，當我們無精打采的時候，有人告訴我們：“來，一起看探索頻道（Discovery
Channel）！”馬上我們就來精神了。未知世界是那麼有吸引力，這也是為什麼“探索頻道”成了世界上好的記錄片頻道，它幫助我們尋找科技、自然、歷史、文化等各個方面未知的角落。即使是我們知道的事情，它也能從不同尋常的角度、以精湛的拍攝技術帶給我們新的畫面、新的享受。軟件測試業也不例外，每個測試人總在探索著軟件測試的未知空間，尋求新的方法、新的技術，甚至越探索越覺得有更多的東西要學，反過來會促使我們更加努力地探索下去，“路漫漫其修遠兮，吾將上下而求索”。


在整個軟件開發領域，人們已找到不少能夠解決問題的方法，但是至今沒能找到徹底解決所有問題的方法。軟件工程領域沒有銀彈，在軟件開發過程中所采用的方法或技術隻能解決一部分問題，而不能徹底解決某類問題。在測試領域，這個特點更加明顯，我們都知道，測試不能窮盡，測試不能做到百分之百，總是有不能測到的地方，總是有缺陷遺留下來，這就給我們留下了足夠的探索空間。探索式測試（Exploratory
Testing，ET）的出現正是因為在軟件繫統中存在許多未知的東西難以得到快速、簡單的驗證，需要我們轉變思路，不要以固定的模式來完成測試，而是要換一種新的模式來進行測試，以提高測試效率，更重要的是讓測試過程成為科學探索的一部分，將無味的測試工作變成有趣的探索，在享受工作的同時完成測試。


本書兩位作者——微軟的史亮（@史亮SL）和淘寶的高翔（@季哥也是Jerry）都是我的老朋友了，他們正是國內探索式測試的早期實踐者，力圖通過本書將美妙的探索式測試呈現在我們面前，讓我們一睹探索式測試的思想、方法、技術和工具。我也認真看了本書的初稿，他們也的確做到了。


在談到探索式測試時，我們不免會提到James
A.Whittaker的《探索式軟件測試》一書，在此之前隻有這本書全面討論了探索式測試，從局部的探索式測試到全局的探索式測試，把測試人員比做一個旅行者，向我們介紹在不同的區域（如商業區、歷史區、娛樂區等）如何漫遊，進而告訴我們在實踐中如何利用漫遊法進行測試、在不同的場景下如何引入變化。James的確向我們展示了不少探索式測試的方法或技巧，打開了我們的測試思路，但James的《探索式軟件測試》也存在一些不足之處，例如：


陷入漫遊之中，差不多將“探索式測試”等價於“漫遊”。

沒有交待清楚探索式測試的背景，更沒有很好地交待探索式測試的思維方式。

沒有告訴我們如何從頭至尾進行探索式測試，即從測試的計劃、分析（探索式測試準備階段）到設計/執行的完整的測試過程，我們也就不知道如何進行探索式測試的管理、如何控制探索式測試帶來的潛在風險。


沒有告訴我們如何將探索式測試和基於腳本的測試方式兩者有機地結合起來，而現實工作中我們又不得不把兩者結合起來，形成一個完整、可靠的測試空間。


而史亮和高翔寫的《探索式測試實踐之路》這本書恰恰彌補了James
A.Whittaker的《探索式軟件測試》一書的不足，全書結構清晰，讓我們了解了“語境驅動測試學派”（Context Driven
Testing
School）、探索式測試思維方式、啟發式測試模型之後，能繫統地掌握探索式測試分析、設計與執行的具體方法，包括一批實用的測試工具。而且用了4章篇幅介紹如何實施與管理探索式測試，包括Session
Based Test
Management，詳細討論了如何將探索式測試和基於腳本的測試方式兩者有機地結合起來，重點介紹了兩種常見的應用模式：探索式測試主導的測試、探索式測試輔助的測試。全書實踐性也很強，書中絕大部分內容學了就可以應用，用了就可以產生效果。


在互聯網時代，在敏捷方法比較流行的今天，需求衍變越來越快，迭代周期越來越頻繁，正是探索式測試用武之時，希望本書能幫助大家更好地做好敏捷測試，成為工作中的伴侶。


朱少民

同濟大學教授，Certified
ScrumMaster、CSTQB資深專家和中國科技大學軟件學院教指委委員。從事軟件開發、測試、QA和過程改進等工作近二十年，在軟件工程領域有很高的造詣，在軟件測試流程改進、自動化方法和測試管理等方面進行了大量探索和實踐，提倡“全過程軟件測試”和“缺陷預防”等先進的軟件工程思想。先後獲得青島市、合肥市、安徽省、機械工業部等多項科技進步獎。編著有《完美測試》、《全程軟件測試》等多本技術著作。

推薦序2

很榮幸成為《探索式測試實踐之路》的首批讀者，並能為該書作序。我與史亮及高翔“神交”已久，雖暫未有機會把酒言歡，縱論天下，但從他們的文章和文字中，我早已看到了他們對軟件測試的熱情和執著，對測試本身的深刻思考和頗具成效的實踐。史亮與高翔都是熱愛思考、熱愛實踐並樂於分享的人，這本《探索式測試實踐之路》記錄了他們對探索式軟件測試的實踐，同時，也包含著他們對探索式測試的極大熱情與思考。


隨著敏捷開發與敏捷測試在國內逐步被接納，探索式測試也成了一個被廣泛關注的話題，似乎“忽如一夜春風來”，探索式測試就在這春風中突然吹過了國內的測試領域。實際上，探索式測試並不是一個全新的概念，基於探索方式進行測試的思想與實踐在若干年前就早已存在，隻不過，在那些時代，探索式測試被當成“奇技淫巧”，與“隨機測試”一樣難登大雅之堂，不在主流的測試方法之列。我次無意識地嘗試探索式測試的經歷是在2003年，當時我在工作中使用一種被我自己命名為“測試用例預演”的方法，在真正的產品尚未具備的時候，通過主動溝通獲取產品的設計信息，並據此設計一些場景測試，和開發人員通過“口頭交互”的方式來執行測試。這種看上去完全“無釐頭”的測試方法取得了讓我驚訝的效果，幫助我在軟件設計和實現階段發現了不少問題。現在看起來，這種方法就是一種典型的探索式測試實踐方法。當然，這種對探索式測試的無意識的應用盡管能夠在某些情況下取得效果，但卻很難像基於腳本的測試一樣全面評估測試的覆蓋率，多隻能作為一種補充實踐而已。


“難以評估測試的效果與覆蓋率”一直是探索式測試飽受詬病的一點。的確，在相當長的時間內，由於缺乏繫統性的理論指導，探索式測試一直很難同隨機測試劃清界限，難以在軟件測試領域內占據主要位置。但是，探索式測試真的無法成為軟件測試的主流方法嗎？一方面，當越來越多的軟件企業面臨著快速發布的壓力、面臨著必須更快地完成開發與測試的壓力時，完全遵從傳統的軟件測試思路要求的“先設計測試，再執行測試”的方法越來越顯得力不從心；另一方面，隨著探索式測試的理論逐漸成熟，以及越來越多實踐者在自己的工作中實踐探索式測試並取得了一定的成績，探索式測試也就自然而然地進入了測試的主流世界。探索式測試強調“同時進行測試設計與執行”，通過執行階段的發現進一步設計新的測試，能夠充分發揮軟件測試工程師的“主動發現和思考”的技能，既可以讓測試工程師在工作中獲得更多的成就，又可以讓測試本身進行得更加深入和徹底。


James
A.Whittaker在《探索式軟件測試》一書中首次對探索式測試進行了繫統化的描述，探索式測試中的“局部探索”方法解決面向功能點和場景的測試，而探索式測試中的“全局探索”方法則可以用於解決測試策略的問題。結合局部和全局的探索方法，測試工程師能夠使用探索式測試幫助自己在復雜的環境中進行卓有成效的探索。然而，要想真正在千變萬化的實際工作中成功地應用探索式測試，僅僅了解探索式測試方法的思路和應用方式並不夠。如同要贏得一場戰爭的勝利，除了要有正確的戰略思想外，還需要有良好的武器（工具）支持、在具體的復雜環境下使用合理的戰術（應用場景），要想在實際工作中應用好探索式測試，需要測試工程師們掌握探索式測試中的主要可用工具，具有在特定場景下應用探索式測試的能力。


史亮和高翔把自己一段時間以來的工作心得和對探索式測試的理解放到了本書中，從探索式測試的方法、工具、與自動化的結合等多個方面闡述了他們眼中的探索式測試。我在拿到本書後，一路讀下來，一氣呵成，毫無頓挫之感，而本書精彩的案例選擇更是讓人歡喜不已。不得不說，這是一本國內軟件測試方面難得的原創佳作，期待作者的良苦用心能讓更多讀者喜歡這本書，通過這本書了解並喜歡上趣味十足的探索式測試。

段念

前  言

“探索式測試”首次出現在中文文獻中可能是2004年出版的《軟件測試經驗與教訓（中文版）》。在當時至之後的幾年，探索式測試並沒有得到中文測試社區的廣泛重視和研究，在文獻和論壇上都難尋蹤跡。但是，近幾年來探索式測試受到了廣泛的關注，在會議、專著、專欄、博客、論壇、微博、會議和對話中，都可以見到測試人員熱烈地學習、討論和分享探索式測試。探索式測試由冷到熱的原因是眾多且復雜的，大致可歸納為以下幾點。


一些好的思想能夠且需要經受時間的考驗。雖然《軟件測試經驗與教訓》的作者都是國際知名的測試專家，且作序者是享有盛名的Tim
List，但是其中文版在出版之後並沒有受到普遍的重視，絕版之後也未重印。然而，此書在近幾年來受到了中文測試社區的肯定，常常被引用和推薦。這就是經典的魅力：時間會沉澱出有價值的思想，並讓它閃亮。


互聯網拉近了測試社區參與者的距離，測試人員能夠方便、快速地訪問大量的測試資源，並與國際測試專家交流。在此過程中，探索式測試的倡導者和實踐者CemKaner
、James Bach 、Michael Bolton 和James Whittaker
等的思想和實踐被更多的測試人員所接納。

探索式測試被更多的技術書籍所介紹，如《探索式軟件測試》 、《軟件測試實踐》
、《敏捷開發的藝術》、《敏捷軟件測試》、《軟件測試技術大全》
和《測試之美》等。它們從多個方面討論了探索式測試，使測試人員得以更好地理解其思想和方法。

越來越多的測試人員意識到線性的（瀑布式的）需求評審、設計評審、測試計劃、測試用例設計、測試用例執行、回歸測試並不能很好地適應高速變化的軟件開發，也不能準確地描述測試人員的真實工作方式。他們在積極地研究更好的測試思路和實踐方式。


探索式測試的中文社區正在逐步形成。測試人員通過會議、論壇和社會化網絡等方式交換思想、分享實踐。更多的志同道合者和差異化的觀點激發了更多的思考和討論。


雖然探索式測試受到了空前的關注，但是仍舊有許多測試人員對探索式測試充滿疑問（甚至誤解）。其中，常見的問題包括：

探索式測試的定義是什麼？其內涵與外延是什麼？

為什麼要研究並實踐探索式測試？它有什麼優勢？

探索式測試有什麼典型的測試技術？它們對我的工作有什麼幫助？

探索式測試與測試自動化是什麼關繫？我在工作中需要編寫大量的自動化測試用例，探索式測試能夠應用於我的工作中嗎？

有哪些工具支持探索式測試？

探索式測試如何融入現有的測試流程？我的部門有規定的開發過程，我可以引入探索式測試嗎？

探索式測試是不是難以追蹤、解釋和度量？實施探索式測試會不會引入較大的測試風險？

這些常見的問題反映了測試人員關注的重點，也表明探索式測試必須幫助測試人員解決實際的問題纔能獲得成功。本書的目標就是回答這些問題，分享作者們在探索式測試領域的實戰經驗和反思總結，並介紹業界專家的相關見解。


內容安排

本書內容可分成4個部分，共13章，從探索式測試的基本概念開始，介紹了探索式測試的思想、技術、自動化、工具、實施、組織與管理。


第1部分（第1章）詳細討論了探索式測試的定義、內涵與外延，並介紹了其指導理論“語境驅動測試學派”（Context Driven
Testing School）的7條原則。還通過“問與答”的方式，概要性地回答了測試人員感興趣的常見問題。

第2部分（第2～7章）介紹了探索式測試的具體技術。

第2章討論了探索式測試的思維方法，總領探索式測試設計的核心思想。

第3～5章詳細介紹了探索式測試分析、設計與執行的具體方法。針對單個特性測試、交互特性測試和繫統測試，提出了一批啟發式測試模型。


第6章通過一個實例分析了探索式測試對工具的需求，然後以功能測試為核心介紹了一批實用的測試工具。

第7章詳細討論了探索式測試與測試自動化的互補關繫，介紹了如何用探索式的風格來開發測試用例和測試工具。通過若干探索式自動化測試的實例，說明探索式測試的風格與思想同樣適用於測試開發。


第3部分（第8～12章）討論測試團隊如何實施與管理探索式測試。

第8章概論探索式測試的組織與實施，提出了指導測試實施的探索式測試四像限，並介紹了基於測程的測試管理（Session Based
Test Management）。

第9～12章分別介紹了探索式測試四像限的各個像限，包括自由風格（Freestyle）的探索式測試、探索式測試主導的測試、探索式測試輔助的測試和協作型探索式測試。


第4部分（第13章）回顧了全書內容，並站在更高的層面分析了探索式測試獲得成功的關鍵因素。

目標讀者

本書的目標讀者是具有一定測試經驗、想要提高測試理論和實踐水平的測試人員。第二部分介紹的測試思想、測試模型和測試設計方法能夠幫助他們更有效地進行測試。部分和第四部分的論述看似抽像，但是傳達了專家們在測試領域的思考與實踐，有助於測試人員更好地理解軟件測試，並提高實踐水平。本書並不要求讀者掌握特定的背景知識，作者希望此書能夠適合大多數測試人員，並引起他們的共鳴。


此外，本書也為想要了解探索式測試的測試領導提供了資料和建議。第三部分以探索式測試四像限為核心介紹了一批測試實施與管理方法，並通過基於測程的測試管理，使探索式測試達到可說明、可度量、可管理的目標。對於測試人員而言，這部分能夠幫助他們更好地組織測試，實施專注且高效的測試。


如何閱讀本書12

本書第1章給出了探索式測試的定義，概論了全書內容，需要首先閱讀。在讀完第1章後，讀者可以按任意順序閱讀本書。不同的讀者可以有不同的閱讀方式和目的，既可以順序閱讀，也可以跳到感興趣的章節，在閱讀的過程中快速參考前面的內容。


這是一本關於實踐的書。單純的閱讀並不會帶給讀者的收益。更有效的方式是，在閱讀過程中積極思考本書的內容是否符合自己的經驗、是否適用於自己的工作環境，然後創造性地將恰當的部分應用於測試實踐，用實踐來檢驗方法的有效性。通過閱讀、反思、實踐和評估的循環，能夠更好地理解並實施探索式測試。


致謝

作為作者，我們感謝電子工業出版社和博文視點公司為我們提供創作的平臺。感謝本書的編輯，你們的耐心指導幫助我們克服了寫作過程的種種困難。感謝審稿人提供的批評指教，你們的意見提升了本書的品質。


高翔的致謝詞：我感謝女友李燕芬在此書撰寫和修訂過程中給予的支持；也感謝在探索式測試學習和實踐中，淘寶網測試部郭芙、丘虛、雲齊、自在、侯風給予的大力支持和關心；更要感謝的是淘寶網測試工程師敢於嘗試探索式測試實踐並提供優秀的缺陷案例。


史亮的致謝詞：我感謝妻子湯紅紅在書稿撰寫全程給予的理解和支持，沒有你的幫助，我無法在探索之途遠行；我還要感謝兒子史泰德帶給我生活的快樂與動力，願我們共同成長。