目錄

部分架構簡介
第1章架構簡介 2
1.1架構的定義 2
1.2對架構師的要求 4
1.3互聯網架構的挑戰 7
1.4一切盡在控制 8
1.5小結 10

第二部分架構設計的技術方法
第2章切分與擴展 16
2.1切分 16
2.1.1數據維度切分 16
2.1.2 邏輯維度切分 23
2.1.3切分的優點 24
2.2擴展 25
2.2.1部署擴展 25
2.2.2 升級擴展 27
2.2.3set模型 29
2.3小結 31
第3章主動發現 33
3.1日志 34
3.1.1為什麼要記日志 34
3.1.2日志級別 35
3.1.3日志類型 36
3.1.4注意事項 38
3.2 監控 40
3.3主動發現的監控標準 43
3.3.1繫統層監控 43
3.3.2 用戶側監控 44
3.3.3 應用層監控 45
3.4 其他形式的監控 47
3.5小結 49
第4章自動化 52
4.1自動部署 54
4.1.1準備 54
4.1.2實現 55
4.1.3驗證 57
4.2自動恢復 58
4.2.1服務恢復 58
4.2.2流量遷移 60
4.3提升自動化意識 63
4.4其他場景 64
4.5小結 66
第5章灰度升級 67
5.1策略 68
5.1.1按照用戶身份執行灰度策略 68
5.1.2按照號段執行灰度策略 69
5.1.3按照命令號執行灰度策略 70
5.1.4按照時間執行灰度策略 71
5.2灰度部署方式 73
5.2.1藍綠部署/發布 73
5.2.2金絲雀發布 74
5.3注意事項 75
5.3.1數據采樣 75
5.3.2及時回滾 76
5.3.3周期完全 76
5.3.4測試完全 77
5.3.5充分驗證 78
5.4案例—繫統遷移下線操作 79
5.4.1驗證和比對 79
5.4.2回滾 80
5.5小結 81
第6章過載保護 82
6.1過載的現像及原因 82
6.1.1什麼是過載 82
6.1.2過載現像及原因分析 85
6.2處理方式 86
6.2.1隔離 87
6.2.2限流 88
6.2.3節流和防抖 94
6.2.4動態調節 95
6.2.5盡早拒絕 96
6.2.6調整緩衝區大小 97
6.2.7減少重試 98
6.2.8做好容量評估 98
6.3小結 99
第7章負載均衡 100
7.1理論算法 100
7.1.1基本輪詢 100
7.1.2加權輪詢 102
7.1.3隨機訪問 103
7.1.4源地址Hash 104
7.1.5小連接數 105
7.1.6映射分配 106
7.1.7一致性Hash 107
7.2動態負載均衡 110
7.3常用組件 111
7.3.1DNS 111
7.3.2Nginx 111
7.3.3LVS 113
7.3.4NAT模式 113
7.3.5DR模式 114
7.3.6IP Tunneling模式 115
7.3.7SDK組件 117
7.4實際案例—Web類業務負載均衡實現 117
7.5小結 119
第8章柔性 120
8.1理論基礎 122
8.1.1CAP定理 122
8.1.2BASE理論 124
8.2柔性的實現方法 126
8.2.1產品角度 127
8.2.2技術角度 128
8.3驗證方式 131
8.4小結 132
第三部分架構思維意識
第9章穩定為王 137
9.1控制因素 137
9.1.1安全 137
9.1.2變更 141
9.2保障方法 144
9.2.1合理拒絕 145
9.2.2釐清主次關繫 145
9.2.3容量量化 147
9.2.4 預先準備 148
9.2.5 注重監控 149
9.2.6 敬畏之心 150
9.3應對異常 152
9.3.1處理事故 152
9.3.2管理預期 153
9.3.3 復盤總結 153
9.3.4 有效預防 153
9.3.5 謹慎變更 154
9.4 小結 155
第10章 完成比完美重要 156
10.1 先扛住再優化 156
10.1.1 快速搶占市場 157
10.1.2 實現先於性能 157
10.1.3 需求可能修改 158
10.1.4 驗證用戶行為 158
10.1.5 突發問題案例 158
10.2 小可用，快速迭代 160
10.3 不要等待 160
10.4 接受不完美 161
10.4.1 分清主次 161
10.4.2 自動化降級 162
10.4.3 代價 162
10.5 及時償還技術債務 163
10.5.1 定期重構 164
10.5.2 及時清理 165
10.5.3 對技術有追求 167
10.6 小結 167
第11章 聚沙成塔 168
11.1 小而簡潔 168
11.2 擴展能力 172
11.3 小結 173
第12章 自動化思維 175
12.1 拒絕重復 175
12.1.1 時間成本 175
12.1.2 解決重復 176
12.2 工具繫統化 178
12.3 小結 180
第13章 產品思維 181
13.1 體驗業務 181
13.2 體驗競品 182
13.3 揚長避短 183
13.4 控制欲望 184
13.5 獻計獻策 185
13.6 反哺方案 185
13.7 小結 186

第四部分善用工具
第14章算法 189
14.1 樹狀數組 190
14.1.1 問題場景 190
14.1.2 排行榜實現及優化方案 191
14.1.3 樹狀數組實現排行榜 191
14.1.4 樹狀數組優化排行榜 195
14.2 多階Hash算法 196
14.2.1 原理 196
14.2.2 優點 197
14.2.3 缺點 198
14.3 利用線性同餘的一致性Hash算法 199
14.3.1 算法內容 199
14.3.2 適用場景 199
14.3.3 實現原理 200
14.4 隨機數在互聯網業務中的應用 203
14.4.1 隨機數的生成方法 203
14.4.2 誤用隨機數的場景 205
14.4.3 項目中用到隨機數的場景 207
14.5 小結 212
第15章 流程和文化 213
15.1 流程 213
15.1.1 需求階段 214
15.1.2 開發階段 215
15.1.3 測試階段 217
15.1.4 發布階段 219
15.1.5 運營階段 220
15.1.6 管理機制 221
15.2 文化 222
15.3 小結 223
第五部分案例剖析
第16章架構案例剖析 226
16.1小型案例—統計用戶在線時長 226
16.1.1需求描述 226
16.1.2項目背景 227
16.1.3需求分析 228
16.1.4實現方案 228
16.1.5案例總結 230
16.2中型案例—抽獎活動 231
16.2.1需求描述 231
16.2.2需求分析 231
16.2.3實現方案 232
16.2.4整體架構設計 238
16.2.5案例總結 240
16.3大型案例—短網址服務 241
16.3.1需求描述 241
16.3.2需求分析 241
16.3.3需求一：內部使用 243
16.3.4需求二：大型互聯網服務方案 246
16.4小結 256

前言
為什麼寫這本書
架構師是許多互聯網開發工程師的職業目標，然而一步步修煉為架構師卻並不容易。
回想從事互聯網開發的十餘年經歷，在架構方面的成長，主要得益於所處的團隊的良好氛圍和眾多項目經歷。在職業生涯初期，加入了QQ後臺團隊，遇到了很多互聯網行業中技術能力的前輩。通過他們的無私傳授，吸收了許多成熟經驗，拓寬了知識面，學到了很多書本上沒有的架構知識。同時參與了多個大型項目的研發，通過解決實際問題鍛煉了能力。每一次實戰都加深了對架構知識的理解，領悟了許多架構設計的道理。此外，還學習了許多架構技術之外的非技術知識，為日後成為架構師奠定了堅實的基礎。
近幾年，在培養新人提升架構能力時，發現大家很努力，但是架構設計能力成長卻並不明顯。大體有兩個原因：一方面是通過實踐學習架構知識的機會越來越少。隨著公有雲技術的發展，大家可以輕而易舉地實現一套成熟的互聯網業務。大家在繫統層面遇到架構問題的概率變小了，通過實踐學習架構知識的路徑也被拉長。另一方面，大家缺乏繫統性學習架構的資料。很多新人反饋，平時閱讀的內容，大都是介紹某種技術的專業書籍，或者是某種具體場景的解決方案的文章，導致大家對於架構設計缺乏繫統性的認知，在遇到一些架構問題時不知道如何解決，希望能夠有一些資料繫統地覆蓋架構知識及其原理。因此結合本人多年的工作實踐，繫統整理了所學的架構知識，並闡述了架構設計背後的道理，終彙集成一本書。希望新人通過閱讀本書，學到一些架構方法，在遇到問題時能夠有的放矢，找到解決問題的方向。具有開發經驗的讀者，通過閱讀本書能夠領略技術背後的道理，舉一反三，提升解決實際架構問題的能力。
本書是對互聯網研發工作的階段性總結，把已有的知識記錄下來，然後放空自己，繼續前行。本書也是對從前幫助過我的前輩們的一種致敬，作為一種感謝的方式，通過本書把知識傳遞下去，希望能幫助更多的人，把幫助新人成長的精神傳承下去。
主要內容
本書主要講解架構設計的思維和方法，同時介紹提高架構穩定性的工具。後通過架構設計案例來加深讀者對理論知識的理解。
架構簡介：介紹架構的基本定義，對其有一個明確的定位。
架構設計的技術方法：介紹設計互聯網架構用到的主要方法，讀者通過這部分內容可以了解具體的技術方法，並可以在日常的架構設計中借鋻，提升軟件架構設計能力，優化項目。
架構思維意識：介紹架構設計思維的本質，使得架構師在不同技術環境、不同時代背景下，都能設計出滿足需求的架構。
善用工具：在算法、流程和文化等方面，介紹一些好用的工具。合理運用這些工具，可以達到事半功倍的效果。
案例剖析：列舉在實際架構設計中的案例，通過案例加深讀者對理論知識的理解。
由於各個章節的內容是相對獨立的，讀者既可以按照章節順序來閱讀，也可以根據需要選擇感興趣的章節閱讀。
適合讀者
本書主要適合互聯網初中級後端開發人員，書中的方法大都是從工程實踐中獲得，並經過實際驗證，能夠有效地解決業務問題。通過本書能夠對架構技術的理論知識框架有所了解，找到學習方向。讀者可以根據自己的實際能力，側重學習架構技術方法，或者提高架構思維意識。
本書也適合互聯網行業的產品經理，為了說明架構設計的道理，本書盡量用通俗簡單的方式講解理論知識。產品經理通過本書，可以學習到架構技術的一些基礎知識，在撰寫需求文檔、設計互聯網產品時，起到約束需求和規避風險的作用。例如在灰度升級和柔性的章節中，會說明在繫統異常情況下，如何保證用戶的基本體驗——需要在產品和用戶教育上進行方案設計。關於互聯網架構設計心得的其他部分，對於產品經理或其他互聯網相關從業人員，同樣具有借鋻意義。
本書還適合即將加入互聯網行業的新人。書中的知識和案例都來自對實際項目的總結。剛入行的新人可以重點關注書中的案例，對互聯網行業有一個初步的認識，了解架構設計的基礎知識，在以後遇到類似的情況時，明確解決問題的方向。
勘誤與支持
由於個人能力有限，書中難免有疏漏之處，歡迎讀者批評指正。如果對書中的內容有疑問或者建議，可以通過掃描二維碼關注微信公眾號“owenzhang”與我討論。

致謝
感謝博文視點的陳曉猛編輯，為本書的出版付出了很多，在他的督促和幫助下本書纔得以順利完成。
感謝家人的支持和鼓勵，讓我專心完成書稿。
感謝ppchen為本書寫序。ppchen分享過很多領域的知識，從海量服務的課程，到許多基礎學科的總結及觀點。通過這些分享，我學習到很多新知識，開闊了眼界，提升了基礎能力。
感謝bison的指導和幫助，bison對於技術的追求和深入研究的精神，一直都影響著我。
感謝陳國林對本書的推薦，在項目管理和團隊管理方面給我提供了很多學習的機會和建議。
感謝troy對本書提出的修改意見。troy在工作中的熱心態度和充滿正能量的精神，一直都值得我學習。
感謝spray的教導和幫助。從技術知識到工作方法給予了我很多幫助和支持，為我在職業早期奠定了良好的基礎。
感謝曾經所在的QQ後臺團隊和所有共事的同事。我在團隊中歷練了技術能力，培養了職業精神，受益終身。我為曾經加入過這個富有激情和充滿實力的團隊而感到驕傲。
後衷心希望本書能夠幫助讀者設計出好的架構，成為優秀的互聯網架構師！

張雲鵬