目 錄



第1章 語言基礎1

1.1Go語言創世紀1

1.1.1來自貝爾實驗室特有基因3

1.1.2你好，世界4

1.2“Hello, World”的革命5

1.2.1B語言——Ken Thompson, 19695

1.2.2C語言——Dennis Ritchie，1972—19895

1.2.3Newsqueak——Rob Pike, 19897

1.2.4Alef——Phil Winterbottom, 19939

1.2.5Limbo——Sean Dorward, Phil Winterbottom, Rob Pike, 199510

1.2.6Go語言——2007—200911

1.2.7你好，世界!——V2.013

1.3數組、字符串和切片13

1.3.1數組14

1.3.2字符串17

1.3.3切片21

1.4函數、方法和接口27

1.4.1函數27

1.4.2方法31

1.4.3接口35

1.5面向並發的內存模型39

1.5.1Goroutine和繫統線程40

1.5.2原子操作40

1.5.3順序一致性內存模型44

1.5.4初始化順序45

1.5.5Goroutine的創建46

1.5.6基於通道的通信46

1.5.7不靠譜的同步48

1.6常見的並發模式49

1.6.1並發版本的“Hello, World”50

1.6.2生產者/消費者模型52

1.6.3發布/訂閱模型53

1.6.4控制並發數56

1.6.5贏者為王57

1.6.6素數篩58

1.6.7並發的安全退出59

1.6.8context包62

1.7錯誤和異常64

1.7.1錯誤處理策略65

1.7.2獲取錯誤的上下文67

1.7.3錯誤的錯誤返回69

1.7.4剖析異常70

1.8補充說明73

第2章 CGO編程74

2.1快速入門74

2.1.1簡CGO程序74

2.1.2基於C標準庫函數輸出字符串75

2.1.3使用自己的C函數75

2.1.4C代碼的模塊化76

2.1.5用Go重新實現C函數77

2.1.6面向C接口的Go編程78

2.2CGO基礎79

2.2.1import "C"語句79

2.2.2#cgo語句81

2.2.3build標志條件編譯82

2.3類型轉換83

2.3.1數值類型83

2.3.2Go字符串和切片85

2.3.3結構體、聯合和枚舉類型86

2.3.4數組、字符串和切片89

2.3.5指針間的轉換91

2.3.6數值和指針的轉換92

2.3.7切片間的轉換93

2.4函數調用94

2.4.1Go調用C函數94

2.4.2C函數的返回值94

2.4.3void函數的返回值95

2.4.4C調用Go導出函數96

2.5內部機制97

2.5.1CGO生成的中間文件97

2.5.2Go調用C函數98

2.5.3C調用Go函數101

2.6實戰：封裝qsort103

2.6.1認識qsort()函數103

2.6.2將qsort()函數從Go包導出104

2.6.3改進：閉包函數作為比較函數106

2.6.4改進：消除用戶對unsafe包的依賴108

2.7CGO內存模型110

2.7.1Go訪問C內存110

2.7.2C臨時訪問傳入的Go內存111

2.7.3C長期持有Go指針對像113

2.7.4導出C函數不能返回Go內存115

2.8C 類包裝117

2.8.1C 類到Go語言對像117

2.8.2Go語言對像到C 類121

2.8.3徹底解放C 的this指針125

2.9靜態庫和動態庫126

2.9.1使用C靜態庫126

2.9.2使用C動態庫128

2.9.3導出C靜態庫129

2.9.4導出C動態庫131

2.9.5導出非main包的函數131

2.10編譯和鏈接參數133

2.10.1編譯參數：CFLAGS/CPPFLAGS/CXXFLAGS133

2.10.2鏈接參數：LDFLAGS133

2.10.3pkg-config133

2.10.4go get鏈134

2.10.5多個非main包中導出C函數135

2.11補充說明135

第3章Go彙編語言136

3.1快速入門136

3.1.1實現和聲明136

3.1.2定義整數變量137

3.1.3定義字符串變量138

3.1.4定義main()函數141

3.1.5特殊字符141

3.1.6沒有分號142

3.2計算機結構142

3.2.1圖靈機和BrainFuck語言143

3.2.2《人力資源機器》遊戲144

3.2.3X86-64體繫結構145

3.2.4Go彙編中的偽寄存器146

3.2.5X86-64指令集147

3.3常量和全局變量150

3.3.1常量150

3.3.2全局變量150

3.3.3變量的內存布局156

3.3.4標識符規則和特殊標志157

3.3.5小結158

3.4函數158

3.4.1基本語法158

3.4.2函數參數和返回值160

3.4.3參數和返回值的內存布局161

3.4.4函數中的局部變量163

3.4.5調用其他函數165

3.4.6宏函數166

3.5控制流167

3.5.1順序執行167

3.5.2if/goto跳轉169

3.5.3for循環171

3.6再論函數172

3.6.1函數調用規範172

3.6.2高級彙編語言173

3.6.3PCDATA和FUNCDATA176

3.6.4方法函數177

3.6.5遞歸函數: 1到n求和178

3.6.6閉包函數180

3.7彙編語言的威力182

3.7.1繫統調用182

3.7.2直接調用C函數184

3.7.3AVX指令185

3.8例子：Goroutine ID187

3.8.1故意設計沒有goid187

3.8.2純Go方式獲取goid187

3.8.3從g結構體獲取goid189

3.8.4獲取g結構體對應的接口對像190

3.8.5goid的應用：局部存儲192

3.9Delve調試器194

3.9.1Delve入門194

3.9.2調試彙編程序198

3.10補充說明201

第4章RPC和Protobuf203

4.1RPC入門203

4.1.1RPC版“Hello, World”203

4.1.2更安全的RPC接口205

4.1.3跨語言的RPC207

4.1.4HTTP上的RPC209

4.2Protobuf210

4.2.1Protobuf入門210

4.2.2定制代碼生成插件212

4.2.3自動生成完整的RPC代碼215

4.3玩轉RPC218

4.3.1客戶端RPC的實現原理218

4.3.2基於RPC實現監視功能220

4.3.3反向RPC222

4.3.4上下文信息223

4.4gRPC入門224

4.4.1gRPC技術棧225

4.4.2gRPC入門225

4.4.3gRPC流227

4.4.4發布和訂閱模式229

4.5gRPC進階233

4.5.1證書認證233

4.5.2Token認證236

4.5.3截取器238

4.5.4和Web服務共存240

4.6gRPC和Protobuf擴展241

4.6.1驗證器241

4.6.2REST接口244

4.6.3Nginx246

4.7pbgo：基於Protobuf的框架246

4.7.1Protobuf擴展語法246

4.7.2插件中讀取擴展信息248

4.7.3生成REST代碼249

4.7.4啟動REST服務250

4.8grpcurl工具251

4.8.1啟動反射服務251

4.8.2查看服務列表252

4.8.3服務的方法列表253

4.8.4獲取類型信息253

4.8.5調用方法254

4.9補充說明255

第5章Go和Web256

5.1Web開發簡介256

5.2請求路由260

5.2.1httprouter260

5.2.2原理262

5.2.3壓縮檢索樹創建過程263

5.3中間件267

5.3.1代碼泥潭267

5.3.2使用中間件剝離非業務邏輯269

5.3.3更優雅的中間件寫法272

5.3.4哪些事情適合在中間件中做273

5.4請求校驗274

5.4.1重構請求校驗函數275

5.4.2用請求校驗器解放體力勞動276

5.4.3原理277

5.5Database 和數據庫打交道279

5.5.1從database/sql講起279

5.5.2提高生產效率的ORM和

SQLBuilder281

5.5.3脆弱的數據庫283

5.6服務流量限制285

5.6.1常見的流量限制手段287

5.6.2原理289

5.6.3服務瓶頸和 QoS291

5.7常見大型Web項目分層291

5.8接口和表驅動開發297

5.8.1業務繫統的發展過程297

5.8.2使用函數封裝業務流程298

5.8.3使用接口來做抽像298

5.8.4接口的優缺點301

5.8.5表驅動開發303

5.9灰度發布和A/B測試303

5.9.1通過分批次部署實現灰度發布304

5.9.2通過業務規則進行灰度發布305

5.9.3如何實現一套灰度發布繫統306

5.10補充說明310

第6章分布式繫統311

6.1分布式ID生成器311

6.1.1worker_id分配312

6.1.2開源實例313

6.2分布式鎖316

6.2.1進程內加鎖317

6.2.2嘗試鎖317

6.2.3基於Redis的setnx319

6.2.4基於ZooKeeper321

6.2.5基於etcd321

6.2.6如何選擇合適的鎖322

6.3延時任務繫統323

6.3.1定時器的實現323

6.3.2任務分發325

6.3.3數據再平衡和冪等考量326

6.4分布式搜索引擎327

6.4.1搜索引擎328

6.4.2異構數據同步336

6.5負載均衡337

6.5.1常見的負載均衡思路337

6.5.2基於洗牌算法的負載均衡338

6.5.3ZooKeeper集群的隨機節點挑選問題340

6.5.4負載均衡算法效果驗證340

6.6分布式配置管理341

6.6.1場景舉例341

6.6.2使用etcd實現配置更新342

6.6.3配置膨脹345

6.6.4配置版本管理345

6.6.5客戶端容錯345

6.7分布式爬蟲346

6.7.1基於colly的單機爬蟲346

6.7.2分布式爬蟲347

6.7.3結合nats和colly的消息生產350

6.7.4結合colly的消息消費352

6.8補充說明353

附錄A使用Go語言常遇到的問題354

附錄B有趣的代碼片段363

序一

互聯網時代的來臨，改變甚至顛覆了很多東西。從前，一臺主機就能搞定一切；而在互聯網時代，後臺由大量分布式繫統構成，任何單個後臺服務器節點的故障都不會影響整個繫統的正常運行。以七牛雲、阿裡雲和騰訊雲為代表的雲廠商的出現和崛起，標志著雲時代的到來。在雲時代，掌握分布式編程已經成為軟件工程師的基本技能，而基於Go語言構建的Docker、Kubernetes等繫統正是將雲時代推向的關鍵力量。

今天，Go語言已歷經十年，初的追隨者也已經逐漸成長為Go語言資深用戶。隨著資深用戶的不斷積累，Go語言相關教程隨之增加，在內容層面主要涵蓋Go語言基礎編程、Web編程、並發編程和內部源碼剖析等諸多領域。

本書作者是國內批Go語言實踐者和Go語言代碼貢獻者，創建了Go語言中國討論組，並組織了早期Go語言相關中文文檔的翻譯工作。作者從2011年開始分享Go語言和C/C 語言混合編程技術。本書彙集了作者多年來學習和使用Go語言的經驗，內容涵蓋CGO特性、Go彙編語言、RPC實現、Protobuf插件實現、Web框架實現、分布式繫統等高階主題。其中，CGO特性實現了Go語言對C語言和C 語言混合編程的支持，使Go語言可以無縫繼承C/C 世界數十年來積累的巨大軟件資產。Go彙編語言更是提供了直接調用底層機器指令的方法，讓我們可以限度地提升程序中熱點代碼的性能。

目前，國內互聯網公司的新興項目已經在逐漸向Go語言生態轉移，大型分布式繫統的開發實戰經驗也是大家關心的熱點。這些高階或前沿特性正是本書所關注的課題，在這些方面作者通過不斷鑽研和實踐積累了很多寶貴經驗。

總體來說，本書適合有一定Go語言經驗，並想深入了解Go語言各種高級用法的開發人員。對於Go語言新手，建議在閱讀本書前先閱讀一些基礎Go語言編程圖書，例如D&K的The Go Programming Language。

後，感謝作者在Go語言領域的筆耕不輟和突出貢獻，時代需要的正是這樣對於新興技術不斷關注、鑽研和推動的布道者。七牛雲作為一家技術領先的科技公司，也將在這條布道者的道路上不斷前進，為推動科技的發展、中國企業的雲落地和行業的數字化轉型貢獻自己的力量。

許式偉，七牛雲CEO

2019年5月於上海

從閱讀“Go語言聖經”初識Go語言，到學習《Go並發編程實戰》，再到深入《Go語言高級編程》，一路走來收獲很多。如果你想提升自己的編程和架構能力，可以認真閱讀本書，從中能夠學到很多有用的知識和技巧。

——askuy，鬥魚網絡科技有限公司工程師

我在讀本書的時候，深深地體會到兩位作者扎實的基本功和豐富的實戰經驗。本書面向想要深入了解Go語言各種用法的開發人員，適合有一定Go語言基礎的人閱讀。

——邊江，百度工程師

Go語言從誕生至今已歷經10年。在這10年間，中國逐漸成為Go語言用戶zui多的國家。專業Go開發者數量的持續增長，帶動了國內Go編程的熱潮。而且在近幾年，我們的技術社區湧現出了一批高階的Go語言使用者和研究者，本書作者柴樹杉和曹春暉是其中很耀眼的兩位。他們的這本書涵蓋了Go語言編程中容易讓人困惑的幾大主題。如果你想弄清楚怎樣用Go語言開發分布式繫統，我首先向你推薦這本書。

——郝林，GoHackers技術社群發起人，專欄《Go語言核心36講》和圖書《Go並發編程實戰》的作者

這是我接觸Go語言以來看過的書中非常喜歡的一本。全書覆蓋了Go語言生態的很多內容，不僅從源碼層面幫助讀者一窺Go語言的究竟，還對構建Web服務的各個子領域進行深入淺出的介紹，是非常接地氣的Go語言學習資料。

——馬江，北京全民快樂科技有限公司開發工程師

作為一個從Go 1之前就開始使用Go 語言的Gopher，關於Go語言的書我讀過不少，如果你跟我一樣想更深入地了解CGO、彙編、Web框架等在其他書中可能一筆帶過的高階知識，那麼我推薦本書給你。

——四月份平民

這是一本能滿足Gopher好奇心的書。與其他Go語言的書相比，本書更傾向於描述實現細節，這極大地滿足了我的探索欲望。除此之外，作者對技術一絲不苟、精益求精的精神也打動了我。我曾有幸為本書第3章（Go彙編語言）提一些建議，令我印像深刻的是，每次提出建議後作者都很快針對這些建議拋出一連串有趣的新問題，並進行深入研究，然後纔將確認的內容補充到書中。我會將本書推薦給每一位Gopher，希望他們能從新的角度了解Go，認識Go，喜歡Go。

——徐祥曦，白山雲技術專家

本書作者是國內Go語言實踐者和Go語言代碼貢獻者，創建了Go語言中國討論組，並組織了早期Go語言相關中文文檔的翻譯工作。本書彙集了作者多年來學習和使用Go語言的經驗，內容涵蓋CGO特性、Go彙編語言、RPC實現、Protobuf插件實現、Web框架實現、分布式繫統等高階主題。本書適合有一定Go語言經驗，並想深入解Go語言各種用法的開發人員。

——許式偉，七牛雲CEO

本書闡明了官方文檔某些語焉不詳的部分，有助於Gopher了解更多內在實現，以及日常工作中需要用到的RPC、Web、分布式應用等內容。我認識本書作者之一曹春暉，對他的學習態度和能力頗為欽佩，因此推薦大家閱讀本書。

——雨痕，《Go 語言學習筆記》和《Python 3 學習筆記》作者