大數據時代已經到來，隨著數據的逐步開放，交通領域的研究課題或多或少都要接觸、使用時空

大數據。交通領域的從業者迫切需要強有力的工具和技術應對日益紛雜的交通數據。交通是一個交叉

學科，交通數據分析人纔的知識體繫需要與數據處理、網絡爬蟲、數據可視化、地理信息、復雜網絡、

數據挖掘、機器學習等多學科知識深度融合，這也為交通領域的人纔培養帶來巨大挑戰。

在此背景下，本書針對不同的學習階段與業務需求設計了三篇共15章內容。基礎篇（第1～5章）

梳理Python數據分析、網絡爬蟲、數據可視化、地理信息等基礎知識；應用篇（第6～10章）介紹

出租車GPS數據、地鐵IC刷卡數據、共享單車訂單數據、公交GPS數據等各類時空大數據的實際案

例應用；方法篇（第11～15章）融彙數據挖掘、空間統計、復雜網絡學科等交叉學科方法，與交通

領域的大量實際案例分析結合，全面梳理總結交通時空大數據所需跨學科技能。

本書由淺入深，學科交叉，強調實踐。對讀者不同的學習階段與業務需求設計相應內容，全面梳

理總結交通大數據科研所需技能，並與交通領域的大量實際案例分析結合。本書可作為教材也可作為

參考工具書，基礎篇定位交通數據領域新手入門，應用篇定位有數據分析需求的高校學生或社會人士，

方法篇定位高校學術科研人員。

餘慶（交通數據小旭學長）

博士，南方科技大學斯發基斯可信自主繫統研究院助理研究員，交通時空大數據開源Python庫TransBigData作者。B站交通時空大數據相關視頻課程總播放量超過80萬。2022年博士畢業於同濟大學交通運輸工程專業，博士期間赴日本東京大學公派聯合培養，主要研究方向為交通大數據分析、數據可視化、城市計算，發表SCI論文十餘篇。自2020年起在B站上制作交通時空大數據相關課程，涵蓋時空數據處理、數據可視化等。

李瑋峰

同濟大學交通運輸工程學院助理研究員，博士。主要研究方向為交通規劃、智能交通繫統規劃和交通大數據分析。參加國家重點研發計劃項目1項、國家自然科學基金重點項目2項、面上項目2項，國家科技支撐計劃項目2項，同時參加地方政府和科研院所的研究與咨詢項目多項。發表期刊及會議論文50餘篇，其中SCI收錄16篇、EI收錄20餘篇；完成專著3本；獲得發明專利4項，軟件著作權3項。

基 礎 篇
第1章緒論 2
1.1 多源交通時空大數據簡介 2
1.1.1 傳統集計統計數據 3
1.1.2 個體連續追蹤數據 4
1.1.3 地理空間信息數據 5
1.2 為什麼要用Python處理交通大數據 6
1.2.1 常用數據處理技術 6
1.2.2 Python在交通大數據領域中的優勢 8
1.2.3 Python與SQL的比較 9
1.3 大規模數據處理的解決方案 9
1.3.1 決定大數據處理性能的三個硬件要素 9
1.3.2 分布式數據處理架構 11
1.4 本章習題 14
第2章Python數據處理基礎 15
2.1 Python的環境配置 15
2.1.1 Python的集成開發環境 15
2.1.2 Anaconda的安裝 16
2.1.3 Jupyter Notebook的使用 16
2.1.4 Python第三方庫的安裝 18
2.2 Python基本語法 19
2.2.1 對像與變量 19
2.2.2 運算符 20
2.2.3 內置數據類型 20
2.2.4 語句 24
2.2.5 函數 26
2.2.6 包的使用 27
2.2.7 數據分析常用第三方庫簡介 28
2.3 pandas數據處理基礎 29
2.3.1 數據文件的編碼格式與存儲形式 30
2.3.2 數據表的行列處理 33
2.3.3 數據的表格運算 41
2.4 時空大數據的處理思維 46
2.4.1 復雜數據處理任務的解決思路 46
2.4.2 數據處理任務分解實例：地鐵換乘量識別 49
2.5 數據處理中表格運算的常用技巧 51
2.5.1 分組編號 51
2.5.2 去除重復的記錄 53
2.5.3 個體ID重新編號 54
2.5.4 生成數據之間的對應表 55
2.5.5 時空插值 58
2.6 本章習題 60
2.6.1 思考題 60
2.6.2 Python基礎代碼練習 60
2.6.3 pandas基礎代碼練習 62
第3章數據可視化基礎 64
3.1 可視化的基本原則 64
3.1.1 為什麼要可視化 64
3.1.2 可視化的基本原則 65
3.1.3 可視化中需要注意的問題 69
3.2 可視化的顏色選擇 69
3.2.1 可視化的配色為什麼重要 69
3.2.2 可視化的顏色色相的選擇 70
3.2.3 顏色空間 72
3.2.4 Brewer調色板 73
3.3 可視化的圖表類型 75
3.3.1 可視化圖表的類型與選擇思路 75
3.3.2 對比型圖表 77
3.3.3 趨勢型圖表 82
3.3.4 分布型圖表 86
3.3.5 構成型圖表 95
3.3.6 聯繫型圖表 98
3.4 可視化的技術與工具 101
3.4.1 常用可視化工具簡介 101
3.4.2Web數據可視化技術 102
3.4.3 時空大數據的Web可視化 105
3.5 本章習題 107
第4章地理信息處理基礎 108
4.1 GIS的基本概念 108
4.1.1 什麼是GIS 108
4.1.2 互聯網 GIS：基於位置的服務LBS 109
4.1.3 常用的GIS工具 110
4.2 空間數據的基本概念 112
4.2.1 空間數據結構 112
4.2.2 空間數據文件 114
4.3 坐標繫的基本概念 118
4.3.1 地理坐標繫與投影坐標繫 118
4.3.2火星坐標繫 123
4.3.3 地理空間數據的坐標繫定義與轉換 124
4.4 柵格化 126
4.4.1 為什麼數據需要柵格化 126
4.4.2 柵格化的基本原理 127
4.5 地圖底圖 131
4.5.1 瓦片地圖：Web地圖的加載原理 131
4.5.2Python中地圖底圖的加載 132
4.6 本章習題 134
第5章網絡爬蟲基礎 135
5.1 網絡爬蟲的基本概念 135
5.1.1 什麼是網絡爬蟲 135
5.1.2 為什麼要用爬蟲 136
5.1.3 爬蟲的注意事項 137
5.2 網絡加載、請求與解析 138
5.2.1 網頁的加載 138
5.2.2 網頁的請求 140
5.2.3 網頁的解析 146
5.3 開放平臺 150
5.3.1 什麼是開放平臺 150
5.3.2 什麼是API和SDK 150
5.3.3 地圖開放平臺 151
5.4 常見數據的爬蟲思路 152
5.4.1 公交與地鐵線網數據 152
5.4.2 行政區劃矢量面數據 153
5.4.3 POI數據 154
5.4.4 房價數據 155
5.4.5 路網數據 155
5.4.6 數據爬取的注意事項 156
5.5 本章習題 156
應 用 篇
第6章出租車GPS數據—時空大數據處理基礎 158
6.1 出租車GPS數據簡介 158
6.2 出租車GPS數據的讀取與數據清洗 159
6.2.1 數據的讀取 159
6.2.2 數據異常的清洗 160
6.3 出租車數據的時間完整性評估 166
6.3.1 時空大數據的質量評估 166
6.3.2 出租車GPS數據的時間完整性評估 167
6.4 出租車數據的空間完整性評估 172
6.4.1 出租車GPS數據空間分布柵格圖 173
6.4.2 出租車GPS數據空間分布散點圖 180
6.4.3 出租車GPS數據空間分布熱力圖 182
6.4.4 數據分布不同繪制方式的總結 185
6.5 出租車訂單出行特征分析 187
6.5.1 出租車出行訂單的OD提取 187
6.5.2 出租車出行訂單持續時間的統計 191
6.5.3 出租車出行訂單的柵格OD可視化 194
6.5.4 出租車出行的OD期望線繪制 199
6.6 本章習題 203
第7章
地鐵IC刷卡數據—城市軌道交通客流分析 204
7.1 數據與思路 204
7.1.1 IC刷卡數據簡介 204
7.1.2 地鐵線路與站點GIS數據簡介 205
7.1.3 思路簡介 205
7.2 地鐵拓撲網絡的構建 206
7.2.1 地鐵網絡構建思路 206
7.2.2 地鐵線網數據讀取與整理 208
7.2.3 網絡的軌道邊 209
7.2.4 網絡的換乘邊 211
7.2.5 網絡的構建 213
7.3 地鐵出行路徑提取 214
7.3.1 IC刷卡數據中的OD提取 215
7.3.2 出行路徑提取 217
7.4 軌道斷面客流分布可視化 220
7.4.1 斷面客流集計 220
7.4.2 斷面客流分布繪制 222
7.5 軌道斷面客流蛛網圖可視化 226
7.5.1 可視化思路 226
7.5.2 斷面線型的生成 227
7.5.3 線型平移與可視化繪制 233
7.6 本章習題 236
第8章
共享單車數據—軌道站點銜接需求分析 237
8.1 共享單車數據簡介 237
8.2 共享單車的出行鏈重構 239
8.2.1 出行鏈重構思路 239
8.2.2 出行鏈重構的代碼實現 240
8.2.3 騎行與停車提取 242
8.3 共享單車使用特征分析 243
8.3.1 騎行距離 244
8.3.2 騎行次數 246
8.3.3 用車時長 248
8.3.4 停車時長與單車利用率 250
8.4 軌道銜接出行識別 252
8.4.1 KDTree空間搜索算法的原理 253
8.4.2 KDTree的代碼實現 255
8.4.3 KDTree識別軌道銜接出行 256
8.4.4 軌道銜接單車騎行範圍分析 258
8.5 本章習題 262
第9章
公交GPS數據—城市公交運行狀況分析 263
9.1 公交GPS數據簡介 263
9.2 公交GPS數據的預處理 266
9.2.1 采樣間隔 266
9.2.2 地圖匹配 269
9.3 公交車輛運行圖繪制 274
9.3.1 單輛車的運行圖繪制 275
9.3.2 多輛車的運行圖繪制 278
9.4 公交到離站信息識別 281
9.4.1 識別思路 281
9.4.2 單輛車到離站識別的代碼實現 282
9.4.3 多輛車到離站信息的批量識別 288
9.5 公交運行指標 290
9.5.1 單程耗時與運營速度 290
9.5.2 到站間隔 294
9.6 本章習題 296
第10章
TransBigData—交通時空大數據處理、分析可視化工具 297
10.1 TransBigData簡介 297
10.2 TransBigData的方法介紹 298
10.2.1 數據質量分析與數據預處理 298
10.2.2 數據柵格化 299
10.2.3 數據聚合集計 300
10.2.4 數據可視化 300
10.2.5 軌跡數據處理 301
10.2.6 GIS處理方法 301
10.2.7 地圖底圖加載 302
10.2.8 坐標轉換與距離計算 302
10.2.9 數據獲取 303
10.3 TransBigData使用示例 303
10.4 本章習題 310
方 法 篇
第11章聚類 312
11.1 什麼是聚類 312
11.2 K-均值聚類 313
11.3 密度聚類DBSCAN 314
11.4 層次聚類Hierarchical 315
11.5 實例：基於sklearn包的聚類算法的實現 318
11.5.1 測試數據集的生成 318
11.5.2 聚類方法的實現 321
11.5.3 聚類結果的比較 322
11.6 
實例：DBSCAN密度聚類算法識別共享單車停車聚集區域 325
11.6.1 共享單車停車存量識別 325
11.6.2 DBSCAN識別共享單車停車聚集區域 327
11.7 本章習題 329
第12章分類 330
12.1 什麼是分類 330
12.2 分類算法的介紹 331
12.2.1 K鄰近 331
12.2.2 支持向量機 332
12.2.3 決策樹 334
12.2.4 隨機森林 338
12.2.5 邏輯回歸 338
12.2.6 人工神經網絡 339
12.3 分類模型的評價 340
12.3.1 數據集的劃分與交叉驗證 340
12.3.2 混淆矩陣 341
12.3.3 ROC曲線和AUC值 342
12.4 實例：基於sklearn包的分類算法的實現 344
12.4.1 分類算法實現與決策邊界繪制 344
12.4.2 分類模型的代碼實現 345
12.4.3 模型評價 347
12.5 本章習題 348
第13章降維與矩陣分解 349
13.1 什麼是降維 349
13.2 主成分分析 350
13.2.1 PCA是什麼 350
13.2.2 PCA的原理與求解 352
13.2.3 PCA的代碼實現 359
13.3 奇異值分解 366
13.3.1 SVD是什麼 366
13.3.2 SVD的求解 368
13.3.3 SVD的代碼實現 371
13.4 非負矩陣分解 376
13.4.1 什麼是NMF 376
13.4.2 NMF的代碼實現 378
13.5 魯棒主成分分析 382
13.5.1 為什麼要有RPCA 382
13.5.2 RPCA的求解 382
13.5.3 RPCA的代碼實現 384
13.6 實例：利用SVD分解分析出租車需求模式 386
13.6.1 矩陣分解如何幫助理解時空矩陣 386
13.6.2 利用SVD分解分析出租車需求模式 389
13.6.3 結果分析 397
13.7 本章習題 398
第14章空間統計 399
14.1 什麼是空間統計 399
14.1.1 空間統計簡介 399
14.1.2 PySAL：在Python中實現空間統計 400
14.2 空間關繫權重 400
14.2.1 空間關繫權重的定義 400
14.2.2 空間關繫權重的選擇 402
14.2.3 Python中空間關繫權重的獲取 403
14.3 空間自相關與熱點分析 407
14.3.1 空間自相關 407
14.3.2 熱點分析 410
14.3.3 Python空間自相關與熱點分析 412
14.4 地理加權回歸 417
14.4.1 線性回歸與小二乘法 417
14.4.2 地理加權回歸 419
14.4.3 Python地理加權回歸 421
14.5 本章習題 431
第15章復雜網絡與社區發現 432
15.1 什麼是復雜網絡 432
15.1.1 網絡的基本概念 432
15.1.2 復雜網絡的特性 433
15.2 社區發現的原理與實現 434
15.2.1 復雜網絡中的社區 434
15.2.2 非重疊社區劃分算法 435
15.2.3 重疊社區劃分算法 436
15.3 實例：基於社區發現的共享單車市場導向分區 438
15.3.1 課題思路 438
15.3.2 數據預處理 440
15.3.3 網絡構建 442
16.3.4 社區發現與結果整理 444
16.3.5 結果的可視化 447
15.4 本章習題 450

大數據時代已經到來，隨著數據的逐步開放，交通領域的研究課題或多或少都要接
觸、使用時空大數據。交通領域中大數據的實際應用需求增加，也促使交通數據分析師、
交通數據科學家的職業誕生。交通領域的從業者迫切需要強有力的工具和技術應對日益紛
雜的交通數據。

交通領域目前需要處理的數據通常規模巨大、種類繁多，數據通常涉及個體級別連
續追蹤的時空數據。其中，數據所包含的重要的信息包括：誰？什麼時候？在哪裡？

數據通常有多種來源，各種類型的數據格式不同、數據特征不同、數據質量不同，
則要求我們的處理技術能夠靈活多變，針對不同數據情況有不同的處理方法。在時間層面
的連續追蹤，相比傳統的數據庫檢索處理，在處理過程中則更加強調連續數據之間時間序
列前後的邏輯，我們關注的不再隻是單一的某條數據，而是時間上連續的幾條、幾十條
記錄；在空間層面的GPS定位數據，在處理過程中則要求我們能夠將經緯度轉換、距離計
算、空間位置關繫判斷、空間聚合集計等地理空間數據處理技術緊密、高效、無縫地與整
個數據處理流程相銜接。如何應對多源時空大數據？前面提到的眾多要求對我們所需掌握
的數據處理技術帶來了巨大挑戰。

在獲取交通時空數據後，我們馬上就會面臨著以下工作：如何處理數據？如何處理
GPS定位數據的經緯度信息？如何可視化數據？如何獲取其他輔助的數據（如路網、公交
和地鐵線路等）？同時，我們還要關注：各類數據有什麼特征？怎麼樣處理這些數據纔更
合適、更高效？

然而，這其中所遇到的很多問題都是傳統的交通學科所學課程內容無法囊括與解答
的。交通學子可能需要在沒有接觸過編程的時候就需要寫出足以處理大規模數據的代碼，
在沒有學習了解地理坐標繫與投影坐標繫的情況下就要處理經緯度數據，在沒有學習過數
據可視化的基本原則時就需要繪制圖表並展示數據。這樣的工作很可能是低效的，數據處
理所產生的結果也可能是有偏差或錯誤的。

因此，交通領域需要有一本教材能夠繫統地梳理交通時空數據處理中所涉及的各種基
礎知識，總結數據處理過程中的各類解決方案，介紹如何用跨學科的方法從數據中挖掘出
有價值的信息。

本書，就是為這一目的而生。