1緒論(1)

1.1大數據產生的背景(1)

1.2大數據的發展歷程(2)

1.2.1國外大數據的發展歷程(2)

1.2.2國內大數據的發展歷程(3)

1.3我國交通運輸物流發展情況(4)

1.3.1我國交通運輸物流繫統建設情況(4)

1.3.2我國交通運輸物流信息化發展情況(5)

1.4國內外交通運輸物流大數據研究進展(6)

1.4.1國外交通大數據研究進展(6)

1.4.2國內交通大數據研究進展(7)

1.4.3大數據在交通運輸物流行業中的應用(8)

1.5交通運輸物流領域數據分析的問題(9)

1.6本章小結(11)

2大數據分析平臺軟件技術基礎架構(12)

2.1大數據基礎技術框架簡介(12)

2.1.1分布式存儲(12)

2.1.2分布式計算(13)

2.1.3實時計算(14)

2.1.4資源調度管理(15)

2.2大數據基礎軟件技術架構設計(16)

2.2.1設計原則(17)

2.2.2大數據分析平臺軟件基礎架構設計方案(19)

2.3本章小結(49)

3交通運輸物流大數據的數據組織與描述(51)

3.1泛數據生態圈(51)

3.2大數據資源的存儲模式(53)

3.2.1大數據特征(53)

3.2.2交通運輸物流大數據的數據存儲模式(55)

3.3基於本體的交通運輸物流領域知識描述方法(58)

3.3.1相關理論(59)

3.3.2交通運輸物流領域大數據本體的構建(63)

3.4本章小結(68)

4交通運輸物流領域流式數據實時分析與應用(69)

4.1流式數據實時分析方法(69)

4.1.1流式數據的定義(69)

4.1.2流式數據的特點(70)

4.1.3流式數據抽樣統計方法(70)

4.1.4流式數據聚類方法(73)

4.2流式數據實時分析在交通運輸物流領域中的應用(77)

4.2.1應用1：基於CluStream的交通運輸物流活動熱點實時分析(77)

4.2.2應用2：大規模流式數據環境下車貨實時匹配分析(83)

4.3本章小結(98)

5交通運輸物流領域離線數據並行計算與應用(99)

5.1基於MapReduce的交通運輸物流熱點詞詞頻統計方法(99)

5.2基於非結構化文本分類的交通運輸物流資訊新聞導覽方法(105)

5.2.1文本分類技術綜述(106)

5.2.2文本訓練(112)

5.2.3文本分類(113)

5.2.4交通運輸物流資訊分類導覽繫統的實現(114)

5.3大數據環境下的物流企業信用評價方法(118)

5.3.1應用背景與意義(118)

5.3.2物流企業信用評價方法(119)

5.3.3大數據環境下的物流企業信用評價指標(124)

5.3.4數據收集繫統(132)

5.4本章小結(139)

6總結(141)

參考文獻(144)

附錄(154)

附錄A“法律文書”文本分析源代碼(154)

附錄B物流企業信用評價數據表(部分)(161)

附錄C信用等級與對應評分表(166)

大數據背景下的相關問題已引起了信息、學術、產業、金融甚至政府機構的廣泛關注，推動了大數據技術和應用的空前繁榮。在交通運輸物流領域，我國不僅已經成為一個交通大國，同時也是交通數據大國。為有效實現對交通運輸物流大數據的整合與應用，以及對數據產品及軟件產品的增值，針對交通運輸物流數據特點及對大規模數據離線處理和實時分析的迫切需要，本書對大數據分析平臺軟件架構方案進行了設計，對大數據環境下交通運輸物流領域數據資源存儲、計算和資源調度管理、離線數據並行計算和在線數據實時計算等方法進行剖析，實現了實時熱力分析、車貨信息資源實時匹配、熱點詞分析、物流企業信用評價等典型的交通運輸物流領域大數據應用，受限於數據的規模和來源的局限性，本書提出的相關方法和模型在實際應用中還需要根據實際應用場景進行適當的改進，相關架構設計方案、數據分析方法和模型具有一定的理論指導意義和參考價值。本書的主要研究內容如下。(1) 為了滿足交通運輸物流領域大數據的離線與實時分析的需求，設計了一種大數據平臺軟件基礎架構，該架構主要由分別負責離線數據分布式存儲和並行計算的Batch Layer、為不同的應用提供高速用戶數據視圖的View Layer以及負責為流式數據提供消息隊列並進行實時計算的Speed Layer組成，該軟件基礎框架可以應用在不同的大數據環境下，提高大數據的分析能力與開發效率。(2) 結合分布式實時計算框架提出了一種基於CluStream流式聚類算法的交通運輸物流活動區域熱度實時分析方法，該方法針對流式數據實時性強和無限流入等特點，對運輸車輛活動數據流基於“金字塔”時間窗口方法進行抽樣與聚類分析，得到不同區域的物流活動的熱度指標，該方法不僅能夠解決無限流入數據存儲空間效率低下的問題，也能夠滿足交通運輸物流流式數據在進行相關分析的實時性要求。(3) 為了提高物流公共信息平臺中貨運供需信息資源的匹配效率，本書結合分布式實時計算框架，建立了一種車貨供需匹配數學模型，並使用改進的量子進化算法對此問題求解，實驗結果表明量子進化算法表現出更好的收斂速度、準確性和穩定性，可以高效地搜索到較為優秀的車貨信息資源匹配方案，為車主和貨主較為合理的車貨供需信息資源。(4) 結合分布式並行計算框架和非結構化文本分析技術，提出了基於MapReduce的詞頻統計與文本分類方法，並應用在交通運輸物流熱點詞分析和交通運輸物流新聞資訊分類導覽繫統中，該方法能夠有效提高管理決策者對交通運輸物流領域信息和知識的收集分析能力。(5) 為了在大數據背景下更全面地分析物流企業的信用，引入了第三方評價好評率和涉案勝訴率等新的信用評價指標並結合傳統指標建立了物流企業信用評價體繫，通過網絡爬蟲收集各級人民法院公開公示的法律文書文本內容，從中抽取案件相關信息用於統計相關物流企業的涉案勝訴率，並提出了基於MG算法的第三方評價特征抽取方法，解決了大規模文本特征分析效率低下的問題。該方法對於構建科學、有效和可行的物流企業信用評價體繫具有一定的現實意義。隨著交通運輸領域的信息化發展和大數據技術的日新月異，相關技術方法仍然有很大的發展空間，本書的內容在今後的研究中需要進行不斷改進，敬請廣大讀者多提寶貴意見。本書受人文社會科學研究項目(18YJC630124)和遼寧省教育廳科技研究項目(L2014203)資助出版。本書內容第1章由大連科技學院蔣晶晶編寫，其餘內容由大連海事大學牟向偉編寫。