總  序

短短幾年間，大數據就以一日千裡的發展速度，快速實現了從概念到落地，直接帶動了相關產業井噴式發展。全球多家研究機構統計數據顯示，大數據產業將迎來發展黃金期：IDC預計，大數據和分析市場將從2016年的130增長到2020年的203以上；中國報告大廳發布的大數據行業報告數據也說明，自2017年起,我國大數據產業將迎來發展黃金期，未來2～3年的市場規模增長率將保持在35%左右。

數據采集、數據存儲、數據挖掘、數據分析等大數據技術在越來越多的行業中得到應用，隨之而來的就是大數據人纔問題的凸顯。麥肯錫預測，每年數據科學專業的應屆畢業生將增加7%，然而僅高質量項目對於專業數據科學家的需求每年就會增加12%，完全供不應求。根據《人民日報》的報道，未來3~5年，中國需要180萬數據人纔，但目前隻有約30萬人，人纔缺口達到150萬之多。

以貴州大學為例，其首屆大數據專業研究生就業率就達到100%，可以說“一搶而空”。急切的人纔需求直接催熱了大數據專業，國家*正式設立“數據科學與大數據技術”本科新專業。目前已經有兩批共計35所大學獲批，包括北京大學、中南大學、對外經濟貿易大學、中國人民大學、北京郵電大學、復旦大學等。估計2018年會有幾百所高校獲批。

不過，就目前而言，在大數據人纔培養和大數據課程建設方面，大部分高校仍然處於起步階段，需要探索的還有很多。首先，大數據是個新生事物，懂大數據的老師少之又少，院校缺“人”；其次，尚未形成完善的大數據人纔培養和課程體繫，院校缺“機制”；再次，大數據實驗需要為每位學生提供集群計算機，院校缺“機器”；後，院校沒有海量數據，開展大數據教學科研工作缺“原材料”。

其實，早在網格計算和雲計算興起時，我國科技工作者就曾遇到過類似的挑戰，我有幸參與了這些問題的解決過程。為了解決網格計算問題，我在清華大學讀博期間，於2001年創辦了中國網格信息中轉站網站，每天花幾個小時收集和分享有價值的資料給學術界，此後我也多次籌辦和主持全國性的網格計算學術會議，進行信息傳遞與知識分享。2002年，我與其他專家合作的《網格計算》教材也正式面世。

2008年，當雲計算開始萌芽之時，我創辦了中國雲計算網站（chinacloud.cn）（在各大搜索引擎“雲計算”關鍵詞中排名），2010年出版了《雲計算（版）》、2011年出版了《雲計算（第二版）》、2015年出版了《雲計算（第三版）》，每一版都花費了大量成本制作並免費分享對應的幾十個教學PPT。目前，這些PPT的下載總量達到了幾百萬次之多。同時，《雲計算》教材也成為國內高校的教材，在CNKI公布的高被引圖書名單中，對於2010年以來出版的所有圖書，《雲計算（版）》在自動化和計算機領域排名全國。除了資料分享，在2010年，我也在南京組織了全國高校雲計算師資培訓班，培養了國內批雲計算老師，並通過與華為、中興、360等知名企業合作，輸出雲計算技術，培養雲計算研發人纔。這些工作獲得了大家的認可與好評，此後我接連擔任了工信部雲計算研究中心專家、中國雲計算專家委員會雲存儲組組長等職位。

近幾年，面對日益突出的大數據發展難題，我也正在嘗試使用此前類似的辦法去應對這些挑戰。為了解決大數據技術資料缺乏和交流不夠通透的問題，我於2013年創辦了中國大數據網站（thebigdata.cn），投入大量的人力進行日常維護，該網站目前已經在各大搜索引擎的“大數據”關鍵詞排名中位居；為了解決大數據師資匱乏的問題，我面向全國院校陸續舉辦多期大數據師資培訓班。2016年末至今，在南京多次舉辦全國高校/高職/中職大數據免費培訓班，基於《大數據》《大數據實驗手冊》以及雲創大數據提供的大數據實驗平臺，幫助到場老師們跑通了Hadoop、Spark等多個大數據實驗，使他們跨過了“從理論到實踐，從知道到用過”的門檻。2017年5月，還舉辦了全國千所高校大數據師資免費講習班，盛況空前。

其中，為了解決大數據實驗難的問題而開發的大數據實驗平臺，正在為越來越多高校的教學科研帶去方便：2016年，我帶領雲創大數據（www.cstor.cn，股票代碼：835305）的科研人員，應用Docker容器技術，成功開發了BDRack大數據實驗一體機，它打破虛擬化技術的性能瓶頸，可以為每一位參加實驗的人員虛擬出Hadoop集群、Spark集群、Storm集群等，自帶實驗所需數據，並準備了詳細的實驗手冊（包含42個大數據實驗）、PPT和實驗過程視頻，可以開展大數據管理、大數據挖掘等各類實驗，並可進行精確營銷、信用分析等多種實戰演練。目前，大數據實驗平臺已經在鄭州大學、西京學院、鄭州升達經貿管理學院、鎮江高等職業技術學校等多所院校成功應用，並廣受校方好評。該平臺也以雲服務的方式在線提供（大數據實驗平臺，https://bd.cstor.cn），幫助師生通過自學，用一個月左右成為大數據動手的高手。

同時，為了解決缺乏權威大數據教材的問題，我所負責的南京大數據研究院，聯合金陵科技學院、河南大學、雲創大數據、中國地震局等多家單位，歷時兩年，編著出版了適合本科教學的《大數據》《大數據庫》《大數據實驗手冊》等教材。另外，《數據挖掘》《虛擬化與容器》《大數據可視化》《深度學習》等本科教材也將於近期出版。在大數據教學中，本科院校的實踐教學應更加繫統性，偏向新技術的應用，且對工程實踐能力要求更高。而高職、高專院校則更偏向於技術性和技能訓練，理論以夠用為主，學生將主要從事數據清洗和運維方面的工作。基於此，我們還聯合多家高職院校專家準備了《雲計算基礎》《大數據基礎》《數據挖掘基礎》《R語言》《數據清洗》《大數據繫統運維》《大數據實踐》繫列教材，目前也已經陸續進入定稿出版階段。

此外，我們也將繼續在中國大數據（thebigdata.cn）和中國雲計算（chinacloud.cn）等網站免費提供配套PPT和其他資料。同時，持續開放大數據實驗平臺（https://bd.cstor.cn）、免費的物聯網大數據托管平臺萬物雲（wanwuyun.com）和環境大數據免費分享平臺環境雲（envicloud.cn），使資源與數據隨手可得，讓大數據學習變得更加輕松。

在此，特別感謝我的碩士導師謝希仁教授和博士導師李三立院士。謝希仁教授所著的《計算機網絡》已經更新到第7版，與時俱進且日臻完美，時時提醒學生要以這樣的標準來寫書。李三立院士是留蘇博士，為我國計算機事業做出了傑出貢獻，曾任國家攀登計劃項目首席科學家。他的嚴謹治學帶出了一大批傑出的學生。

本叢書是集體智慧的結晶，在此謹向付出辛勤勞動的各位作者致敬！書中難免會有不當之處，請讀者不吝賜教。我的郵箱：gloud@126.com，微信公眾號：劉鵬看未來（lpoutlook）。

劉鵬  教授

於南京大數據研究院

前  言

面對大數據時代產生的海量數據，傳統的關繫型數據庫和數據處理技術在使用中遇到了前所未有的難題，如海量數據快速訪問能力受到束縛，海量數據訪問缺乏靈活性，對非結構化數據處理能力薄弱，海量數據導致存儲成本、維護管理成本不斷增加等。如何對海量數據進行查詢分析已成為所有數據庫研發人員亟待解決的問題，大數據庫因此應運而生。所謂的大數據庫是針對傳統數據庫在存儲、管理海量數據時顯現的不足，逐漸衍生出能存儲管理多種數據類型，並適用於海量數據處理的數據庫技術。

《大數據》這本書於2017年1月出版，承蒙大家的喜愛，自出版以來受到廣大讀者的關注和好評。由於大數據技術發展迅猛，我們的大數據研發團隊經過長期的研究和緊密跟蹤，及時推出了《大數據庫》這本教材。《大數據庫》是全國高校標準教材《大數據》的姊妹篇，在內容上進行了全面互補，以確保能夠更準確地反映大數據技術的面貌。

正如在小數據時代我們應該學習《數據庫》一樣，在大數據時代我們應該學習《大數據庫》。本書繫統地介紹了目前業界主流的四種大數據庫技術，分別是列式數據庫、內存數據庫、鍵值數據庫以及流式數據庫。列式數據庫通常用來應對海量數據的分布式存儲，典型列式數據庫有HBase；內存數據庫是指將全部內容存放在內存中，而非像傳統數據庫那樣存放在外部存儲器中的數據庫，這種數據庫的讀寫性能很高，主要用在對性能要求極高的環境中，典型內存數據庫有Spark；鍵值數據庫主要使用一個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數據，該模型對於IT繫統的優勢在於簡單、易部署、高並發，典型鍵值數據庫有Memcached、Redis；流式數據庫的處理模式是將源源不斷的數據視為數據流，它總是盡可能快速地分析的數據，並給出分析結果，也就是盡可能實現實時計算，典型流式數據庫有Spark Streaming、Storm。

大數據庫技術可以對海量數據進行分析處理，采用不同的技術手段挖掘價值信息並投入到應用中。因此，期望讀者可以從本書中學會主流大數據庫技術的理論知識和實戰應用；也期望本書為大數據“創新人纔”培養目標提供新思路。

本書是集體智慧的結晶，在此謹向付出辛勤勞動的各位作者致敬！書中難免會有不當之處，請讀者不吝賜教。我的郵箱：gloud@126.com，微信公眾號：劉鵬看未來（lpoutlook）。

劉鵬  教授      

於南京大數據研究院 

2017年6月6日