第1章大數據概述 大數據作為繼雲計算、物聯網之後IT領域又一種顛覆性技術，備受人們的關注。大數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素，對人類的社會生產和生活必將產生重大而深遠的影響。 大數據時代悄然來臨，帶來了信息技術發展的巨大變革，並深刻影響著社會生產和人們生活的方方面面。世界各國均高度重視大數據技術的研究和發展，紛紛把大數據上升為國家戰略加以。 本章主要概略介紹大數據的興起、生活中的大數據、大數據的概念及特征，以及大數據的關鍵技術和大數據的發展。 1.1大數據興起之謎 1.1.1大數據產生的背景 早在遠古時代人們就已經在石頭、樹木上記載相應的數據了，再到後來，人們用竹簡、布帛等記載和傳輸數據，在這一階段，數據的記錄和傳播都是有限的；到後來紙張出現，印刷術被發明，數據的記錄和傳播有了足步，但是此時的數據量仍舊相當小，傳播速度也較為緩慢，傳播範圍相對狹窄，人們對數據的分析和使用十分有限；計算機和磁盤等存儲介質出現後，人們記錄數據和計算分析數據的能力有了質的飛躍，隨著以博客、社交網絡、基於位置服務為代表的新型信息發布方式的不斷湧現，以及雲計算、物聯網等技術的興起，數據以的速度在不斷地增長和積累，至此，人入所謂的大數據時代。 大數據浪潮洶湧來襲，與互聯網的發明一樣，這絕不僅僅是信息技術領域的革命，更是在全球範圍內啟動透明政府建設、加速企業創新、社會變革的利器。現代管理學之父德魯克曾經說過：“預測未來好的方法，就是去創造未來。”“大數據戰略”，則是當下全球的先機。 越來越多的政府、企業等機構開始意識到數據正在成為組織重要的資產，數據分析能力正在成為組織的核心競爭力。大數據時代對政府管理轉型來說是一個歷史性機遇，對企業來說，海量數據的運用將成為未來競爭和增長的基礎。同時，大數據已引起學術界的廣泛研究興趣。 1.1.2大數據的發展歷程 大數據不是憑空產生的，它有自己的發展過程。大數據的發展大致分為三個階段，如圖1.1所示。 1.萌芽時期（世紀90年代至21世紀初） 1997年，美國國家局艾姆斯研究中心的大衛·埃爾斯沃思和邁克爾·考克斯在他們研究數據可視化時使用了“大數據”的概念。1998年，Science雜志發表了一篇題為“大數據科學的可視化”的文章，“大數據”作為一個專業名詞正式出現在公共期刊上。 在這一階段，大數據隻作為一個概念或假設，少數學者對行了研究和討論，其意義於表示數據量的巨大，對數據的收集、處理和存儲沒一步的探索。 2.發展時期（00-10年） 21世紀剛開始的10年，互聯網行業得到了快速發展。01年，美國Gartner公司開發了大型數據模型。同年，Doug Laney提出了大數據的“3V”特性。05年，Hadoop技術應運而生，成為數據分析的主要技術。07年，數據密集型科學出現，不僅為科學界提供了一種新的研究範式，而且為大數據的發展提供了科學依據。08年，Science雜志推出了一繫列大數據專刊，詳細討論了一繫列大數據的問題。10年，美國信息技術顧問委員會發布了一份題為“規劃數字化未來”的報告，詳細描述了政府工作中大數據的收集和使用。 在這一階段，“大數據”作為一個漸名詞，開始受到理論界的關注，其概念和特點得一步豐富，相關的數據處理技術層出不窮，大數據開始顯現出活力。 3.興盛時期（11年至今） 11年，IBM公司開發了沃森計算機，通過每秒掃描和分析4TB數據打破了世界紀錄，大數據計算達到了一個新的高度。隨後，MGI發布了大數據前沿報告，詳細介紹了大數據在各個領域的應用，以及大數據的技術框架。12年在瑞士舉行的世界經濟論…… | 
