第1章大數據是信息社會的寶貴資源1

1.1大數據產生的背景和概念1

1.2大數據的特征3

1.3大數據與傳統數據的區別4

1.4大數據的價值和開發應用5

1.5大數據時代的新機遇和新挑戰8

1.5.1依據大數據進行決策成為一種新的決策方式8

1.5.2大數據與各行業深度融合帶來層出不窮的新應用8

1.5.3大數據推動新技術的不斷湧現9

1.6本書的特定視野10

參考文獻11第2章大數據應用分析12

2.1大數據的處理流程12

2.2大數據分析的概念14

2.3大數據分析的關鍵技術15

2.3.1雲計算15

2.3.2數據分析方法16

2.3.3數據可視化17

2.4大數據分析工具介紹17

2.4.1Hadoop18

2.4.2R19

2.4.3Python19

2.4.4RapidMiner20

2.4.5Tableau20

2.5大數據分析示例——查處虛假出口貿易22

2.5.1案例概述22

2.5.2查詢分析23

2.5.3可視化分析25

2.5.4分析小結27

參考文獻30第3章常用數據分析與預測方法31

3.1方差分析31

3.1.1分析方法31

3.1.2示例介紹31

3.1.3示例分析33

3.1.4結果分析與總結35

3.2相關分析35

3.2.1分析方法35

3.2.2示例介紹36

3.2.3示例分析37

3.2.4結果分析與總結40

3.3回歸分析40

3.3.1分析方法40

3.3.2示例介紹41

3.3.3示例分析41

3.3.4結果分析與總結42

3.4時間序列分析44

3.4.1平穩性檢驗44

3.4.2純隨機性檢驗44

3.4.3適用性檢測44

3.5聚類分析45

3.6可視化數據分析46

3.6.1常用的可視化數據展示方法47

3.6.2可視化分析示例51

3.7環境準備61

參考文獻62第4章大數據分析的思維特征63

4.1大數據應用分析的實務框架63

4.1.1大數據應用分析的四個層面63

4.1.2四個層面的關繫65

4.2大數據分析的特征發現65

4.2.1特征發現的案例66

4.2.2特征發現的概念73

4.3對數據的分類73

4.4特征發現的一般過程79

參考文獻81第5章大數據的可視化分析82

5.1不良貸款分析82

5.1.1數據準備82

5.1.2各銀行的不良貸款情況分析86

5.1.3各經濟類型的企業的不良貸款情況分析95

5.1.4各類貸款的不良貸款情況分析99

5.2保險公司客戶索賠分析103

5.2.1數據準備103

5.2.2數據分析104

參考文獻119第6章可視化挖掘分析120

6.1挖掘分析在審計線索特征發現中的應用120

6.1.1案例背景120

6.1.2數據準備120

6.1.3聚類分析122

6.2挖掘分析在推薦繫統中的應用131

6.2.1案例背景131

6.2.2數據準備131

6.2.3構建推薦繫統132第7章大數據數據管理140

數據簡介140

7.數據和對像數據140

7.1.數據管理技術的意義140

7.2著錄對像分析142

7.2.1審計中間表142

7.2.2審計分析模型142

7.2.3審計專家經驗143

7.2.4審計情景案例144

7.2.5被審計單位資料144

數據結構設計145

7.3.1審計中數據結構145

7.3.2審計分析數據結構146

7.3.3審計專家數據結構147

7.3.4審計情景數據結構149

7.3.5被審計單位數據結構150

7.4應用大數據審計分析數數據規範的擴展規則151

參考文獻152第8章大數據分析的數據清洗153

8.1大數據清洗的基本概念153

8.1.1大數據清洗的基本架構153

8.1.2數據清洗的基本步驟154

8.2數據清洗157

8.2.1數據清洗的一些注意事項157

8.2.2常見的數據清洗158

參考文獻163第9章大數據分析的風險與對策164

9.1大數據分析的風險及產生原因164

9.2大數據采集的風險165

9.3大數據處理與集成的風險167

9.4大數據分析的風險168

9.5大數據解釋的風險168

9.6大數據的隱私和安全風險及其對策169

9.6.1大數據處理流程的隱私風險170

9.6.2大數據處理平臺帶來的安全和隱私風險172

9.6.3保護大數據隱私和安全的對策173

參考文獻175第10章大數據治理簡介177

10.1大數據治理的必要性177

10.2大數據治理的概念178

10.3大數據治理的核心內容180

10.4案例181

10.4.1工作思路182

10.4.2數據真實性的驗證方法182

10.4.3數據完整性的驗證186

參考文獻187附錄ATableau 10.0簡介188

A.1Tableau工作區188

A.1.1工作表工作區189

A.1.2儀表板工作區190

A.1.3故事工作區191

A.2Tableau的文件管理192附錄BRapidMiner使用方法簡介194

B.1RapidMiner的主界面194

B.2使用RapidMiner分析數據的方法195

序言

在現代社會，科學作為關於自然、社會和思維的客觀規律的知識體繫，與技術已經高度融合，而技術則是人類在認識與改造自然和社會的活動中反復實踐的經驗積累，它反映了人類認識與改造自然和社會的能力。如今，科學與技術融合十分緊密，以至於人們已經慣稱其為科學技術。

不但如此，現代科學技術與人文社會科學的關繫也日益緊密。當代人類社會所面臨的問題，大多靠單學科是很難解決的，它們經常具有高度的綜合性。這就需要融合多學科的知識，特別是需要融合現代科學技術與人文社會科學的知識，使之成為新的、能解決綜合性問題的知識體繫。

計算機審計（盡管這個概念的內涵和外延都還需要進一步研究）就是這樣一種知識體繫。這個知識體繫不僅涉及應用科學，而且涉及基礎科學；不僅涉及科學技術，而且涉及管理技術。計算機審計的產生既是審計對像活動高度綜合化的要求，又是審計活動高度綜合化的結果。

但我們知道，計算機審計這樣一個綜合性很強的知識體繫仍處在襁褓之中，其中多學科的融合程度尚在初級階段，體繫中的未知領域和知識斷層還很多。顯然，要想使其上升為一門嚴謹的學科，尚需業內專業人士的不懈努力。令人鼓舞的是，在我國國家審計領域，有許多人正在做著這種努力，本書的幾位作者便是其中的一些佼佼者。他們確實具有較高的科學和專業素養，豐富的審計和審計管理經驗，良好的科學研究習慣和能力。他們的努力也確實產生了令人鼓舞的成果。本書就是很好的例證，作者在計算機審計領域做了大膽探索，在多學科的邊緣層面上找到了技術發明和科學創作的新天地。

本書繫統地研究了計算機審計的質量控制問題，實際上也是在研究計算機審計管理問題，這在國內尚不多見。我們應該承認，在計算機、網絡和通信技術剛剛運用於審計領域之初，人們往往更關注審計，而忽視審計管理。然而，當審計工作運用了高技術手段時，審計和審計管理實際上是高度一體化的，在操作上稍加轉換角度，兩個過程是可以一次完成的。本書的思路恰好扭轉了這種錯誤觀念，彌補了這一缺陷。這是應當引起讀者關注的。

可貴的是，本書的寫作消除了國內一些人的誤解，即認為計算機審計就是數據處理；也衝破了以往國內計算機審計教材隻講數據處理的老傳統。開篇就首先建立了計算機審計的全過程框架，提出了審計實施過程實際上包括兩類主要技術的觀點，即一是繫統審計技術，一是數據審計技術。這種繫統基礎審計的思想是符合科學審計思路的，也是符合國際慣例的，是計算機審計應該堅持的優良實務。

本書還有另一個特點，即繫統地、詳盡地介紹了各項業務操作的具體技術，具有相當的成熟性和可借鋻意義，是實際工作者很好的參考書。

本書的寫作是否還有更深層的意義？

人類的全部知識應該有兩類：
一類是顯性的，已經經過提煉和總結，構成現有科學技術體繫的知識；另一類則是隱性的，隻停留在人們的經驗中，尚未進入人類現有的任何科學技術知識體繫。這後一類知識並不是可有可無的，它具有相當重要的意義。因為人類的實踐活動永遠不會終結，新的實踐活動總要產生新的經驗，而新的經驗總要經過相當的積累纔能終變為科學技術，因此這一部分隱性的知識總要以一定的規模存在，而且對人類各種活動產生著巨大的影響，此其一。其二，它是科學技術體繫的鋪墊，條件成熟時，當中的一些知識即可上升到科學技術體繫之內。

當前，在國家審計領域，隱性的知識正隨著計算機手段的運用，隨著審計方式因計算機、網絡和通信技術的運用而產生的變化，而逐漸增加。這些知識如不及時加以提煉和總結，將其提升到科學技術層次，納入顯性知識體繫，就有可能隨著時間的推移而消逝，隻被個別人運用在個別領域，從而失去普遍意義。

面對著稍縱即逝但又頗具價值的隱性知識，本書作者欲將其顯性化，將其上升為真正的審計技術，終使更多的審計人員受益。我認為，這纔是本書寫作的深層意義。無論是有意識還是無意識，本書的寫作確實發揮了這樣的作用。

當人們發出正弦波信號時，發出的不再是正弦波的波形，而是正弦波中的一繫列脈衝；當計算機的功能不再隻是識別人工符號，而是能夠進入形像思維領域；當網絡已由四節點互聯發展到國際互聯，一場數字化、智能化和網絡化的革命已經悄悄開始。這場革命將把我們由已知領域帶入更大的未知領域。通過努力，我們將由更大的未知領域再次進入擴大的已知領域，並如此往復循環，將知識體繫推向沒有極盡的未來。我衷心希望本書的作者們在初獲成功的基礎上，繼續在未知與已知的轉換環節上，在多學科交叉的邊緣層面上，在建立科學嚴謹的計算機審計學科的道路上耕耘不輟，再結新果。

蒙汝焯、智玉邀請，為如此專業的著述做開篇之言，誠惶誠恐。纔疏學淺，心智魯鈍，對此領域茫茫然如學童，實屬力所不能及。然囿於友情，職責所致，勉強為序。

石愛中2004年12月31日前言

隨著大數據的迅猛發展和日益普及，越來越多的與數據分析有關的人員，如企業管理人員、企業數據分析人員、業務分析人員、市場營銷人員，政府監管機構如證監會、銀監局、保監會的監管人員，審計師、注冊會計師，紀檢監察和司法機關執紀執法人員等需要掌握大數據應用分析技術與方法，迫切需要從大數據中挖掘有用的信息，提升工作水平和工作效率。這是信息化發展提出的必然要求，尤其是在業務與信息技術密切融合的形勢下，這種需求越來越強勁。適應這種需求，我們在編著這本書時，著力突出實用性、可操作性和指導性。

實用性。貼近大數據發展的現狀和趨勢，全書共安排了10章內容，強調了大數據的寶貴價值，介紹了常用的數據分析技術與方法，緊扣大數據的特點演示了可視化分析與可視化挖掘的方法，詳細討論了數據數據管理，對大數據的風險予以充分揭示，同時提出了大數據風險管理的對策，對大數據治理作了簡介。

可操作性。在介紹大數據應用分析技術和方法時，由淺入深，逐步引導，屏蔽技術細節，讓讀者直接進入業務應用的層面，熟練掌握操作。尤其是全書從大數據分析的應用實踐中精選了大量案例，進行了生動講解。這些案例是大數據分析實踐中的可貴探索和經驗總結。通過案例的操作可以更好地引導讀者加深對理論部分的理解，掌握分析技術與方法。

指導性。本書創新性地把大數據應用分析劃分為器、技、道和美四個層面。器，指大數據分析的硬件和軟件；技，指大數據分析的技術和方法；道，指大數據分析的思維方式；美，指審美體驗、感覺和想像力。在開展大數據分析時需要硬件和軟件、需要技術方法，這是毋庸諱言的。但大數據數量巨大、類型繁多、來源復雜，而且很多過去從來沒有遇到過，單靠工具和技術方法是不能勝任大數據分析的多變情況的，清晰的分析思路、科學的思維方式顯得更為重要，具有更強的更普遍的指導性。本書詳細介紹了特征發現的思維方式，通過案例介紹了特征枚舉、特征捕捉、特征分析的實際應用，同時對大數據分析中如何結合審美體驗，張開想像的翅膀，激發分析的靈感，打開分析的思路給予了必要強調。

為天天和大數據打交道的人盡快掌握大數據分析的實用技能助一臂之力，為天天使用大數據的人通過簡單的路徑掌握大數據分析的技能提供支持和幫助，這是我們的初衷。為了這個初衷我們確實努力了。大數據在發展中，加之編著者的水平和經驗有限，書中有些問題的研究還不透徹，有些內容還有待於在實踐中檢驗和完善，還有些可能本身就是存在問題的，這也是在所難免的。真誠希望廣大讀者批評指正！

參加本書撰寫的有劉汝焯、戴佳築、何玉潔。劉汝焯設計了全書的章節，撰寫了其中第2、4、7章，對全書進行了統稿。戴佳築撰寫了第1、3、6、10章和附錄B。何玉潔撰寫了第5、8、9章和附錄A，對全書的書稿進行了統一修訂。