了得網研究生_審計分析：從關繫到大數據

編輯推薦

本書將多年計算機審計培訓中的知識技術總結為教材，既包括關繫數據庫，又關注大數據在現代審計關繫中的應用

內容簡介

本書針對計算機在審計中數據分析所需要的技術、方法和工具,按照技術發展的脈絡,介紹基於關繫數據庫的以結構化查詢語言(SQL)為工具的查詢分析，基於數據倉庫的可視化途徑的多維分析，基於模型訓練的機器學習途徑的挖掘分析，以及基於大數據的相關分析,力圖使讀者能夠應用本書介紹的方法、工具和技術完成審計目標。
全書共有7章。第1章介紹審計數據分析的基本概念;第2章以TSQL為例介紹結構化查詢語言,包括基本的DR、DDL、DML、DCL等,以及結構化查詢語言在財務審計與業務數據結合的財務審計中的應用技術;第3章介紹數據庫用戶以及授權、數據導入導出等技術,以及這些技術在審計中的應用;第4章介紹高級查詢分析技術,包括遊標、觸發器、視圖、索引等;第5章介紹如何通過多維分析發現審計線索;第6章介紹數據挖掘途徑的審計數據分析;第7章介紹基於大數據的審計分析。
本書可作為計算機審計工作者的技術參考書。

目錄
第1章審計數據分析1
1.1審計1
1.2計算機審計2
1.3審計數據分析2
1.3.1基於關繫數據庫的審計分析3
1.3.2基於數據倉庫的審計分析8
1.3.3基於數據挖掘的審計分析9
1.3.4基於大數據的審計分析9
1.3.5審計方法模型10第2章結構化查詢技術及其應用12
2.1概述12
2.2基本查詢14
2.2.1在Management Studio中設計和執行查詢15
2.2.2基本的查詢語句17目錄
第1章審計數據分析1
1.1審計1
1.2計算機審計2
1.3審計數據分析2
1.3.1基於關繫數據庫的審計分析3
1.3.2基於數據倉庫的審計分析8
1.3.3基於數據挖掘的審計分析9
1.3.4基於大數據的審計分析9
1.3.5審計方法模型10第2章結構化查詢技術及其應用12
2.1概述12
2.2基本查詢14
2.2.1在Management Studio中設計和執行查詢15
2.2.2基本的查詢語句17
2.3區分不同的數據類型18
2.4字面量的格式要求20
2.5使用表達式21
2.6應用內置函數完成通用功能30
2.6.1聚合函數與聚合查詢30
2.6.2日期和時間函數33
2.6.3數學函數35
2.6.4字符串函數36
2.6.5繫統函數38
2.7基於單表的查詢技術38
2.7.1WHERE子句39
2.7.2ORDER BY子句40
2.7.3GROUP BY子句41
2.7.4HAVING子句44
2.7.5持久化查詢結果45
2.8多表查詢技術45
2.8.1交叉連接46
2.8.2內連接46
2.8.3自連接50
2.8.4外連接50
2.9子查詢技術54
2.9.1使用返回單個值的子查詢55
2.9.2使用返回多個值的子查詢56
2.9.3應用子查詢進行存在性測試56
2.10合並58
2.11修改數據59
2.11.1插入行59
2.11.2修改行61
2.11.3刪除行62
2.12應用DDL管理表62第3章數據導入導出技術65
3.1用戶以及授權65
3.1.1SQL Server的安全體繫結構65
3.1.2安全認證模式66
3.1.3用戶管理66
3.1.4數據控制語句70
3.2從SQL Server數據庫導入表71
3.2.1利用數據庫的分離/附加功能實現數據導入71
3.2.2直接復制數據庫中的文件71
3.2.3備份/還原71
3.2.4導入導出72
3.3從其他數據庫導入表72
3.3.1把Access數據導入SQL Server73
3.3.2把文本文件導入SQL Server80
3.3.3Visual FoxPro數據表導入SQL Server84第4章高級查詢分析技術85
4.1視圖85
4.2應用索引加快查詢89
4.2.1索引的類型89
4.2.2索引的創建90
4.3數據字典90
4.3.1數據文件和事務日志文件91
4.3.2表定義91
4.4臨時表91
4.4.1客戶與數據庫服務器的連接91
4.4.2臨時表的創建與刪除93
4.5設計腳本完成計算94
4.5.1案例: 計算個人所得稅94
4.5.2標識符、語句和注釋96
4.5.3變量96
4.5.4流控制語句IFELSE97
4.5.5BEGIN…END97
4.5.6IF ELSE語句98
4.5.7CASE表達式99
4.5.8WHILE語句104
4.6存儲過程108
4.6.1繫統存儲過程108
4.6.2用戶自定義存儲過程108
4.7自定義函數109
4.8觸發器113
4.9遊標115
4.10事務與並發控制119
4.10.1事務的概念119
4.10.2事務類型120
4.10.3並發操作可能產生的問題123
4.10.4隔離級別125
4.11在審計腳本語言中應用SQL語句129
4.11.1ASL中的運算符130
4.11.2ASL中的分支語句131
4.11.3ASL中的循環語句134
4.11.4從腳本中訪問數據庫139第5章多維數據分析技術142
5.1多維分析案例——延期納稅143
5.2多維數據集的設計148
5.3多維分析案例——煙草公司納稅150
5.3.1創建多維數據集151
5.3.2在Excel中瀏覽該多維數據集153第6章挖掘型分析155
6.1數據挖掘155
6.2審計數據挖掘分析157
6.3數據挖掘算法158第7章大數據分析165
7.1大數據165
7.2大數據審計分析166
7.3大數據可視化167參考文獻172

前言

前言
2000年的春天,河北省審計廳陳金如副廳長來到河北師範大學,就計算機教育與培訓問題與我進行了第1次“聊天”。當時沒有想到,那次“聊天”卻是十八年合作的開始。
當時,河北省審計繫統面臨如何提升全省審計工作者的計算機審計水平,以適應信息技術的迅猛發展問題。從事審計的人員如果不懂信息技術,那麼在信息化環境下就進不了被審單位的門，打不開被審單位的賬。審計署指出,開展計算機審計要靠審計人員素質的提高,靠審計機關知識結構的改善。根據審計署的要求,河北省審計廳認為計算機審計的發展和審計事業的發展已經密不可分,應從事關全省審計事業發展的高度思考計算機審計問題,強力推進計算機審計。應切實增強危機感和緊迫感,下大力量將計算機輔助審計工作搞上去。
2000—2005年,我應邀為審計廳的幾次短期培訓授課。從2006年開始,河北省審計廳每年都與河北師範大學聯合舉辦“河北省審計機關計算機審計中級培訓”,目前仍然在進行。參訓學員大部分已成為各單位審計信息化工作骨干,並多次在審計署組織的AO應用實例評選和計算機審計專家經驗評選中獲獎。前言
2000年的春天,河北省審計廳陳金如副廳長來到河北師範大學,就計算機教育與培訓問題與我進行了第1次“聊天”。當時沒有想到,那次“聊天”卻是十八年合作的開始。
當時,河北省審計繫統面臨如何提升全省審計工作者的計算機審計水平,以適應信息技術的迅猛發展問題。從事審計的人員如果不懂信息技術,那麼在信息化環境下就進不了被審單位的門，打不開被審單位的賬。審計署指出,開展計算機審計要靠審計人員素質的提高,靠審計機關知識結構的改善。根據審計署的要求,河北省審計廳認為計算機審計的發展和審計事業的發展已經密不可分,應從事關全省審計事業發展的高度思考計算機審計問題,強力推進計算機審計。應切實增強危機感和緊迫感,下大力量將計算機輔助審計工作搞上去。
2000—2005年,我應邀為審計廳的幾次短期培訓授課。從2006年開始,河北省審計廳每年都與河北師範大學聯合舉辦“河北省審計機關計算機審計中級培訓”,目前仍然在進行。參訓學員大部分已成為各單位審計信息化工作骨干,並多次在審計署組織的AO應用實例評選和計算機審計專家經驗評選中獲獎。
在培訓項目中,我不僅負責組織工作,而且主講了“數據庫應用技術”“審計數據高級分析技術”兩門課程。為了把審計業務與計算機技術結合起來,讓非計算機專業的審計師能夠理解、掌握和應用計算機技術,在省審計廳安排下,我還深入審計現場,實地調研,學習審計業務,了解審計人員的需求;鑽研審計一線人員提出的技術問題,提出解決方案;不斷研究數據倉庫、數據挖掘、大數據等技術在河北省計算機審計業務中的應用等問題,並將研究結果應用於培訓。2014年,受河北省審計廳計算機中心委托,編寫了“技巧繫列叢書”中的《數據挖掘技巧》一書的初稿,並根據審計署、省審計廳的意見進行了修改,於2017年出版。十八年來累積的講義以及其他技術資料經過整理,形成了本書。本書的內容不僅涉及與計算機審計有關的技術,還包括如何規避常見的技術錯誤。
本書初稿由河北師範大學的董東老師完成。河北師範大學的王艷君、陳玉哲、張朝昆等老師在歷年培訓過程中對前4章進行過修訂。王艷君對本書的章節組織以及第1～4章內容提出了修改意見;陳玉哲對第5～7章提出了修改意見。董東後對全稿進行了精簡。
本書得到河北師範大學應用開發基金(L2013K01)和河北省審計廳2018年重點科研課題(201805)資助,在此表示感謝。
囿於學識,在思想、方法或者技術等方向定有不當之處,望讀者批評指正。

董東
2018年12月於河北師範大學

在線試讀

第5章多維數據分析技術
多維數據分析基於多維數據庫觀察數據間關聯和趨勢。多維數據庫以事實、維度或者度量值對數據進行建模。分析服務是對多維數據庫進行數據管理和分析的引擎。其體繫結構如圖51所示。該體繫結構的核心是分析服務,如Microsoft SQL Server OLAP Service。來自財務庫和業務庫的會計事務和業務事務數據經過數據清洗、轉換和驗證,形成新的數據庫。基於新的數據庫,建立多維分析模型。通過分析服務運行多維分析模型,通過數據透視表等工具瀏覽和分析,發現審計線索。應用多維分析的優勢在於能夠直觀地把握總體、分析趨勢、發現異常、選擇重點。
一個多維數據庫中可以有多個多維數據集,通過分析服務訪問多維數據集。通過Microsoft Excel能夠觀察透視圖和鑽取,分析趨勢和發現異常更加方便。
圖51分析服務的體繫結構
建立多維分析模型的關鍵是根據業務需要,設計維和度量值。凡是能夠對數據進行分組的實體,如部門,就可以作為維。事實表中的數值列可以按照某個維進行分組彙總,這樣的列稱為度量值,來自同一個事實表的若干度量值形成一個度量值組。對事實的計數也可以作為度量值。
多維數據庫的數據源通常是關繫型數據庫。該數據庫中的數據模式(庫結構)往往被轉換成OLAP多維數據庫中的星型或者雪花型模式。隻要能通過ODBC或者OLE DB連接,多維數據庫中的數據也可以是非關繫型數據庫。一般情況下,OLE DB和ODBC Provider作為數據訪問組件的一部分與SQL Server一起安裝。
分析服務是對多維數據庫進行數據管理和分析的引擎。審計人員往往需要一些統計彙總信息,而在大規模關繫數據庫中通過SQL 語句進行統計彙總是一個復雜而且耗時的工作。為了解決這個問題,需要建立一個獨立的數據庫更好地存儲用來進行分析的業務數據。這個數據庫的數據來源於操作型數據庫,但必須轉換成星型或者雪花型。在這種架構下,通常有一個事實表。事實表記錄了業務活動數據,如延期納稅審批活動。這張表會有上萬，甚至幾十萬行數據。維表定義了維的屬性、級別和各級別的成員。
典型的星形模式有以下特點: 隻有一個事實表,事實表中含有數值列和外鍵列。每個維隻有一個維表,表中包含了該維的主鍵及其他屬性。主鍵用來作為事實表的參照,其他屬性一般是對主鍵的進一步分組。例如,“產品”維一般有“品牌”屬性,“品牌”也是對產品的一種分組。
雪花架構將一個維拆成若干個維。可將維表中成員之間的多對一關繫定義為一個獨立的有層次體繫的維表。某一維的分離使得整個數據模型看起來像雪花,因此稱為雪花模型。
分析服務對數據的一致性十分敏感。當定義好多維模型,分析服務就要從關繫數據庫中讀入數據,按照多維數據集結構的要求進行分組彙總,此時需要數據滿足以下一致性規則: 無空值(null)和無效值(invalid)、參照完整、不允許刪除事實表中的行。第5章多維數據分析技術
多維數據分析基於多維數據庫觀察數據間關聯和趨勢。多維數據庫以事實、維度或者度量值對數據進行建模。分析服務是對多維數據庫進行數據管理和分析的引擎。其體繫結構如圖51所示。該體繫結構的核心是分析服務,如Microsoft SQL Server OLAP Service。來自財務庫和業務庫的會計事務和業務事務數據經過數據清洗、轉換和驗證,形成新的數據庫。基於新的數據庫,建立多維分析模型。通過分析服務運行多維分析模型,通過數據透視表等工具瀏覽和分析,發現審計線索。應用多維分析的優勢在於能夠直觀地把握總體、分析趨勢、發現異常、選擇重點。
一個多維數據庫中可以有多個多維數據集,通過分析服務訪問多維數據集。通過Microsoft Excel能夠觀察透視圖和鑽取,分析趨勢和發現異常更加方便。
圖51分析服務的體繫結構
建立多維分析模型的關鍵是根據業務需要,設計維和度量值。凡是能夠對數據進行分組的實體,如部門,就可以作為維。事實表中的數值列可以按照某個維進行分組彙總,這樣的列稱為度量值,來自同一個事實表的若干度量值形成一個度量值組。對事實的計數也可以作為度量值。
多維數據庫的數據源通常是關繫型數據庫。該數據庫中的數據模式(庫結構)往往被轉換成OLAP多維數據庫中的星型或者雪花型模式。隻要能通過ODBC或者OLE DB連接,多維數據庫中的數據也可以是非關繫型數據庫。一般情況下,OLE DB和ODBC Provider作為數據訪問組件的一部分與SQL Server一起安裝。
分析服務是對多維數據庫進行數據管理和分析的引擎。審計人員往往需要一些統計彙總信息,而在大規模關繫數據庫中通過SQL 語句進行統計彙總是一個復雜而且耗時的工作。為了解決這個問題,需要建立一個獨立的數據庫更好地存儲用來進行分析的業務數據。這個數據庫的數據來源於操作型數據庫,但必須轉換成星型或者雪花型。在這種架構下,通常有一個事實表。事實表記錄了業務活動數據,如延期納稅審批活動。這張表會有上萬，甚至幾十萬行數據。維表定義了維的屬性、級別和各級別的成員。
典型的星形模式有以下特點: 隻有一個事實表,事實表中含有數值列和外鍵列。每個維隻有一個維表,表中包含了該維的主鍵及其他屬性。主鍵用來作為事實表的參照,其他屬性一般是對主鍵的進一步分組。例如,“產品”維一般有“品牌”屬性,“品牌”也是對產品的一種分組。
雪花架構將一個維拆成若干個維。可將維表中成員之間的多對一關繫定義為一個獨立的有層次體繫的維表。某一維的分離使得整個數據模型看起來像雪花,因此稱為雪花模型。
分析服務對數據的一致性十分敏感。當定義好多維模型,分析服務就要從關繫數據庫中讀入數據,按照多維數據集結構的要求進行分組彙總,此時需要數據滿足以下一致性規則: 無空值(null)和無效值(invalid)、參照完整、不允許刪除事實表中的行。
維有3種類型: 常規維、父子維和具有層次結構的維。表示常規維的維表通常有偶數個編碼和名稱相對應的列。父子維與常規維不同的是,其維表隻有3列,其中兩列表達了父子關繫。例如，會計科目中包含3列: 科目編碼、科目名稱、上級科目編碼。其中，科目編碼和上級科目編碼兩列中包含了父子關繫。
多維數據模型對數據的要求有
(1) 度量值必須是數值型。因為隻有數值型列，纔能被計算彙總。在Access中,數值型數據類型有數字型和貨幣型。SQL Server中的數值型數據有bigint、int、smallint、tinyint、numeric、decimal、smallmoney、money、real和float。
(2) 事實表和維度表間具有參照關繫的列必須為相同數據類型。
(3) 維成員是字符型。
(4) 時間維也是常規維,其對應的列必須是日期時間型。Access中的列數據類型選“日期/時間”。SQL Server中的列數據類型選擇smalldatetime或者datetime。
5.1多維分析案例——延期納稅
按照稅收征管法及實施細則規定,隻有當企業出現以下情況時,稅務機關纔能批準企業延期納稅: 因不可抗力,導致納稅人發生較大損失,正常生產經營活動受到較大影響的;當期貨幣資金在扣除應付職工工資、社會保險費後,不足以繳納稅款的。本案例的審計目標就是查證有無非法批準企業延期納稅。
審前調查得知,某市國稅局所屬各區縣的延期納稅審批數據全部集中在市局的數據庫服務器中。通過終端查詢和後臺轉換采集了數據,並進行了代碼轉換,後將其導入Access數據庫中: X市國稅局批準延期納稅.mdb(圖52)。其中有3個表: 延期納稅批件、稅務機關代碼和征收項目代碼。3個表的表結構及代表性或全部數據如下。
延期納稅批件表:
稅務機關代碼表:
征收項目代碼表:
圖52X市國稅局批準延期納稅數據庫
審計人員希望以圖53所示方式在不同維上瀏覽數據: 指定所有或某個征收項目,列出各區(縣)稅務機關在各年度或者某年度各月的審批延期納稅額情況，並對可疑數據項可以立即調出其在延期納稅批件表中的相關行。
圖53在不同維上瀏覽數據
以Microsoft Visual Studio為開發工具,以Microsoft Analysis Services為分析服務,以Microsoft Excel為客戶端工具,建立和瀏覽多維分析模型的過程如下。
首先以“Microsoft Jet 4.0 OLE DB Provider”作為驅動程序定義分析服務與“X市國稅局批準延期納稅.mdb”的數據源。其中,延期納稅批件為事實表,征收項目代碼和稅務機關代碼為維表。
然後定義事實表和維表之間的參照關繫如圖54所示。多維分析模型中的各個表必須定義主鍵。如果在數據源中沒有定義,則需定義邏輯主鍵。
圖54事實表和維表之間的參照關繫
接下來設置“延期納稅批件”為事實表，並把其中的“稅額”設置為多維數據集中的一個度量值。事實表參照的外鍵表作為維表。多維數據模型如圖55所示。該模式是一個星型架構。標題條是黃色的表是事實表;標題條是藍色的表是維表。
圖55多維數據模型
讓分析服務處理該多維數據模型後，就可以按照圖53所示形式瀏覽數據了。增加“審批日期”維,可按照“審批日期”重新進行處理和瀏覽。若要通過“審批日期”實現按年、按月、按日期進行數據瀏覽,則要創建維的級別實現此目標。在維上可以定義多個級別,如“審批日期”維的級別可以有年、季度、月份、星期、日期等。每個級別一般有若干成員,如“星期”級別中的成員有星期一、星期二、星期三、星期四、星期五、星期六和星期日,“月份”級別中的成員有1月、2月、3月、4月、5月、6月、7月、8月、9月、10月、11月、12月;“季度”級別中的成員有1季度、2季度、3季度、4季度。通常，維的所有成員組成了一個層次結構。圖56以時間維為例展示了維的級別以及各級別的成員(矩形框)。
圖56級別
在多維數據集瀏覽器窗口可觀察指定所有或某個稅務機關、指定所有或某個征收項目在各個時間維級別(年、月)上的稅額(度量值,MeasuresLevel)情況。例如,雙擊2012年,就展開了該年的下級維度(月)。
又如,從“征收項目”維的下拉列表中選擇“企業所得稅”,可以發現2012年和2014年所有稅務機關沒有征收企業所得稅,2013年的企業所得稅征收集中在4月份和10月份。由此可見,通過多維觀察數據,審計人員可以很容易發現一些線索。例如，可以看到不少稅額為整數,而納稅人應該繳納的稅額很少出現整數,尤其L市國家稅務局從2013年2月起連續出現審批金額為整數(35400000)的情況,這是一條重要審計線索。
增加“納稅人”維度,並通過“鑽取”操作可以發現,L市國稅局連續對“某某大陸鋼鐵有限公司”進行批緩。采取同樣的方法,還可以發現其他涉嫌企業。通過延伸審計,很容易確認國稅局的審批行為是否恰當。
通過Excel數據透視表從不同的角度查看數據。數據透視表的名字來源於它具有“透視”數據的能力,這使其成為非常強大的數據分析工具。通過Excel瀏覽延期納稅多維數據集的步驟如下。
創建Excel數據透視表。單擊Excel“數據”菜單,選擇“自其他來源”命令,然後選擇“來自分析服務”,設置分析服務器名稱為“.”,表示本地服務器。在“選擇數據庫和表”對話框中選擇數據庫“延期納稅”。設置Excel進行數據庫連接的文件名字,單擊“完成”按鈕,此時Excel如圖57所示。
圖57初始的數據透視表
從圖57中可以看到,“數據透視表字段列表”中列出了多維數據集中的3個維度(審批日期、稅務機關和征收項目)和一個度量值(稅額)。通過把維度拖放到下方的3個不同區域(行標簽、列標簽和報表篩選)建立透視表。
Excel的優勢在於，它可以將數據透視表和數據透視圖聯動展示。在Excel中選擇一個新的工作單(sheet)或者新建一個工作單。在“數據”功能區中選擇“現有連接”。從中選擇先前建立的“X市國稅局批準延期納稅”,在導入數據對話框中選擇“數據透視圖和數據透視表”,單擊“確定”按鈕後,在Excel工作單上既出現了透視表區域(左上角),又出現了透視圖區域(中間空白處)。“數據透視表字段列表”的上半部分列出了來自多維數據集的度量值和維度;其下半部分是數據透視表或者數據透視圖的參數設置,如圖58所示。
圖58數據透視圖
如果單擊數據透視圖區域,則顯示“數據透視圖篩選窗格”,窗格中包括“報表篩選”“軸字段(分類)”“圖例字段(繫列)”和“∑數值”;如果單擊數據透視表,則相應“軸字段(分類)”變成了“行標簽”,相應“圖例字段(繫列)”變成了“列標簽”。這個對應變化反映了數據透視圖和數據透視表間的一致性: 數據透視表中的行標簽對應於數據透視圖的軸字段;數據透視表的列標簽對應於數據透視圖的圖例字段。
在“選擇要添加到報表的字段”中選擇度量值“稅額”,該度量值就出現在“∑數值”框中,意思是在圖中顯示對該度量值的各種彙總。如果想按2013年度觀察各稅務機關批緩情況,就把“審批日期”拖放到“軸字段(分類)”,把“稅務機關”拖放到“圖例字段”。右擊數據透視圖的空白區域,可選擇圖表類型,如條形圖、折線圖等。

商品搜索

商品分类

【醫學】

【各大出版社】