36位來自阿裡、騰訊、百度、京東、字節跳動、網易、小米、奇虎360、貝殼、順豐等大廠工程師和技術管理者聯袂推薦。通俗易懂，精選23個大數據測試要點，從零入手，多角度講解大數據測試。內容豐富，涵蓋4大技術主題，大數據開發、大數據測試、數據質量與數據治理。場景典型，深度剖析3個主流數據應用場景，BI報表、風控模型和數據分析平臺的技術原理、工程架構，並輸出了全鏈路的質量保障方案。

●目  錄第 1章 認識大數據／11.1  大數據概述／11.2  大數據的發展／21.3  大數據的應用／41.3.1  互聯網領域／41.3.2  物流領域／51.3.3  教育領域／61.3.4  金融領域／71.3.5  電信領域／71.4  本章小結／8第 2章 大數據技術生態／92.1  大數據技術生態總覽／92.2  大數據采集技術／102.3  大數據存儲技術／102.3.1  分布式文件繫統：HDFS／102.3.2  海量數據列式存儲： HBase／132.3.3  其他數據存儲技術／182.4  大數據計算分析技術／192.4.1  批處理計算的基石：MapReduce／192.4.2  流計算的代表：Storm、Spark Streaming和Flink／212.4.3  OLAP引擎：Hive、Impala和Presto／242.5  大數據管理調度技術／302.5.1  分布式集群資源調度框架：YARN／302.5.2  容器集群管理繫統：Kubernetes／322.5.3  大數據的"動物園管理員"：ZooKeeper／332.5.4  常用的工作流調度平臺：Azkaban、Oozie和Airflow／342.6  大數據商業產品／362.7  本章小結／38第3章  數據倉庫的設計與構建／393.1  數據倉庫概述／393.1.1  什麼是數據倉庫／393.1.2  數據倉庫的發展過程／413.1.3  數據倉庫與數據集市、數據湖、數據中臺的區別／433.2  數據倉庫設計／443.2.1  架構分層設計／443.2.2  數據模型設計／463.3  數據倉庫構建／503.3.1  數據倉庫的構建方法與評價標準／503.3.2  數據倉庫實例／513.4  本章小結／58第4章  大數據項目開發流程／594.1  大數據項目開發概覽／594.2  數據的采集與存儲／604.2.1  服務端日志采集／614.2.2  客戶端日志采集／624.2.3  數據同步／644.2.4  大數據存儲／664.3  大數據計算／674.4  大數據監控／714.4.1  數據監控／714.4.2  運維監控／724.5  大數據項目開發案例／734.5.1  項目背景介紹／744.5.2  項目需求分析／744.5.3  項目開發流程／764.6  本章小結／83第5章  大數據測試方法／845.1  大數據測試概述／845.1.1  什麼是大數據測試／845.1.2  大數據測試與傳統數據測試／845.2  大數據測試類型／855.2.1  功能測試／855.2.2  性能測試／895.2.3  其他非功能性測試／935.3  大數據測試流程／945.4  大數據基準測試／965.4.1  大數據基準測試簡介／975.4.2  大數據基準測試的步驟／975.4.3  大數據基準測試工具／985.5  大數據ETL測試／1005.5.1  大數據ETL測試類型／1005.5.2  大數據ETL測試場景／1035.5.3  大數據ETL測試工具／1075.6  大數據測試總結／1085.6.1  大數據測試中的典型問題／1085.6.2  大數據測試經驗總結／1125.6.3  大數據測試面臨的挑戰／1135.7  本章小結／113第6章  大數據測試實踐／1146.1  BI報表測試／1146.1.1  BI工具簡介／1146.1.2  Tableau簡介／1156.1.3  BI報表測試實踐／1206.2  數據挖掘產品測試／1286.2.1  數據挖掘的定義和流程／1286.2.2  數據挖掘產品簡介／1296.2.3  數據挖掘產品測試實踐／1306.3  用戶行為分析平臺測試／1396.3.1  用戶行為分析平臺測試概覽／1396.3.2  數據采集階段測試／1406.3.3  實時數據處理階段測試／1406.3.4  離線數據處理階段測試／1536.3.5  數據查詢展示階段測試／1536.4  本章小結／156第7章  數據質量管理／1577.1  數據質量管理概述／1577.2  數據質量管理流程／1587.2.1  建立數據質量管理辦法／1597.2.2  制定數據標準／1617.2.3  數據質量自查評估／1627.2.4  數據質量問題修復／1707.3  本章小結／173第8章  大數據測試平臺實踐／1748.1  大數據測試平臺背景／1748.2  大數據測試的開源技術調研／1758.2.1  great_expectations／1768.2.2  WeBankFinTech Qualitis／1788.3  大數據測試的商業方案分析／1818.3.1  QuerySurge／1828.3.2  RightData／1848.4  從零開始搭建大數據測試平臺／1868.4.1  需求分析／1878.4.2  架構設計／1878.4.3  功能實現／1898.4.4  頁面演示／1968.4.5  總結和展望／2018.5  本章小結／203第9章  數據治理平臺建設／2049.1  數據治理概述／2049.1.1  數據治理的基本概念／2049.1.2  數據治理的重要意義／2059.1.3  數據治理面臨的主要挑戰／2069.1.4  如何開展數據治理／2069.2  數據治理平臺體繫／2079.3 &nb數據管理平臺／2089.3.1  平臺產生背景／2089.3.2  平臺架構／2089.3.3  模塊設計：數據采集／2099.3.4  模塊設計：數據查詢／2129.3.5  模塊設計：數據分析／2149.4  數據質量監控平臺／2199.4.1  平臺產生背景／2199.4.2  平臺架構／2209.4.3  模塊設計：規則引擎／2219.4.4  模塊設計：任務中心／2309.4.5  模塊設計：報警繫統 ／2309.5  本章小結／232第 10章 DataOps的理念與實踐／23310.1  DataOps概述／23310.1.1  什麼是DataOps／23310.1.2  為什麼需要DataOps／23510.1.3  DataOps與DevOps、MLOps的聯繫和區別／23710.2  DataOps的能力與特性／23910.2.1  數據工程／23910.2.2  數據集成／24010.2.3  數據安全和數據隱私保護／24110.2.4  數據質量／24210.2.5  DataOps的4個特性／24310.3  DataOps技術實踐／24410.3.1  DataOps技術工具／24510.3.2  數據管道技術示例／24610.4  本章小結／253第 11章 大數據測試的學習路線和發展趨勢／25411.1  為什麼學習大數據測試／25411.2  如何學習大數據測試／25511.2.1  大數據測試的學習路線／25511.2.2  大數據測試的技能圖譜／25911.3  大數據測試的發展趨勢／26911.4  本章小結／270附錄  大數據技術經典面試題／271參考文獻／276

本書全面繫統地介紹了大數據的測試技術與質量體繫建設。本書共11章，第1～4章涵蓋認識大數據，大數據技術生態，數據倉庫的設計與構建，以及大數據項目開發流程；第5～7章講解大數據測試方法、大數據測試實踐和數據質量管理；第8～10章介紹大數據測試平臺實踐、數據治理平臺建設，以及DataOps的理念與實踐；第11章提供大數據測試學習路線。附錄列出了大數據技術經典面試題。本書適合想要了解大數據技術的讀者，以及想要學習和掌握大數據測試與大數據開發的從業者。通過閱讀本書，測試工程師可以繫統地學習大數據技術基礎、大數據開發和大數據測試等知識；大數據開發工程師可以借鋻大數據質量保障的方法，拓寬數據工程實踐的思路；技術專家和技術管理者可以了解大數據質量保障體繫、數據治理建設和DataOps實踐等內容。

艾輝 主編，融360 AI測試團隊 編著 著