了得網計算機/網絡_Scala機器學習

內容簡介

Copyright ?2016 Packt Publishing. First published in the English language under the title “Mastering Scala Machine Learning”.All rights reserved.Chinese simplified language edition published by China Machine Press.Copyright ?2017 by China Machine Press.本書中文簡體字版由Packt Publishing授權機械工業出版社獨家出版。未經出版者書面許可，不得以任何方式復制或抄襲本書內容。

目錄 Contents
譯者序
前言
第1章探索數據分析1
1.1Scala入門2
1.2去除分類字段的重復值2
1.3數值字段概述4
1.4基本抽樣、分層抽樣和一致抽樣5
1.5使用Scala和Spark的Note-book工作8
1.6相關性的基礎12
1.7總結14
第2章數據管道和建模15
2.1影響圖16
2.2序貫試驗和風險處理17目錄 Contents
譯者序
前言
第1章探索數據分析1
1.1Scala入門2
1.2去除分類字段的重復值2
1.3數值字段概述4
1.4基本抽樣、分層抽樣和一致抽樣5
1.5使用Scala和Spark的Note-book工作8
1.6相關性的基礎12
1.7總結14
第2章數據管道和建模15
2.1影響圖16
2.2序貫試驗和風險處理17
2.3探索與利用問題21
2.4不知之不知23
2.5數據驅動繫統的基本組件23
2.5.1數據收集24
2.5.2數據轉換層25
2.5.3數據分析與機器學習26
2.5.4UI組件26
2.5.5動作引擎28
2.5.6關聯引擎28
2.5.7監控28
2.6優化和交互28
2.7總結29
第3章使用Spark和MLlib30
3.1安裝Spark31
3.2理解Spark的架構32
3.2.1任務調度32
3.2.2Spark的組件35
3.2.3MQTT、ZeroMQ、Flume和Kafka36
3.2.4HDFS、Cassandra、S3和Tachyon37
3.2.5Mesos、YARN和Standa-lone38
3.3應用38
3.3.1單詞計數38
3.3.2基於流的單詞計數41
3.3.3Spark SQL和數據框45
3.4機器學習庫46
3.4.1SparkR47
3.4.2圖算法：Graphx和Graph-Frames48
3.5Spark的性能調整48
3.6運行Hadoop的HDFS49
3.7總結54
第4章監督學習和無監督學習55
4.1記錄和監督學習55
4.1.1Iirs數據集56
4.1.2類標簽點57
4.1.3SVMWithSGD58
4.1.4logistic回歸60
4.1.5決策樹62
4.1.6bagging和boosting：集成學習方法66
4.2無監督學習66
4.3數據維度71
4.4總結73
第5章回歸和分類74
5.1回歸是什麼74
5.2連續空間和度量75
5.3線性回歸77
5.4logistic回歸81
5.5正則化83
5.回歸84
5.7異方差84
5.8回歸樹85
5.9分類的度量87
5.10多分類問題87
5.11感知機87
5.12泛化誤差和過擬合90
5.13總結90
第6章使用非結構化數據91
6.1嵌套數據92
6.2其他序列化格式100
6.3Hive和Impala102
6.4會話化104
6.5使用特質109
6.6使用模式匹配110
6.7非結構化數據的其他用途113
6.8概率結構113
6.9投影113
6.10總結113
第7章使用圖算法115
7.1圖簡介115
7.2SBT116
7.3Scala的圖項目119
7.3.1增加節點和邊121
7.3.2圖約束123
7.3.3JSON124
7.4GraphX126
7.4.1誰收到電子郵件130
7.4.2連通分量131
7.4.3三角形計數132
7.4.4強連通分量132
7.4.5PageRank133
7.4.6SVD 134
7.5總結138
第8章Scala與R和Python的集成139
8.1R的集成140
8.1.1R和SparkR的相關配置140
8.1.2數據框144
8.1.3線性模型150
8.1.4廣義線性模型152
8.1.5在SparkR中讀取JSON文件156
8.1.6在SparkR中寫入Parquet文件157
8.1.7從R調用Scala158
8.2Python的集成161
8.2.1安裝Python161
8.2.2PySpark162
8.2.3從Java/Scala調用Python163
8.3總結167
第9章Scala中的NLP169
9.1文本分析流程170
9.2Spark的MLlib庫177
9.2.1TF-IDF177
9.2.2LDA178
9.3分詞、標注和分塊185
9.4POS標記186
9.5使用word2vec尋找詞關繫189
9.6總結192
第10章高級模型監控193
10.1繫統監控194
10.2進程監控195
10.3模型監控201
10.3.1隨時間變化的性能202
10.3.2模型停用標準202
10.3.3A/B測試202
10.4總結202

前言

Preface 前言這是一本關於機器學習的書，它以Scala為重點，介紹了函數式編程方法以及如何在Spark上處理大數據。九個月前，當我受邀寫作本書時，我的反應是：Scala、大數據、機器學習，每一個主題我都曾徹底調研過，也參加了很多的討論，結合任何兩個話題來寫都具有挑戰性，更不用說在一本書中結合這三個主題。這個挑戰激發了我的興趣，於是就有了這本書。並不是每一章的內容都像我所希望的那樣圓滿，但技術每天都在快速發展。我有一份具體的工作，寫作隻是表達我想法的一種方式。
下面先介紹機器學習。機器學習經歷了翻天覆地的變換；它是由人工智能和統計學發展起來的，於20世紀90年代興起。後來在2010年或稍晚些時候誕生了數據科學。數據科學家有許多定義，但Josh Wills的定義可能通俗，我有幸在Cloudera工作時和他共事過。這個定義在圖1中有具體的描述。雖然細節內容可能會有爭議，但數據科學確實是幾個學科的交叉，數據科學家不一定是任何一個領域的專家。據Jeff Hammerbacher（Cloudera的創始人，Facebook的早期員工）介紹，位數據科學家工作於Facebook。Facebook需要跨學科的技能，以便從當時大量的社交數據中提取有價值的信息。雖然我自稱是一個大數據科學家，但我已經關注這個交叉領域很久了，以至於有太多知識出現混淆。寫這本書就是想使用機器學習的術語來保持對這些領域的關注度。Preface 前言這是一本關於機器學習的書，它以Scala為重點，介紹了函數式編程方法以及如何在Spark上處理大數據。九個月前，當我受邀寫作本書時，我的反應是：Scala、大數據、機器學習，每一個主題我都曾徹底調研過，也參加了很多的討論，結合任何兩個話題來寫都具有挑戰性，更不用說在一本書中結合這三個主題。這個挑戰激發了我的興趣，於是就有了這本書。並不是每一章的內容都像我所希望的那樣圓滿，但技術每天都在快速發展。我有一份具體的工作，寫作隻是表達我想法的一種方式。
下面先介紹機器學習。機器學習經歷了翻天覆地的變換；它是由人工智能和統計學發展起來的，於20世紀90年代興起。後來在2010年或稍晚些時候誕生了數據科學。數據科學家有許多定義，但Josh Wills的定義可能通俗，我有幸在Cloudera工作時和他共事過。這個定義在圖1中有具體的描述。雖然細節內容可能會有爭議，但數據科學確實是幾個學科的交叉，數據科學家不一定是任何一個領域的專家。據Jeff Hammerbacher（Cloudera的創始人，Facebook的早期員工）介紹，位數據科學家工作於Facebook。Facebook需要跨學科的技能，以便從當時大量的社交數據中提取有價值的信息。雖然我自稱是一個大數據科學家，但我已經關注這個交叉領域很久了，以至於有太多知識出現混淆。寫這本書就是想使用機器學習的術語來保持對這些領域的關注度。
圖1數據科學家的一種可能定義近，在機器學習領域出現了另一個被廣泛討論的話題，即數據量擊敗模型的復雜度。在本書中可以看到一些Spark MLlib實現的例子，特別是NLP的word2vec。機器學習模型可以更快地遷移到新環境，也經常擊敗需要數小時纔能構建的更復雜的模型。因此，機器學習和大數據能夠很好地結合在一起。
後也很重要的一點是微服務的出現。作者在本書中花了大量的篇幅介紹機器和應用程序通信，所以會很自然地提及Scala與Akka actor模型。
對於大多數程序員而言，函數式編程更多是關於編程風格的變化，而不是編程語言本身。雖然Java 8開始有來自函數式編程的lambda表達式和流，但是人們仍然可以在沒有這些機制的情況下編寫函數式代碼，甚至可以用Scala編寫Java風格的代碼。使得Scala在大數據世界中名聲鵲起的兩個重要思想是惰性求值和不可變性，其中惰性求值可大大簡化多線程或分布式領域中的數據處理。Scala有一個可變集合庫和一個不可變集合庫。雖然從用戶的角度來看它們的區別很小，但從編譯器的角度來看，不變性大大增加了靈活性，並且惰性求值能更好地與大數據相結合，因為REPL將大多數信息推遲到管道的後期處理，從而增加了交互性。
大數據一直備受關注，其主要原因是機器產生的數據量大大超越了人類在沒有使用計算機以前的數量。Facebook、Google、Twitter等社交網絡公司已經證明專門用於處理大數據的工具（如Hadoop、MapReduce和Spark）可以從這些數據塊中提取豐富的信息。
本書後面將介紹關於Hadoop的內容。初它能在廉價硬件上處理大量的信息，因為當時傳統的關繫數據庫不能處理這樣的信息（或能處理，但是代價過高）。大數據這個話題太大了，而Spark纔是本書的重點，它是Hadoop MapReduce的另一個實現，Spark提高了磁盤上持久化保存數據的效率。通常認為使用Spark有點貴，因為它消耗更多的內存，要求硬件必須更可靠，但它也更具交互性。此外，Spark使用Scala工作（也可以使用Java和Python等），但Scala是主要的API語言。因此Spark用Scala在數據管道的表達方面有一定的協同性。
本書主要內容第1章介紹數據分析師如何開始數據分析。除了允許用戶使用新工具查看更大的數據集以外，該章並沒有什麼新東西。這些數據集可能分布在多臺計算機上，但查看它們就像在本地機器上一樣簡單。當然，不會阻止用戶在單個機器上順序執行程序。但即使如此，作者寫作的這個筆記本電腦也有四個核，可同時運行1377個線程。Spark和Scala（並行集合）允許用戶透明地使用整個設備，有時並沒有顯式指定需要並行運行。現代服務器可對OS服務使用多達128個超線程。該章將展示如何使用新工具來進行數據分析，並用它來研究以前的數據集。
第2章介紹在Scala/Spark之前一直存在的數據驅動過程，也會介紹完全數據驅動的企業，這類企業通過多臺數據生成機器的反饋來優化業務。大數據需要新的技術和架構來適應新的決策過程。該章借鋻了一些學術資料來闡述數據驅動型業務的通用架構。在這種架構下，大多數工人的任務是監控和調整數據管道。
第3章重點介紹Spark的體繫結構，它是前面提及的Hadoop MapReduce的替代者（或補充）。該章還將特別介紹MLlib所支持的幾個算法。雖然這是一個嶄新的話題，但許多算法都對應著各種實現。該章將給出一些例子，比如怎樣運行org.apache.spark.mllib包中標準的機器學習算法。後介紹Spark的運行模式及性能調整。
第4章介紹機器學習的原理，雖然Spark MLlib的內容可能會不斷變化，但這些原理是不會變的。監督學習和無監

商品搜索

商品分类

【醫學】

【各大出版社】